صفحه اصلیدورهآموزش آپاچی اسپارک

آموزش آپاچی اسپارک

0 (0 نظر) متوسط
دوره‌ی آشنایی عملی با آپاچی اسپارک به‌صورت کاربردی از مفاهیم پایه تا مباحث پیشرفته را پوشش می‌دهد. از کار با PySpark، دیتافریم‌ها و Spark SQL گرفته تا بهینه‌سازی منابع، استراتژی‌های جوین، پردازش داده‌های JSON، اتصال به پایگاه‌داده و اجرای تسک‌ها آموزش داده می‌شود. همچنین شرکت‌کنندگان با یادگیری ماشین توزیع‌شده، پردازش جریانی و ساخت پایپ‌لاین‌های واقعی (Kafka، Airflow، Lakehouse) آشنا خواهند شد.
توسط مجتبی بنائی
آخرین بروزرسانی 2 بهمن 1404
وضعیت فعلی
ثبت نام نشده (۶۳ صندلی باقی مانده است)
قیمت
۱,۶۲۰,۰۰۰ تومان
چرا یادگیری آپاچی اسپارک برای مهندسان داده ضروری است؟

در دنیای پردازش داده، اغلب نیاز داریم که روی حجم عظیمی از داده‌ها انواع پردازش‌ها را انجام دهیم. برای مثال، در پایان هر روز ممکن است بخواهیم پروفایل کاربران را بر اساس محصولاتی که بازدید کرده‌اند به‌روزرسانی کنیم تا در روز بعد پیشنهادات سفارشی و دقیق‌تری به آن‌ها ارائه شود. چنین پردازش‌هایی همزمان باید روی میلیون‌ها رکورد اجرا شوند و اگر با ابزارهای سنتی انجام شوند، بسیار زمان‌بر و ناکارآمد خواهند بود.

برای انجام این نوع پردازش‌های حجیم و سریع، به یک موتور پردازشی توزیع‌شده نیاز داریم که بتواند داده‌ها را در چندین ماشین به‌صورت موازی مدیریت کند، پردازش‌های دسته‌ای و جریانی را پشتیبانی کند و همزمان با ابزارهای مختلف تحلیل و ذخیره‌سازی یکپارچه شود. Apache Spark دقیقاً چنین قابلیتی را ارائه می‌دهد: سرعت بالا، مقیاس‌پذیری آسان، پردازش در حافظه و پشتیبانی هم‌زمان از داده‌های ساخت‌یافته و نیمه‌ساخت‌یافته، که یادگیری آن را برای هر مهندس داده‌ای که می‌خواهد سیستم‌های تحلیلی پیشرفته و بلادرنگ بسازد، ضروری می‌کند.

  • مدت زمان دوره: ۳۰+ ساعت
  • سطح: مقدماتی و متوسط
  • پیش‌نیاز: بهتر است با SQL و داکر آشنا باشید 
  • نحوه برگزاری : دوره به صورت هفتگی ضبط و در پنل کاربری شرکت کنندگان قرار میگیرد. سوالات و ابهامات در کانال تلگرام دوره یا با تنظیم کردن جلسه با استاد درس، پاسخ داده خواهد شد. دوره در حال برگزاری است و در حال حاضر در حدود ۴۰ درصد دوره ضبط و بر روی پنل کاربری قرار گرفته است. 
  • کد دوره : ۵۰۱
  • امکان دریافت گواهینامه : با پرداخت هزینه جداگانه و انجام یک پروژه اختصاصی 
  • با ثبت نام در این درس، به مخزن گیت اختصاصی دوره + کانال تلگرام آن دسترسی خواهید داشت (ایمیل مربوطه برای شما ارسال خواهد شد) 

در دوره آشنایی عملی با Apache Spark، مباحث زیر به صورت کاملاً عملی و با تمرکز بر کاربردهای واقعی در پروژه‌های مهندسی داده آموزش داده خواهند شد:

  • نصب و راه‌اندازی Spark و PySpark، آشنایی با مفاهیم پایه، معماری اسپارک و جایگاه آن در پردازش داده‌های حجیم (جلسه ۱)

  • کار با RDDها و دیتافریم‌ها، کاوش داده‌ها، عملیات پایه و بررسی Spark UI (جلسه ۲)

  • استفاده از Spark SQL برای تحلیل داده‌های واقعی، مدیریت داده‌ها و ذخیره‌سازی اطلاعات (جلسه ۳)

  • رمزگشایی معماری داخلی اسپارک، مدیریت منابع، پارتیشن‌بندی بهینه، مدیریت حافظه و استفاده از Cache و Catalyst Optimizer (جلسه ۴)

  • بهینه‌سازی اجرای جاب‌ها، بررسی Explain Plan، استراتژی‌های Join، مقابله با Data Skew و تیونینگ عملکرد (جلسه ۵)

  • پردازش JSON، اتصال به پایگاه داده‌ها (JDBC/ PostgreSQL) و ورود به یادگیری ماشین توزیع‌شده با SynapseML (جلسه ۶)

  • کارگاه عملی: ایجاد و مدیریت گزارشات روزانه با Spark و Airflow، ساخت Lakehouse با Minio و پیاده‌سازی پایپ‌لاین‌های عملی (جلسه ۷)

  • مفاهیم پایه و شروع به کار با Spark Streaming، ایجاد پایپ‌لاین‌های ساده برای پردازش داده‌های جریانی، Trigger، Output Mode و Checkpoints (جلسه ۸)

  • پردازش جریانی پیشرفته، Declarative Pipelines، Backpressure، تشخیص تقلب لحظه‌ای و مدیریت داده‌های بلادرنگ با Kafka و StarRocks (جلسه ۹)

  • آشنایی با شتاب‌دهنده‌های اسپارک، پروژه‌های مبتنی بر استاندارد اسپارک و بررسی ابزارها و پروژه‌های متن‌باز نوین پردازش توزیع‌شده مانند Daft، Pathway و Fluvio (جلسه ۱۰)

  •  

دوره مهندسی داده به‌صورت غیرحضوری و از طریق پلتفرم آموزشی سپهرام برگزار می‌شود. برای مشاهده جلسات، کافی است شرکت‌کنندگان:

  1. به حساب کاربری خود در وب‌سایت سپهرام وارد شوند.

  2. از بخش «لیست دوره‌های ثبت‌نام‌شده»، دوره آموزش اسپارک را انتخاب کنند.

  3. در صفحه دوره، با کلیک بر روی هر درس، موضوعاتی را که در عنوان آن‌ها عبارت «محتوای ویدئویی» درج شده است، انتخاب کرده و فیلم مربوط به آن جلسه را به‌صورت آنلاین مشاهده نمایند.

هم‌زمان، فایل‌ها و اسکریپت‌های هر جلسه نیز در مخزن گیت اختصاصی دوره قرار گرفته است تا شرکت‌کنندگان بتوانند همراه با مشاهده ویدئو، تمرین‌ها را به‌صورت عملی انجام دهند.

در صورت بروز هرگونه سؤال یا مشکل در حین مطالعه یا اجرای تمرین‌ها، اعضای دوره می‌توانند پرسش‌های خود را از طریق گروه تلگرام یا پیام‌رسان بله مطرح کنند و پاسخ خود را از مدرس یا سایر اعضای گروه دریافت نمایند.

📢 اطلاع‌رسانی درباره انتشار جلسات جدید، تمرین‌ها و آزمون‌ها نیز از طریق گروه تلگرام، بله و ایمیل سازمانی انجام خواهد شد.

این دوره به‌طور ویژه برای افرادی طراحی شده است که می‌خواهند مهارت کار با Apache Spark را به‌صورت عملی فرا بگیرند و در پروژه‌های واقعی به کار ببرند. مخاطبان اصلی دوره عبارتند از:

  • مهندسان داده و توسعه‌دهندگان بک‌اند که با پردازش دسته‌ای یا بلادرنگ داده‌های حجیم سروکار دارند و می‌خواهند با Spark پردازش موازی، پارتیشن‌بندی و بهینه‌سازی جاب‌ها را برای افزایش کارایی پیاده‌سازی کنند.

  • تحلیل‌گران و دانشمندان داده که نیاز به اجرای کوئری‌های تحلیلی بر روی مجموعه‌داده‌های بزرگ، کار با Spark SQL و پیاده‌سازی مدل‌های توزیع‌شده (مثل SynapseML) دارند.

  • تیم‌های BI و صاحبان محصول که می‌خواهند گزارش‌ها و داشبوردهای نزدیک به زمان واقعی تولید کنند و به یک لایه پردازش قابل توسعه و یکپارچه (batch + streaming) با Kafka، Airflow و Lakehouse نیاز دارند.

  • فعالان DevOps و مهندسان زیرساخت داده که مسئول مانیتورینگ، تیونینگ عملکرد و اطمینان از پایداری پایپ‌لاین‌ها در محیط‌های داده‌ای هستند. (توجه: آموزش مدیریت یا استقرار کلاستر مانند YARN / Kubernetes در این دوره پوشش داده نمی‌شود.)

  • افراد در حال تغییر مسیر شغلی که به‌دنبال یادگیری عملی و ورود سریع به بازار مهندسی داده‌اند تا بتوانند پایپ‌لاین‌ها و سیستم‌های پردازش توزیع‌شده را طراحی و اجرا کنند.

برای همراهی مؤثر با این دوره، آشنایی مقدماتی با Docker، مفاهیم پایه پایگاه‌های داده و کار با خط فرمان لینوکس می‌تواند به شما کمک کند تا تمرین‌ها و پروژه‌های عملی اسپارک را راحت‌تر دنبال کنید. پیش‌نیاز اصلی و ضروری، تسلط نسبی به SQL و تجربه کار با دیتابیس‌های رابطه‌ای است، چرا که تمرکز اصلی دوره بر روی ساختار، بهینه‌سازی و پردازش داده‌ها با Spark است و آموزش عمیق کوئری‌نویسی در دیتابیس‌ها را شامل نمی‌شود.

هدف از آشنایی با این پیش‌نیازها:

  • درک بهتر مفاهیم و تمرین‌های عملی دوره

  • سهولت در تعامل با ابزارهای مورد استفاده مانند Docker و Spark

  • افزایش سرعت یادگیری و توانایی اجرای پروژه‌های واقعی

نیازمندی‌ها برای شرکت در دوره:

  • تسلط نسبی به SQL و مفاهیم پایگاه داده‌های رابطه‌ای

  • آشنایی مقدماتی با خط فرمان لینوکس

  • آشنایی اولیه با Docker (ترجیحاً)

 

پروژه عملی و دریافت گواهینامه پایان دوره Apache Spark

برای دریافت گواهینامه این دوره، انجام یک پروژه عملی الزامی است. این پروژه فرصتی عالی است تا آموخته‌های خود را در یک سناریوی واقعی پیاده کنید و تجربه عملی ارزشمندی در زمینه پردازش داده‌های حجیم و جریانی با Spark کسب کنید. سعی می‌شود پروژه بر اساس تجربیات شما یا موضوعی مرتبط با کار جاری شما انتخاب شود تا بیشترین کاربرد را داشته باشد.

ویژگی‌های پروژه عملی:

  • 🛠 پیاده‌سازی مهارت‌های یادگرفته شده در محیط واقعی، شامل پردازش جریان با Spark Streaming و استفاده از ابزارهایی مثل Kafka برای دریافت داده‌ها

  • 📝 انجام بهینه‌سازی و تحلیل کوئری‌ها و انواع Joinها روی یک دیتاست نمونه و مستندسازی دلایل انتخاب نوع Join و استراتژی‌های بهینه‌سازی

  • 🤝 دریافت بازخورد و راهنمایی از مدرس و منتورهای دوره

انتخاب موضوع پروژه:
موضوع پروژه باید شامل پردازش جریانی داده‌ها، پردازش موازی و بهینه‌سازی کوئری‌ها باشد و استفاده از Kafka برای ورود جریان داده و ابزارهای مرتبط برای مشاهده و تحلیل خروجی الزامی است.

شرایط دریافت گواهینامه:

  • تکمیل و تحویل پروژه عملی مطابق دستورالعمل‌ها

  • تهیه مستندات حرفه‌ای شامل معماری، کد، بهینه‌سازی‌ها و توضیح انتخاب Joinها

  • ضبط ویدئوی معرفی و دمو پروژه (۳ تا ۷ دقیقه)

  • ارسال نهایی فایل‌ها حداکثر ۶۰ روز پس از پایان دوره

مراحل انجام پروژه و دریافت گواهینامه:

  1. تعریف پروژه عملی متناسب با سرفصل‌ها و نیازهای شما

  2. دریافت چک‌لیست ارزیابی (Rubric) شامل معیارهایی مثل معماری داده، کیفیت کد، مستندسازی و قابلیت نگهداری

  3. ساخت مخزن Git شامل کدها، مستندات و منابع پروژه

  4. جلسه آنلاین با مدرس یا منتور اختصاصی برای بررسی معماری و دریافت بازخورد

  5. تهیه گزارش کوتاه از مراحل و ابزارهای استفاده‌شده (PDF یا Markdown)

  6. ضبط ویدئوی معرفی و دمو پروژه

  7. ارسال نهایی فایل‌ها

  8. در صورت نیاز، جلسه نهایی آنلاین برای تحویل رسمی پروژه و پرسش‌وپاسخ

پس از بررسی پروژه‌ها طبق چک‌لیست، گواهینامه رسمی دیجیتال با لینک اختصاصی قابل استعلام برای شما صادر خواهد شد.
تمام اطلاعیه‌ها، فایل‌های راهنما و زمان‌بندی جلسات از طریق گروه تلگرام تخصصی دوره اعلام می‌شود.

 

گواهینامه دوره آموزشی آپاچی اسپارک

با انجام پروژه عملی دوره، مهارت‌های خود را در یک سناریوی واقعی به کار ببندید و خروجی پروژه‌تان توسط مدرس و منتورهای متخصص بررسی شود. پس از ارزیابی، گواهینامه دیجیتال رسمی و قابل استعلام برای شما صادر خواهد شد. برای خرید و تهیه گواهینامه روی عنوان بالا کلیک کنید یا از قسمت فروشگاه، در منوی بالای سایت اقدام کنید.

ساختار درس‌ها و پشتیبانی آموزشی

برای تضمین یادگیری گام‌به‌گام و مؤثر:

  • هر درس شامل چند آزمون کوتاه و مفهومی است.
  • تنها پس از تکمیل موفق این آزمون‌ها، دسترسی به درس بعدی برای شما فعال می‌شود.

این ساختار به شما کمک می‌کند تا فرآیند آموزش را به‌صورت منظم، مرحله‌به‌مرحله و قابل ارزیابی دنبال کنید.

در صورت بروز مشکل در مسیر آموزشی یا انجام آزمون‌ها می‌توانید از طریق پیام‌رسان‌های تلگرام، واتساپ یا بله با حساب پشتیبانی مدرسه مهندسی داده سپهرام در ارتباط باشید:

شناسه پشتیبانی :  sepahram_ir@ (بله/ایتا/تلگرام/واتساپ)

ایمیل مدرسه مهندسی داده سپهرام : sepahram.ir@gmail.com

همچنین در گروه اختصاصی دوره، بخشی برای مطرح کردن خطاها و مسائل آموزشی در نظر گرفته شده است.تیم پشتیبانی سپهرام در سریع‌ترین زمان ممکن، پاسخ‌گوی سوالات شما خواهد بود.

منابع

این دوره دارای یک مخزن گیت اختصاصی و خصوصی است که پس از ثبت‌نام و پرداخت شهریه، دسترسی مادام‌العمر به آن برای شما فراهم می‌شود.

تمامی مطالب تدریس شده، کدهای نوشته شده در هر جلسه، مطالب تکمیلی، کتاب‌ها، مقالات و منابع مرتبط در این مخزن نگهداری می‌شود. با مراجعه به این ریپوزیتوری، همواره به جدیدترین مطالب آموزشی و منابع به‌روز مهندسی داده دسترسی خواهید داشت و می‌توانید آموزش‌های خود را بدون محدودیت ادامه دهید.

اطلاع رسانی‌ها

برای هر دوره، یک گروه تخصصی در تلگرام با دسته‌بندی‌های مختلف تشکیل می‌شود تا شما همواره در جریان آخرین اخبار و اطلاعیه‌های دوره باشید.

علاوه بر این، مطالب و اخبار مهم به صورت منظم از طریق ایمیل برای شما ارسال خواهد شد. در صورت بروز هرگونه مشکل در روند برگزاری کلاس‌ها، اطلاع‌رسانی فوری از طریق پیامک انجام می‌گردد.

همچنین شما می‌توانید در هر زمان از طریق حساب پشتیبانی مدرسه مهندسی داده سپهرام @sepahram_ir  در پیام‌رسان‌های بله، واتساپ و تلگرام به راحتی با ما در ارتباط باشید.

تمام اطلاعیه‌های تکمیلی در مورد زمان‌بندی، فایل‌های راهنما و جلسه‌ها، از طریق گروه تلگرام تخصصی دوره به اطلاع شما خواهد رسید.

 یک کانال پیشتیبان در پیام‌رسان بله/ایتا هم برای زمانی که اینترنت بین‌المللی در دسترس نباشد حتما ایجاد خواهد شد که بعد از ثبت‌نام، جزییات آن به شما ایمیل خواهد شد. 

ابزارهای مورد نیاز برای شرکت در دوره Apache Spark:

  • Docker – برای اجرای سرویس‌ها و محیط‌های آزمایشی دوره

  • Docker Desktop – رابط کاربری و مدیریت کانتینرها روی سیستم‌های دسکتاپ

  • WSL (Windows Subsystem for Linux) – در صورت استفاده از ویندوز، برای عملکرد صحیح Docker باید نصب و فعال شود

  • Java 17 یا ۲۱ – برای اجرای Apache Spark به‌صورت محلی و توسعه برنامه‌ها

  • Python – زبان برنامه‌نویسی مورد نیاز برای اجرای اسکریپت‌ها و تمرین‌ها (ترجیحاً آخرین نسخه پایدار)

  • Microsoft Teams – پلتفرم برگزاری کلاس‌های آنلاین (قبل از شروع دوره نصب شود)

  • Git – برای مدیریت نسخه کدها و دریافت پروژه‌ها از مخزن‌ها

  • ابزار نمایش و ویرایش فایل‌های Markdown (مانند Typora) – برای مشاهده و ویرایش مستندات دوره

  • Visual Studio Code – ویرایشگر کد پیشنهادی برای توسعه و اجرای تمرین‌ها

 

💡 چرا برای گواهینامه هزینه جداگانه پرداخت می‌شود؟
زیرا دریافت گواهینامه فقط یک فرآیند اداری نیست، بلکه نیازمند زمان و انرژی مضاعف از سوی مدرس و تیم متخصصین همکار است.

  • 📂 بررسی کامل پروژه‌های شما

  • 🔍 ارزیابی بر اساس معیارهای فنی و کیفی

  • 🛠 ارائه بازخورد و راهنمایی برای بهبود

  • 🤝 همراهی در رفع مشکلات تا رسیدن به یک خروجی حرفه‌ای

این هزینه دقیقاً بابت این فرآیند ارزیابی و پشتیبانی تخصصی است، تا ارزش گواهینامه شما واقعی و قابل استناد باشد.

 

محتوای دوره

بازکردن همه
بخش اول: مفاهیم پایه و مبانی اسپارک
بخش دوم: بهینه‌سازی و معماری داخلی اسپارک
بخش سوم : پردازش داده‌های جریانی
مدرس دوره
مجتبی بنائی
14 دوره
165 دانشجو
مجتبی بنائی از سال ۱۳۸۰ مسیر حرفه‌ای خود را به‌عنوان مهندس نرم‌افزار آغاز کرد و از ۱۳۹۲ به‌طور تخصصی وارد دنیای مهندسی داده شد. او تجربه‌ای گسترده در طراحی سامانه‌های پردازش داده، مدیریت تیم‌های فنی، و تدریس دوره‌های تخصصی دارد. علاقه او به برنامه‌نویسی از سال ۱۳۷۵، زمانی که در المپیاد کامپیوتر خراسان بزرگ رتبه دوم را کسب کرد، آغاز شد و تاکنون ادامه دارد. در سال ۱۳۹۳ وب‌سایت مهندسی داده (BigData.ir) را راه‌اندازی کرد که امروز یکی از منابع معتبر فارسی‌زبان این حوزه است. همچنین، «مدرسه مهندسی داده سپهرام» را با هدف آموزش و انتقال تجربه به جامعه مهندسی داده تأسیس کرده است. او دانش‌آموخته کارشناسی مهندسی نرم‌افزار از دانشگاه تهران (ورودی 77) و کارشناسی ارشد نرم‌افزار از دانشگاه تربیت مدرس است و اکنون در حال تکمیل رساله دکتری خود در دانشگاه تهران است. تمرکز اصلی‌اش بر طراحی زیرساخت‌های داده، تولید محتوای تخصصی، و توسعه راهکارهای تحلیلی مقیاس‌پذیر است.
بازخورد و نظرات

0

Rated بر اساس 0 نظر
Rated
(0)
Rated
(0)
Rated
(0)
Rated
(0)
Rated
(0)
1 2 3 4 5

هنوز نظری ارسال نشده است.

1,620,000 تومان
افزودن به علاقمندی ها به علاقمندی ها افزوده شد
مشخصات این دوره:
  • فراگیران 37 دانشجو
  • درس ها 11
  • موضوع ها 59
  • مدت زمان 10 ساعت
  • آزمون ها 0
  • زبان فارسی
اشتراک‌گذاری
گزارش
فروشگاه
جستجو
دوره ها

لطفا کلمات کلیدی را وارد کنید