بخش اول: مفاهیم پایه و مبانی اسپارک
بخش دوم: بهینه‌سازی و معماری داخلی اسپارک
بخش سوم : پردازش داده‌های جریانی

۱- معرفی اسپارک و شروع کار با PySpark

این بخش، شروع کار ما در دوره آموزشی اسپارک است و در این جلسه تلاش می‌کنیم دیدی روشن و کاربردی از مفاهیم پایه‌ای و سازوکار داخلی اسپارک به دست بیاوریم. هدف آن است که قبل از ورود به تمرین‌های عملی و پیاده‌سازی، با معماری، اجزا، مفاهیم کلیدی و ابزارهای مهمی که در ادامه مسیر با آن‌ها کار خواهیم کرد، آشنا شوید.

در ادامه، فهرست موضوعاتی که در این جلسه مرور می‌کنیم ارائه شده است.


فهرست محتوای درس

  • مروری بر اسپارک و جایگاه آن در معماری‌های نوین اطلاعاتی
  • آشنایی با معماری و مفاهیم پایه اسپارک – محتوای ویدئویی
  • نگاهی به دو موتور بهینه‌سازی اسپارک: Catalyst و Tungsten
  • امکانات و قابلیت‌های مهم اسپارک نسخه ۳ و ۴
  • آشنایی با RDDها و انواع پردازش‌ها و اکشن‌های رایج – محتوای ویدئویی
  • نصب و راه‌اندازی اسپارک ۴ به صورت محلی با Jupyter Notebook و PySpark – محتوای ویدئویی
فروشگاه
جستجو
دوره ها

لطفا کلمات کلیدی را وارد کنید