دوره آموزشی ایرفلو

بخش اول : مفاهیم پایه و شروع کار با ایرفلو
جلسه اول : مقدمه و مفاهیم پایه
6 موضوع‌ها
آشنایی با سیستم‌های مدیریت جریان‌کار (WMS)
مروری بر مفاهیم پایه ایرفلو و معماری آن
آشنایی با سایر بازیگران حوزه مدیریت جریان‌های کاری و کاربردهای آنها در دنیای واقعی
انجام یک پروژه کوتاه با N8N به عنوان دست‌گرمی
نصب و راه‌اندازی ایرفلو (لوکال / داکر) + آشنایی با محیط گرافیکی
محتوای ویدئویی : فیلم آموزشی مطالب جلسه اول
جلسه دوم : شروع کار عملی با ایرفلو
10 موضوع‌ها
آشنایی با ساختار یک DAG و اجزای اصلی آن با یک مثال عملی ساده
آشنایی با خط فرمان airflow (ریست‌کردن دیتابیس و مشاهده تنظیمات)‌
ساخت نمونه DAG های اولیه با EmptyOperator و PythonOperator
آشنایی با ‌‌‌Branching/TaskGroup/Dynamic Tasks
آشنایی با مکانیزم ایرفلو برای محاسبه زمان اجرای یک دگ (اجرا در انتهای بازه زمانی)
کار با Backfill و متغیرهای Context
نحوه ارسال پارامتر به تسک‌ها و آشنایی با مکانیزم XCom
تعریف متغیر در بخش Variables و استفاده از آن
آشنایی با مکانیزم Retry و کلیر کردن تسک برای اجرای مجدد آن.
محتوای ویدئویی : فیلم آموزشی جلسه دوم
بخش دوم : مهارت‌های حرفه‌ای در طراحی جریان‌های کار
جلسه سوم : شروع کار با TaskFlow و مثال کاربردی پردازش داده‌های بورس
8 موضوع‌ها
بررسی فایل داکر کامپوز نسخه ۳ – آشنایی با سرویس‌های مختلف ایرفلو
آشنایی با Trigger Rules در فرایند اجرای تسک‌ها
شروع کار با پایپ‌لاین عملی: دانلود و پردازش فایلهای اکسل روزانه بورس ایران
افزودن تاریخ فایل به CSV: کار با Jinja Template و متغیر ds
افزایش تعداد ورکرها و بررسی سرویس Flower در مانیتورینگ تسک‌های Celery
استفاده از Sensor برای اطمینان از تولید فایل CSV
آشنایی اولیه با Connectionها در Airflow
محتوای ویدئویی : فایل آموزشی جلسه سوم دوره آموزشی ایرفلو
جلسه چهارم: نکاتی در خصوص مدیریت حرفه‌ای اجرای DAGها
9 موضوع‌ها
بررسی نحوه مدیریت خطا در اجرای یک DAG و حذف و پاک‌کردن تسک‌ها از طریق خط فرمان
🚫 چرا نباید مستقیم در فایل DAG کدنویسی کنیم؟
سفارشی‌سازی ایمیج پایه ایرفلو
بازنویسی پایپ‌لاین پردازش داده‌های بورس با TaskFlow API و نحوه به کارگیری متغیرهای Context در تسک‌ها
آشنایی با مکانیزم کنترل همروندی به کمک تعریف Pool و تنظیم اسلات‌های اجرایی
استفاده از TriggerDagRunOperator و ایجاد یک پایپ‌لاین چند مرحله‌ای (تبدیل فایلهای تراکنش بانکی به پارکت در دو DAG مجزا)
بررسی دیتابیس پستگرس ایرفلو و مشاهده نحوه ذخیره تسک‌ها و مقادیر برگشتی
ارسال داده بین تسک‌ها فراتر از XCom: دیتابیس داخلی و MinIO
محتوای ویدئویی : فیلم آموزشی بخش طراحی دگ‌های کاربردی با ایرفلو
بخش سوم : طراحی و مدیریت جریان‌های کار پیچیده
جلسه پنجم: جریان‌کارهای Data Driven و آشنایی با مفهوم Asset ها در ایرفلو
6 موضوع‌ها
پارامتری کردن یک جریان‌کار از طریق فیلد Params در تعریف DAG – محتوای ویدئویی
اجرای دگ‌ها از طریق API و شروع کار با API های رسمی ایرفلو – محتوای ویدئویی
آشنایی عملی با Data Assets و ایجاد یک پایپ‌ لاین پردازش داده – محتوای ویدئویی
آشنایی با Task Based Data Assets و پارامتر Outlets – محتوای ویدئویی
نکات پیشرفته مدیریت Assetها و زمان‌بندی هوشمند
نگاهی دقیق‌تر به Asset Events و کار با Metadata و Inlets – محتوای ویدئویی
جلسه ششم: کارگاه عملی کار با دیتابیس‌های رابطه‌ای/سنسورها و مدیریت زمان‌بندی
6 موضوع‌ها
آشنایی با انواع حالت‌های زمان‌بندی و آشنایی با TimeTable
آشنایی با انواع سنسورها در Airflow و کاربرد آنها
کارگاه عملی : آشنایی با اپراتورها/سنسور SQL – انتقال داده‌ها از پستگرس به Minio
مدیریت همروندی اجرای DAGها و Taskها در Airflow
آشنایی مقدماتی با کافکا از طریق داکر (راه اندازی ردپاندا)
محتوای ویدئویی : فیلم آموزشی جلسه ششم
جلسه هفتم: کارگاه عملی دریافت داده‌ها از کافکا
6 موضوع‌ها
آشنایی با مکانیزم تعریف کاربران و دسترسی ها در ایرفلو
آشنایی با Hook و مثال عملی از PostgresHook
آشنایی با مکانیزم کارکرد تریگر و اتصال آن به AssetWatcher برای دریافت پیام‌های کافکا
ایمپورت کدهای سفارشی پایتون در DAG‌ ها
کارگاه عملی :‌دریافت داده‌ها از کافکا و بررسی سناریوهای عملی پردازش جریان با ایرفلو
محتوای ویدئویی : کارگاه عملی دریافت داده‌های کافکا
جلسه هشتم: نکات پیشرفته در مدیریت دگ‌ها و ایجاد خطوط پردازش داده حرفه‌ای
10 موضوع‌ها
آشنایی با Deferrable Operators – محتوای ویدئویی
نگهداری دیتابیس داخلی ایرفلو و تسک‌های دوره‌ای مرتبط
اجرای تسک‌ها با هر زبان (DockerOperator / KubernetesPodOperator)
ارسال نوتیفیکیشن خطا (Error Notification)
توسعه با Airflow Plugins و Listeners
تضمین کیفیت داده با Soda و Great Expectations
مانیتورینگ و لاگ‌گیری پیشرفته (Logging)
مدیریت حرفه‌ای وابستگی بین تسک‌ها از طریق Chain
نوشتن تست برای DAGها (Unit Test و Integration Test)
مدیریت نسخه‌های مختلف پایتون برای اجرای تسک‌های گوناگون (Isolated Environments)
بخش چهارم: کارگاه عملی و آشنایی با جایگزین‌های ایرفلو
جلسه نهم: پیاده‌سازی ورک‌فلو N8N با WMSهای عمومی
3 موضوع‌ها
یک سامانه مدیریت جریان کار حرفه‌ای اما ساده برای پایتون: Prefect
یک موتور اجرا کننده اسکریپت و WMS: آشنایی با Windmill
تعریف و مدیریت تسک‌ها با YAML: شروع کار با Kestra
جلسه دهم: پیاده‌سازی ورک‌فلو N8N با WMSهای داده‌محور
3 موضوع‌ها
یک سامانه مدیریت کار برای دوستان حوزه هوش مصنوعی : Flyte
یک سامانه مدرن ایجاد پایپ‌لاین‌های پردازش داده برای دانشمندان داده : Mage.ai
Data Centric Pipelines: Dagster
موضوع قبلی
موضوع بعدی

مروری بر مفاهیم پایه ایرفلو و معماری آن

دوره آموزشی ایرفلو جلسه اول : مقدمه و مفاهیم پایه مروری بر مفاهیم پایه ایرفلو و معماری آن
موضوع قبلی
بازگشت به درس
موضوع بعدی
فروشگاه
جستجو
دوره ها

لطفا کلمات کلیدی را وارد کنید