فیلم آموزشی جلسه چهارم ایرفلو، موضوعات زیر را پوشش میدهد:
- استفاده از MinIO برای ذخیره دادههای بزرگ خارج از دیتابیس و کاهش بار XCom
- مدیریت خطا و پاکسازی DAG Runs
- توقف DAG از طریق خط فرمان
- پاکسازی Taskها با دستور
airflow tasks clear
- حذف کامل DAG Run با
airflow dags delete
- دلیل عدم نوشتن کد مستقیم در DAG
- بررسی اجرای کدهای پایتون خارج از Task/Function
- مشاهده تولید مداوم فایل JSON در پوشه
/data/profiles
- سفارشیسازی ایمیج Docker Airflow
- نصب کتابخانههای لینوکس و پایتون مورد نیاز (pandas, openpyxl, faker, jdatetime)
- تنظیم Timezone روی Asia/Tehran
- نحوه استفاده از build در Docker Compose
- بازنویسی پایپلاین با TaskFlow API
- استفاده از متغیرهای Context (مثل
ds) در تسکها
- مدیریت کانکشنها و متغیرها در Airflow
- مثالهای XCom و ارسال داده بین Taskها
- کنترل همروندی با Pool و اسلاتهای اجرایی
- تعیین Pool و اختصاص Taskها به آن
- مدیریت تعداد Taskهای همزمان اجرا شونده
- ایجاد پایپلاین چندمرحلهای با TriggerDagRunOperator
- DAG اول: تولید تراکنش بانکی و ذخیره در MinIO
- DAG دوم: ترکیب فایلها به پارکت و ذخیره در Lakehouse
- استفاده از TriggerDagRunOperator برای زنجیره DAGها
- بررسی دیتابیس Postgres Airflow و XCom
- مشاهده نحوه ذخیره Taskها و مقادیر برگشتی
- چالش دادههای حجیم و سنگینی جدول XCom