جلسه پنجم: جریان‌کارهای Data Driven و آشنایی با مفهوم Asset ها در ایرفلو

در جلسه پنجم، تمرکز ما بر دو محور اساسی است: پارامتری‌سازی جریان‌های کاری (Parameterized Workflows) و ورود به دنیای Data-Driven Workflows در ایرفلو نسخه ۳. این ترکیب به شرکت‌کنندگان کمک می‌کند هم با قابلیت‌های کلاسیک اما بسیار کاربردی ایرفلو (مانند دریافت ورودی در زمان اجرا و فراخوانی از طریق API) آشنا شوند و هم با رویکرد مدرن‌تر یعنی استفاده از Assets برای مدیریت و زمان‌بندی جریان‌های داده‌ای.

در ابتدای جلسه یاد می‌گیریم که چگونه DAGها را به‌گونه‌ای طراحی کنیم که هنگام تریگر شدن بتوان به آن‌ها پارامتر ارسال کرد. سپس با کمک API رسمی ایرفلو و ابزارهایی مانند curl و پایتون، این DAGها را اجرا می‌کنیم و ورودی‌های پارامتری را در اختیارشان قرار می‌دهیم. در این مسیر، از ماژول Auth برای تولید توکن دسترسی و احراز هویت استفاده خواهیم کرد.

پس از آن، وارد بخش Data-Driven Workflows و مفهوم Assets می‌شویم. دارایی‌ها در ایرفلو ۳ امکان ساخت جریان‌های کاری داده‌محور را فراهم می‌کنند که وابستگی‌ها بر اساس آماده بودن داده‌ها تعریف می‌شوند، نه صرفاً زمان‌بندی کران.

پارامتری‌سازی جریان‌کارها (Parameterized DAGs)

یادگیری نحوه تعریف پارامترها با استفاده از فیلد params در تعریف DAG و دریافت ورودی‌ها در زمان اجرای واقعی. این قابلیت انعطاف‌پذیری بالایی به جریان‌های کاری می‌دهد.

اجرای DAGها از طریق API رسمی ایرفلو

در این بخش، با نحوه استفاده از API رسمی آشنا می‌شویم:

• تولید توکن دسترسی از طریق بخش Auth
• تریگر کردن DAG با استفاده از curl
• ارسال پارامترهای ورودی از طریق پایتون و بررسی نتیجه اجرای DAG

آشنایی عملی با Data Assets

ورود به مفهوم دارایی‌ها در ایرفلو ۳ و ساخت یک پایپ‌لاین ساده پردازش داده مبتنی بر Assets. یاد می‌گیریم چگونه تولید و مصرف دارایی‌ها را تعریف کنیم و جریان داده‌محور واقعی بسازیم.

بازنویسی پایپ‌لاین با استفاده از تسک‌ها و پارامتر Outlets

تبدیل یک پایپ‌لاین ساده به نسخه مبتنی بر تسک‌ها که از قابلیت outlets برای معرفی دارایی‌ها استفاده می‌کند. این بخش نشان می‌دهد که حتی در ساختار Task-Based نیز می‌توان مدیریت ورودی و خروجی داده را با Assetها انجام داد.

مدیریت و مشاهده دارایی‌ها در رابط کاربری ایرفلو

معرفی امکانات جدید UI ایرفلو برای رصد کردن دارایی‌ها، وضعیت آن‌ها و وابستگی‌ها.

نکات پیشرفته پیرامون Asset Workflows

بررسی مکانیزم رویدادها (Asset Events)، استفاده از Metadata برای دارایی‌ها، تعریف زمان‌بندی ترکیبی (Asset + Time) و مدیریت سناریوهای عملی با استفاده از Aliases.

جمع‌بندی

در پایان این جلسه، شرکت‌کنندگان با دو دسته مهارت آشنا می‌شوند:
۱. طراحی و اجرای DAGهای پارامتری و تعامل با آن‌ها از طریق API رسمی ایرفلو.
۲. درک و پیاده‌سازی جریان‌های داده‌محور بر اساس Assetها در ایرفلو ۳، از سطح مقدماتی تا قابلیت‌های پیشرفته.

این جلسه، پلی میان قابلیت‌های کلاسیک ایرفلو و ویژگی‌های نوین داده‌محور ایجاد می‌کند و مسیر حرکت به سمت معماری‌های مدرن‌تر مدیریت جریان‌های داده را هموار می‌سازد.