دوره‌ها

مهارت های برتری که خواهید آموخت:در این دوره سازمانی، شرکت‌کنندگان با مهم‌ترین مفاهیم و ابزارهای روز مهندسی داده آشنا خواهند شد؛ از جمله Docker، Kafka، Spark، Airflow، PostgreSQL، ClickHouse، Redis، Superset و Prometheus. در طول دوره، مفاهیمی مانند طراحی معماری داده، پیاده‌سازی جریان‌های ETL/ELT، مدل‌سازی داده و مانیتورینگ سرویس‌ها پوشش داده می‌شود. شرکت‌کنندگان قادر خواهند بود پروژه‌ها و جریان‌های داده را به‌صورت مستند، تست‌پذیر و قابل نگهداری طراحی و اجرا کنند. این دوره با هدف ارتقای دانش فنی سازمان و آشنایی عملی با ابزارها و مفاهیم جدید حوزه مهندسی داده طراحی شده است.

مهارت های برتری که خواهید آموخت:در این دوره، فراگیر از مفاهیم پایه و نصب ایرفلو تا طراحی پایپ‌لاین‌های عملی و پیشرفته را می‌آموزد. مهارت‌هایی مانند کار با داده‌ها، اپراتورها و سنسورها، زمان‌بندی پیشرفته، DAGهای پویا، اجرای تسک‌ها در محیط‌های ایزوله، توسعه ماژولار، مانیتورینگ، تضمین کیفیت داده، امنیت و تست‌نویسی پوشش داده می‌شود. در بخش کارگاهی، با پروژه‌های واقعی و یکپارچه‌سازی با Kafka، MLflow، OpenAI و آشنایی با ابزارهای جایگزین مانند Prefect، Kestra، Flyte و Dagster، توانایی مدیریت جریان‌های کاری در مقیاس حرفه‌ای به دست خواهد آمد.

مهارت های برتری که خواهید آموخت:در این دوره با مهم‌ترین مفاهیم و ابزارهای مهندسی داده آشنا می‌شوید؛ از جمله Docker، Kafka، Spark، Airflow، PostgreSQL، ClickHouse، Redis، Superset و Prometheus. با طراحی معماری داده، پیاده‌سازی جریان‌های ETL/ELT، مدل‌سازی داده و مانیتورینگ سرویس‌ها آشنا می‌شوید و می‌توانید پروژه‌های واقعی را به‌صورت مستند، تست‌پذیر و قابل نگهداری اجرا کنید. این مهارت‌ها شما را برای ورود حرفه‌ای به بازار کار در نقش مهندس داده آماده می‌کنند.

مهارت های برتری که خواهید آموخت:در این دوره یاد می‌گیرید چگونه یک کلاستر Kafka را راه‌اندازی و مدیریت کنید، Topic بسازید، با Producer و Consumer کار کنید و پایپ‌لاین‌های داده‌ای پایدار طراحی کنید. همچنین با مفاهیمی مثل Consumer Group، Rebalancing و Delivery Semantics آشنا می‌شوید. علاوه بر آن، کار با ابزارهای مهمی مثل Kafka Connect، Schema Registry و KSQLDB را تجربه می‌کنید و حتی یک ETL مقیاس‌پذیر با Go پیاده‌سازی می‌کنید. در پایان، توانایی ایمن‌سازی، مانیتورینگ و بهینه‌سازی سیستم‌های داده‌ای در مقیاس واقعی را خواهید داشت.

مهارت های برتری که خواهید آموخت:دانشجویان در این دوره مهارت‌های عملی کار با PySpark و دیتافریم‌ها، تحلیل داده با Spark SQL، بهینه‌سازی منابع و مدیریت جاب‌ها در محیط توزیع‌شده را فرا می‌گیرند. همچنین توانایی اتصال به پایگاه‌داده‌ها، پردازش JSON، یادگیری ماشین توزیع‌شده، پردازش جریانی و ساخت پایپ‌لاین‌های واقعی با ابزارهایی مثل Kafka و Airflow را کسب خواهند کرد.

مهارت های برتری که خواهید آموخت:در پایان دوره، دانشجو می‌تواند ClickHouse را نصب و پیکربندی کرده، جداول و ساختار داده‌ها را برای حداکثر کارایی طراحی و کوئری‌های پیشرفته SQL را اجرا کند. او مهارت کار با داده‌های نیمه‌ساخت‌یافته، استفاده از Materialized View و Projectionها برای بهینه‌سازی، و پیاده‌سازی سناریوهای تحلیلی پیچیده را به‌دست می‌آورد. همچنین یاد می‌گیرد جریان‌های داده Real-time را از Kafka پردازش کند، امنیت و کنترل دسترسی را مدیریت کرده، مانیتورینگ و تیونینگ عملکرد را انجام دهد، و کلاسترهای توزیع‌شده با قابلیت مقیاس‌پذیری و پایداری بالا طراحی کند. این مهارت‌ها او را آماده اجرای پروژه‌های واقعی و سازمانی با ClickHouse می‌کند.