فیلتر
5 آیتم
در این دوره، فراگیر از مفاهیم پایه و نصب ایرفلو تا طراحی پایپلاینهای عملی و پیشرفته را میآموزد. مهارتهایی مانند کار با دادهها، اپراتورها و سنسورها، زمانبندی پیشرفته، DAGهای پویا، اجرای تسکها در محیطهای ایزوله، توسعه ماژولار، مانیتورینگ، تضمین کیفیت داده، امنیت و تستنویسی پوشش داده میشود. در بخش کارگاهی، با پروژههای واقعی و یکپارچهسازی با Kafka، MLflow، OpenAI و آشنایی با ابزارهای جایگزین مانند Prefect، Kestra، Flyte و Dagster، توانایی مدیریت جریانهای کاری در مقیاس حرفهای به دست خواهد آمد.
در این دوره با مهمترین مفاهیم و ابزارهای مهندسی داده آشنا میشوید؛ از جمله Docker، Kafka، Spark، Airflow، PostgreSQL، ClickHouse، Redis، Superset و Prometheus. با طراحی معماری داده، پیادهسازی جریانهای ETL/ELT، مدلسازی داده و مانیتورینگ سرویسها آشنا میشوید و میتوانید پروژههای واقعی را بهصورت مستند، تستپذیر و قابل نگهداری اجرا کنید. این مهارتها شما را برای ورود حرفهای به بازار کار در نقش مهندس داده آماده میکنند.
در این دوره یاد میگیرید چگونه یک کلاستر Kafka را راهاندازی و مدیریت کنید، Topic بسازید، با Producer و Consumer کار کنید و پایپلاینهای دادهای پایدار طراحی کنید. همچنین با مفاهیمی مثل Consumer Group، Rebalancing و Delivery Semantics آشنا میشوید.
علاوه بر آن، کار با ابزارهای مهمی مثل Kafka Connect، Schema Registry و KSQLDB را تجربه میکنید و حتی یک ETL مقیاسپذیر با Go پیادهسازی میکنید. در پایان، توانایی ایمنسازی، مانیتورینگ و بهینهسازی سیستمهای دادهای در مقیاس واقعی را خواهید داشت.
در پایان دوره، دانشجو میتواند ClickHouse را نصب و پیکربندی کرده، جداول و ساختار دادهها را برای حداکثر کارایی طراحی و کوئریهای پیشرفته SQL را اجرا کند. او مهارت کار با دادههای نیمهساختیافته، استفاده از Materialized View و Projectionها برای بهینهسازی، و پیادهسازی سناریوهای تحلیلی پیچیده را بهدست میآورد.
همچنین یاد میگیرد جریانهای داده Real-time را از Kafka پردازش کند، امنیت و کنترل دسترسی را مدیریت کرده، مانیتورینگ و تیونینگ عملکرد را انجام دهد، و کلاسترهای توزیعشده با قابلیت مقیاسپذیری و پایداری بالا طراحی کند. این مهارتها او را آماده اجرای پروژههای واقعی و سازمانی با ClickHouse میکند.
در این دوره، کاربر با مهارتهای کلیدی کار با PostgreSQL آشنا میشود؛ از ایجاد و مدیریت جداول و دادهها گرفته تا طراحی اسکیمای بهینه، نگارش کوئریهای پیچیده با SQL، استفاده از توابع تجمعی و تحلیلی، بهرهگیری از ایندکسها برای بهبود عملکرد، و درک معماری داخلی PostgreSQL. همچنین با مفاهیم مهمی مانند مدیریت تراکنشها، قفلها، پشتیبانگیری و بازیابی، اتصال و پیکربندی سرور، و استفاده از ابزارهایی مانند psql و DBeaver آشنا خواهد شد. در کنار آن، مباحثی مانند دادههای JSON، افزونهها و بهترین شیوهها برای استفاده پستگرس در پروژههای تحلیلی و اپلیکیشنهای مقیاسپذیر نیز پوشش داده میشود.