دوره سازمانی مبانی مهندسی داده (شرکت داتا)
مجتبی بنائی
درباره من
مجتبی بنائی از سال ۱۳۸۰ مسیر حرفهای خود را بهعنوان مهندس نرمافزار آغاز کرد و از ۱۳۹۲ بهطور تخصصی وارد دنیای مهندسی داده شد. او تجربهای گسترده در طراحی سامانههای پردازش داده، مدیریت تیمهای فنی، و تدریس دورههای تخصصی دارد. علاقه او به برنامهنویسی از سال ۱۳۷۵، زمانی که در المپیاد کامپیوتر خراسان بزرگ رتبه دوم را کسب کرد، آغاز شد و تاکنون ادامه دارد. در سال ۱۳۹۳ وبسایت مهندسی داده (BigData.ir) را راهاندازی کرد که امروز یکی از منابع معتبر فارسیزبان این حوزه است. همچنین، «مدرسه مهندسی داده سپهرام» را با هدف آموزش و انتقال تجربه به جامعه مهندسی داده تأسیس کرده است. او دانشآموخته کارشناسی مهندسی نرمافزار از دانشگاه تهران (ورودی 77) و کارشناسی ارشد نرمافزار از دانشگاه تربیت مدرس است و اکنون در حال تکمیل رساله دکتری خود در دانشگاه تهران است. تمرکز اصلیاش بر طراحی زیرساختهای داده، تولید محتوای تخصصی، و توسعه راهکارهای تحلیلی مقیاسپذیر است.دوره های آموزشی توسط من
در این دوره سازمانی، شرکتکنندگان با مهمترین مفاهیم و ابزارهای روز مهندسی داده آشنا خواهند شد؛ از جمله Docker، Kafka، Spark، Airflow، PostgreSQL، ClickHouse، Redis، Superset و Prometheus. در طول دوره، مفاهیمی مانند طراحی معماری داده، پیادهسازی جریانهای ETL/ELT، مدلسازی داده و مانیتورینگ سرویسها پوشش داده میشود. شرکتکنندگان قادر خواهند بود پروژهها و جریانهای داده را بهصورت مستند، تستپذیر و قابل نگهداری طراحی و اجرا کنند. این دوره با هدف ارتقای دانش فنی سازمان و آشنایی عملی با ابزارها و مفاهیم جدید حوزه مهندسی داده طراحی شده است.
دوره آموزشی ایرفلو
در این دوره، فراگیر از مفاهیم پایه و نصب ایرفلو تا طراحی پایپلاینهای عملی و پیشرفته را میآموزد. مهارتهایی مانند کار با دادهها، اپراتورها و سنسورها، زمانبندی پیشرفته، DAGهای پویا، اجرای تسکها در محیطهای ایزوله، توسعه ماژولار، مانیتورینگ، تضمین کیفیت داده، امنیت و تستنویسی پوشش داده میشود. در بخش کارگاهی، با پروژههای واقعی و یکپارچهسازی با Kafka، MLflow، OpenAI و آشنایی با ابزارهای جایگزین مانند Prefect، Kestra، Flyte و Dagster، توانایی مدیریت جریانهای کاری در مقیاس حرفهای به دست خواهد آمد.
دوره مبانی مهندسی داده
در این دوره با مهمترین مفاهیم و ابزارهای مهندسی داده آشنا میشوید؛ از جمله Docker، Kafka، Spark، Airflow، PostgreSQL، ClickHouse، Redis، Superset و Prometheus. با طراحی معماری داده، پیادهسازی جریانهای ETL/ELT، مدلسازی داده و مانیتورینگ سرویسها آشنا میشوید و میتوانید پروژههای واقعی را بهصورت مستند، تستپذیر و قابل نگهداری اجرا کنید. این مهارتها شما را برای ورود حرفهای به بازار کار در نقش مهندس داده آماده میکنند.
دوره آموزشی کاربردی آپاچی کافکا
در این دوره یاد میگیرید چگونه یک کلاستر Kafka را راهاندازی و مدیریت کنید، Topic بسازید، با Producer و Consumer کار کنید و پایپلاینهای دادهای پایدار طراحی کنید. همچنین با مفاهیمی مثل Consumer Group، Rebalancing و Delivery Semantics آشنا میشوید.
علاوه بر آن، کار با ابزارهای مهمی مثل Kafka Connect، Schema Registry و KSQLDB را تجربه میکنید و حتی یک ETL مقیاسپذیر با Go پیادهسازی میکنید. در پایان، توانایی ایمنسازی، مانیتورینگ و بهینهسازی سیستمهای دادهای در مقیاس واقعی را خواهید داشت.
آموزش آپاچی اسپارک
دانشجویان در این دوره مهارتهای عملی کار با PySpark و دیتافریمها، تحلیل داده با Spark SQL، بهینهسازی منابع و مدیریت جابها در محیط توزیعشده را فرا میگیرند.
همچنین توانایی اتصال به پایگاهدادهها، پردازش JSON، یادگیری ماشین توزیعشده، پردازش جریانی و ساخت پایپلاینهای واقعی با ابزارهایی مثل Kafka و Airflow را کسب خواهند کرد.
دوره آموزشی کلیکهوس
در پایان دوره، دانشجو میتواند ClickHouse را نصب و پیکربندی کرده، جداول و ساختار دادهها را برای حداکثر کارایی طراحی و کوئریهای پیشرفته SQL را اجرا کند. او مهارت کار با دادههای نیمهساختیافته، استفاده از Materialized View و Projectionها برای بهینهسازی، و پیادهسازی سناریوهای تحلیلی پیچیده را بهدست میآورد.
همچنین یاد میگیرد جریانهای داده Real-time را از Kafka پردازش کند، امنیت و کنترل دسترسی را مدیریت کرده، مانیتورینگ و تیونینگ عملکرد را انجام دهد، و کلاسترهای توزیعشده با قابلیت مقیاسپذیری و پایداری بالا طراحی کند. این مهارتها او را آماده اجرای پروژههای واقعی و سازمانی با ClickHouse میکند.
دوره آموزشی پستگرس کاربردی
در این دوره، کاربر با مهارتهای کلیدی کار با PostgreSQL آشنا میشود؛ از ایجاد و مدیریت جداول و دادهها گرفته تا طراحی اسکیمای بهینه، نگارش کوئریهای پیچیده با SQL، استفاده از توابع تجمعی و تحلیلی، بهرهگیری از ایندکسها برای بهبود عملکرد، و درک معماری داخلی PostgreSQL. همچنین با مفاهیم مهمی مانند مدیریت تراکنشها، قفلها، پشتیبانگیری و بازیابی، اتصال و پیکربندی سرور، و استفاده از ابزارهایی مانند psql و DBeaver آشنا خواهد شد. در کنار آن، مباحثی مانند دادههای JSON، افزونهها و بهترین شیوهها برای استفاده پستگرس در پروژههای تحلیلی و اپلیکیشنهای مقیاسپذیر نیز پوشش داده میشود.