در دوره جامع Kafka، مباحث زیر به صورت کاملاً عملی و با تمرکز بر کاربردهای واقعی در پروژههای مهندسی داده آموزش داده خواهند شد:
- نصب و راهاندازی Kafka (لوکال و Docker) و آشنایی با معماری، مفاهیم پایه مثل Broker، Topic، Partition، Offset، Producer و Consumer (۱ جلسه)
- پیادهسازی Producer و Consumer با پایتون، مدیریت Consumer Group، Rebalancing، Delivery Semantics و ساخت یک پایپلاین ETL ساده (۱ جلسه)
- مدیریت پیشرفته Topicها، کار با KafkaCat و ابزارهای گرافیکی (Kafka-UI، KafkaHQ، Redpanda Console)، و ایجاد کلاستر چند نودی (۱ جلسه)
- آشنایی و کار با بروکرهای جایگزین مانند Redpanda و AutoMQ و ساخت پایپلاینهای داده روی آنها (۱ جلسه)
- استفاده از Kafka Connect برای انتقال دادههای لحظهای بین دیتابیسها و سرویسها، خطایابی، Dead Letter Queue و سناریوهای عملی با Debezium (۱ جلسه)
- مدیریت Schema با Schema Registry، کار با Avro، Protobuf و JSON Schema، ثبت و نسخهبندی Schemaها و استفاده آنها در Producer/Consumer (۱ جلسه)
- پردازش جریان با ابزارهای SQL محور مانند KSQLDB، Timeplus Proton، RisingWave و DuckDB (Tributary) (۱ جلسه)
- کارگاه عملی پردازش جریان با Spark Streaming، ByteWax، FastStream و طراحی پایپلاین با YAML (Bento/Arroyo) (۱ جلسه)
- طراحی و پیادهسازی یک ETL سبک و مقیاسپذیر با Kafka و زبان Go شامل Dispatcher + Worker Pool، Batching، Backpressure و مانیتورینگ با Grafana (۱ جلسه)
- امنیت و مانیتورینگ Kafka: احراز هویت SASL/SSL، کنترل دسترسی (ACL)، تنظیم JMX Metrics، مانیتورینگ با Prometheus و Grafana (۱ جلسه)
- ریکاوری و بهینهسازی پیشرفته: تنظیمات Producer/Consumer، مقابله با Consumer Lag، استفاده از MirrorMaker برای replication، Partitioning استراتژیک و Benchmark عملی (۱ جلسه)
برای اطلاعات بیشتر به صفحه محصول در این آدرس مراجعه کنید :
نظر