جلسه ۲: نگاهی عمیق‌تر به مصرف‌کننده/تولید کننده در کافکا و تنظیمات اصلی آنها

در این جلسه قصد داریم شما را با مفاهیم و اجزای حیاتی Apache Kafka آشنا کنیم و نگاه عمیق‌تری به نحوه کارکرد این سیستم پیام‌رسان توزیع‌شده داشته باشیم. هر بخش از جلسه با هدف روشن کردن نقش و اهمیت هر جزء در جریان داده‌ها طراحی شده است تا شما بتوانید از مفاهیم پایه تا جزئیات فنی Kafka را به خوبی درک کنید.

🔹 آنچه در این جلسه خواهید آموخت:

1. آشنایی با تنظیمات اصلی نودهای Kafka و راه‌اندازی یک کلاستر تک‌نودی
   • بررسی تنظیمات اصلی brokerها، نحوه راه‌اندازی و مدیریت یک نود مستقل.
   • اهمیت: این بخش پایه‌ای برای درک رفتار کلاستر و ارتباط بین نودها است.
2. نگاهی عمیق‌تر به Listener در Kafka
   • فهم Listenerها و تفاوت بین Listener معمولی و advertised Listener.
   • اهمیت: ارتباط کلاینت‌ها (Producer و Consumer) با brokerها کاملاً وابسته به Listenerهاست و شناخت دقیق آنها برای پیکربندی مناسب شبکه و امنیت ضروری است.
3. بررسی الگوریتم KRaft در Kafka
   • معرفی نقش controller و حذف وابستگی به ZooKeeper.
   • اهمیت: درک نحوه مدیریت metadata و Rebalance گروه‌ها، به ویژه در معماری مدرن Kafka، برای مدیریت کلاستر و بهبود مقیاس‌پذیری حیاتی است.
4. رازهای Kafka Consumer: از اتصال تا Rebalance
   • نحوه اتصال کانسیومر به گروه، تخصیص پارتیشن‌ها، واکشی پیام‌ها و مدیریت commit آفست‌ها.
   • اهمیت: این بخش به شما نشان می‌دهد که چگونه کانسیومرها به صورت کارآمد و مقاوم در برابر خطاها پیام‌ها را پردازش می‌کنند و تضمین می‌کنند که هیچ داده‌ای از دست نرود.
5. Producer در Kafka: معماری، پیکربندی و جریان دقیق پیام‌ها
   • توضیح مراحل ارسال پیام، batching، serialization، ackها، idempotency و transactional producer با جزئیات فنی.
   • اهمیت: فهم نحوه ارسال امن و مطمئن داده‌ها، بهینه‌سازی throughput و تضمین عدم تولید duplicate پیام‌ها، برای هر توسعه‌دهنده‌ای که می‌خواهد Kafka را در محیط واقعی به کار ببرد، ضروری است.
6. قابلیت جدید Share Groups: نزدیک شدن Kafka به صف واقعی
   • معرفی Share Groups در Kafka 4.1، مکانیزم per-message acknowledgment، مدل cooperative خواندن پیام‌ها و کاربردهای queue-like.
   • اهمیت: این قابلیت به توسعه‌دهندگان امکان می‌دهد از Kafka به عنوان یک صف واقعی استفاده کنند و پردازش موازی و مقاوم در برابر خطا را با انعطاف بیشتر پیاده‌سازی کنند.

📌 جمع‌بندی

با پایان این جلسه، شما:

• با تنظیمات و معماری نودها و Listenerها آشنا می‌شوید.
• نقش KRaft و حذف ZooKeeper را درک می‌کنید.
• جریان داده‌ها در Consumer و Producer را به صورت عمیق یاد می‌گیرید.
• آماده بهره‌برداری از قابلیت‌های جدید Kafka 4.1 مانند Share Groups خواهید بود.