WarpStream : Kafka मर चुका है, Kafka अमर रहे!

• WarpStream, S3 के ऊपर सीधे बनाया गया Kafka protocol-compatible data streaming platform है
• यह stateless single Go binary के रूप में उपलब्ध है, इसलिए न manage करने के लिए local disk चाहिए, न rebalance करने के लिए broker, और न ही operate करने के लिए ZooKeeper
• S3 के साथ सीधे data exchange करने की वजह से यह Kafka की तुलना में 5~10x सस्ता है (बड़े पैमाने के Kafka infra cost का 80% से भी ज़्यादा हो सकता है)
• Kafka 2011 में data center के लिए बनाया गया बेहद शानदार software है, लेकिन modern workloads के लिए उपयुक्त नहीं है
  • लागत-प्रभावशीलता: design के हिसाब से Kafka की replication strategy, AZ के बीच भारी bandwidth cost पैदा करती है
  • operational overhead: Kafka cluster चलाने के लिए अलग team और जटिल custom tools की ज़रूरत होती है
• WarpStream कई cloud के object storage (AWS S3, GCP GCS, Azure Blob Storage) पर सीधे चलता है
• अभी developer preview में है

[xguru]

GN⁺ द्वारा संक्षिप्त किया गया वर्ज़न भी देखें। https://hi.news.hada.io/topic?id=10254

[pseudojo]

लेयर्स कम करने के बजाय, यह ऐसा टूल है जिसे बहुत सावधानी से संभालना पड़ता है। इस तरह के टूल्स में हमेशा बिलिंग शॉक पैदा करने की गुंजाइश रहती है। (* अगर अपने डेटा सेंटर में minio आदि के साथ चलाया जाए, तो यह अपवाद है)

[ehlegeth]

disaggregated storage की दिशा का उपयोग करने वाला यह एक दिलचस्प प्रयास लगता है.
यह जानने की जिज्ञासा है कि caching जैसी समस्याओं को इन्होंने कैसे संभाला है।

[xguru]

ब्लॉग पोस्ट का शीर्षक थोड़ा क्लिकबेट-सा है, लेकिन Kafka के हल्के विकल्प के रूप में यह एक दिलचस्प कोशिश लगती है।