- यह लेख WarpStream का परिचय देता है, जो S3 के ऊपर सीधे बनाया गया Kafka protocol-compatible data streaming platform है.
- WarpStream एक single, stateless Go binary के रूप में दिया जाता है, जिससे local disk management, broker rebalancing, और ZooKeeper operations की आवश्यकता समाप्त हो जाती है.
- यह platform data को सीधे S3 में stream करके infrastructure cost को काफी कम करता है, और cloud में Kafka की तुलना में 5-10 गुना सस्ता है.
- यह लेख आधुनिक workloads के लिए Kafka की उपयुक्तता की आलोचना करता है, और high inter-AZ bandwidth cost तथा operational overhead पर जोर देता है.
- WarpStream की architecture, Kafka से अलग है. Brokers की जगह stateless "agents" होते हैं, जो किसी भी topic के "leader" की तरह काम कर सकते हैं, किसी भी consumer group के लिए offsets commit कर सकते हैं, या cluster के coordinator के रूप में काम कर सकते हैं.
- WarpStream में सारा storage S3 जैसे object storage पर offload कर दिया जाता है, जिससे आसान scaling और तेज failure recovery संभव होती है.
- WarpStream data और metadata को अलग करता है, और सभी "virtual clusters" का metadata एक custom metadata database में store करता है.
- यह platform अधिकांश Kafka workloads की total cost को 5-10 गुना तक कम करता है, लेकिन produce requests के लिए P99 लगभग 400ms है और producer से consumer तक लगभग 1 second की अधिक latency है.
- WarpStream अभी developer preview चरण में है और अभी production use के लिए तैयार नहीं है.
- WarpStream के निर्माताओं का मानना है कि Kafka का developer UX एक समस्या है, खासकर partitions के low-level abstraction को वे समस्या मानते हैं. वे WarpStream के future updates में इसे हल करने की योजना बना रहे हैं.
- यह लेख पाठकों को WarpStream आज़माने और feedback देने के निमंत्रण के साथ समाप्त होता है.
1 टिप्पणियां
Hacker News राय