Apache Kafka, ZooKeeper पर निर्भरता हटाता है

• ZooKeeper को बाहरी metadata store के रूप में इस्तेमाल करने के कारण duplication, inefficiency और scalability limitations जैसी समस्याएँ पैदा होती हैं

• KIP-500 : "Kafka on Kafka"

→ Kafka के भीतर सीधे metadata को मैनेज करके partition में स्टोर करना

→ metadata को log की तरह ट्रीट करना

→ topic create/delete की गति में सुधार : ZooKeeper से अलग, metadata partition में नया topic बनाना O(1) operation में पूरा हो जाता है

→ एक single cluster दस लाख से अधिक partitions को support कर सकता है

• roadmap

→ अभी भी कुछ management tools हैं जो सीधे ZooKeeper से communicate करते हैं. इन्हें replace करने के लिए API देने की योजना है

→ metadata partition और controller के बीच dependency बनती है, इसलिए KIP-595 में Raft protocol के साथ self-managed metadata quorum लागू करने की योजना है

→ ZooKeeper के बिना Kafka चलाने वाला KIP-500 mode : शुरुआत में पूरा support अधूरा होगा, इसलिए legacy mode में ZooKeeper को साथ इस्तेमाल किया जाएगा

→ KIP-500 एक "Bridge Release" है. यह एक intermediate upgrade है, ताकि ZooKeeper support पूरी तरह हटने वाले KIP-500 के बाद के version में downtime के बिना migrate किया जा सके. साथ ही वास्तव में ZooKeeper-रहित version par एक बार फिर upgrade करने का support देगा

[minji]

धन्यवाद। अच्छी तरह से देखा।