Peerdb Streams - सरल Postgres CDC(Change Data Capture)

 (blog.peerdb.io)
13 पॉइंट द्वारा xguru 2024-05-09 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Postgres में होने वाले बदलावों को Kafka, Redpanda, Google PubSub, Azure Event Hub जैसे queue/message broker में आसानी से replicate किया जा सकता है
    • अंदरूनी तौर पर Postgres logical decoding का उपयोग करके Postgres CDC को सक्षम किया जाता है
  • मौजूदा CDC के लिए Debezium का बहुत उपयोग होता है, लेकिन इसकी learning curve लंबी है और production में लागू करने के लिए काफी आधारभूत ज्ञान चाहिए
    • configuration कठिन है (UI अभी development में है), data format और transformation support भी सरल नहीं है, और Kafka के अलावा दूसरे message broker के लिए समान स्तर की functionality नहीं देता
  • PeerDB का लक्ष्य ज्यादा सरल और अधिक व्यापक Postgres CDC बनाना है
    • ताकि engineer न्यूनतम learning curve के साथ कुछ ही दिनों में production-grade Postgres CDC लागू कर सकें
  • PeerDB UI के जरिए आसानी से configuration किया जा सकता है
    • source और target data source configuration (जैसे Postgres और Kafka)
    • throughput (प्रति table) और latency आदि जैसे CDC progress की monitoring
    • log search
    • replication slot बढ़ने पर Slack/email alerts
    • mirror tuning, pause, mirror में table जोड़ने जैसी advanced features भी उपलब्ध
  • CLI भी उपलब्ध है. Postgres-compatible SQL layer देता है, इसलिए user-friendly है
  • Kafka में CDC streaming से पहले row-level transformation लागू किया जा सकता है
    • Lua script का उपयोग
    • personally identifiable information (PII) encryption/masking, और कई data formats का support (JSON, MsgPack, Flatbuffers, Protobuf, आदि)
    • script editor और उपयोगी templates भी उपलब्ध
  • Kafka के अलावा अन्य targets के लिए native connectors उपलब्ध
    • Google Pub/Sub, Azure Event Hubs

संबंधित पढ़ाई