Ploomber - जल्दी डेटा पाइपलाइन बनाने वाला ओपन सोर्स फ्रेमवर्क

• Jupyter/VSCode/PyCharm आदि का उपयोग करके डेवलपमेंट

• बिना कोड बदले प्रोडक्शन सर्वर पर डिप्लॉयमेंट: Kubernetes, AWS Batch, Airflow, Kubeflow, Slurm आदि

• मौजूदा notebook को modular pipeline में refactor किया जा सकता है

मुख्य सुविधाएँ

• YAML का उपयोग करके तेज़ी से डेवलपमेंट

• शक्तिशाली Python API के साथ flexibility प्रदान करता है

• अपने-आप pipeline के पिछले परिणामों को cache करता है और पिछली रन से बदली हुई चीज़ों की ही दोबारा गणना करता है

• shell script या Kubernetes, Airflow, AWS Batch आदि के साथ distributed deployment

[japansea]

शायद kafka का मुकाबला नहीं कर पाएगा, है न?