- पूरी तरह managed Workflow-as-a-Service (WAAS) देने वाला सामान्य-उद्देश्य, horizontal scalability वाला workflow orchestrator
- data pipeline और machine learning model training pipeline जैसे बड़े पैमाने के workflows का प्रबंधन
- retry, queue, task distribution आदि सहित workflow lifecycle के पूरे चरण की निगरानी
- business logic packages के कई formats का समर्थन (Docker image, notebook, bash script, SQL, Python आदि)
- केवल DAG(Directed Acyclic Graph) ही नहीं, बल्कि acyclic और cyclic workflows दोनों का समर्थन
foreach loop, sub-workflow, conditional branching जैसे कई reusable patterns शामिल- JSON format में flexible और शक्तिशाली orchestration definition
- मुख्य properties (author, owner information, execution settings) में consistency बनाए रखता है
- हर workflow बदलाव पर नया version बनता है, tracking और आसानी से rollback संभव
- Netflix के data scientist, data engineer, machine learning engineer, software engineer, content creator, business analyst आदि सहित हजारों users इस service का उपयोग विभिन्न use cases के लिए कर रहे हैं
- यह service 2 साल पहले पेश की गई थी, और इस बार इसे open source के रूप में जारी किया गया है
- ETL pipeline, ML workflow, AB test pipeline जैसे workflows के कई उपयोग मामलों का समर्थन
- horizontal scalability के साथ बड़ी संख्या में workflows और प्रत्येक workflow के भीतर बड़ी संख्या में tasks का प्रबंधन संभव
- हर दिन लाखों tasks और सैकड़ों हजार workflows को schedule किया जाता है, और traffic spike की स्थिति में भी सख्त SLO के साथ इसे चलाया जा रहा है
- Netflix के अंदर मौजूद पहले से चल रहे लाखों workflows को बिना रुकावट Maestro पर सफलतापूर्वक migrate किया गया
- पिछले 1 साल में execute किए गए tasks में 87.5% की वृद्धि हुई
- औसतन हर दिन सैकड़ों हजार tasks चलाए जाते हैं, और व्यस्त दिनों में लगभग 20 लाख tasks पूरे होते हैं
1 टिप्पणियां
इस बार इसे open source के रूप में जारी करते समय लिखा गया परिचय AI ने संक्षेप में बता दिया है: Maestro: Netflix का workflow orchestrator
लेकिन
Maestroनाम वाले बहुत ज़्यादा हैं, हाहाMaestro - Linux-संगत Rust-आधारित kernel
Maestro - मोबाइल ऐप automation UI testing framework