आइए जाँचें कि क्या मेरे use case के लिए Airflow वाकई सबसे अच्छा विकल्प है

• Airflow के इतने सारे alternatives हैं कि यह पक्का करना ज़रूरी है कि मेरे use case के लिए Airflow ही सबसे अच्छा solution है या नहीं (या यह समाधान के रूप में वाकई valid भी है या नहीं)
• इस लेख में बताए गए alternatives
  • Prefect
  • Dagster
  • Cadence
  • Temporal

[hmkim]

cwl, wdl, nextflow, snakemake आदि भी हैं

[kbumsik]

समस्या यह है कि किसी हद तक वास्तविक स्केल पर खुद अनुभव करने से पहले यह अंदाज़ा लगाना आसान नहीं होता कि Airflow सच में अपने use case के लिए सही है या नहीं।
इतना मशहूर होने के बावजूद, लगता है कि इसमें कुछ ऐसे pitfalls हैं जिन्हें पहले से जान पाना आसान नहीं है।

event-based DAGrun trigger का न होना, आसान न होने वाला local development (airflow standalone 2.2 में आया, इसलिए यह थोड़ा आसान ज़रूर हुआ), dynamic न होने वाला DAG configuration, internals को ठीक से न समझने पर jinja template इस्तेमाल किए बिना Variable का गलत उपयोग कर बैठना, वगैरह...

अगले प्रोजेक्ट में एक बार Dagster को भी आज़माना चाहता हूँ।