Airflow को बड़े पैमाने पर चलाते हुए सीखे गए सबक

Shopify इसका उपयोग data extraction, machine learning model training, Apache Iceberg table maintenance, और DBT-आधारित data modeling आदि के लिए कर रहा है

1. cloud storage का उपयोग करते समय file access धीमा हो सकता है
   → GCS + NFS से performance में सुधार
2. metadata volume बड़ा होने पर Airflow operations धीमे हो सकते हैं
   → retention policy का उपयोग करके इसे 28 दिनों पर सेट किया
3. DAGs को users और teams से जोड़ना मुश्किल हो सकता है
   → centralized metadata store का उपयोग
4. DAG authors के पास बहुत अधिक permissions होती हैं
   → DAG policy का उपयोग
5. consistent load balancing सुनिश्चित करना कठिन है
   → standardized schedules बनाकर traffic burst कम करना
6. resource contention के कई बिंदु होते हैं
   → Pools, Priority Weight, Celerey Queue और Isolated Workers का उपयोग