लोकल में तेज़ी से development करने के बाद, जब cloud पर बड़े पैमाने पर उसे चलाना हो, तो यह ऐसा Infrastructure stack है जो code बदले बिना execution संभव बनाता है। Notebook में काम कर रहे code/data/dependencies आदि के snapshot बनाकर उन्हें S3 या file system में store किया जा सकता है, जिससे workflow को resume करना या पिछले परिणामों को reproduce करना जैसे काम संभव हो जाते हैं।
2 टिप्पणियां
MetaFlow क्यों है, यह समझने के लिए चित्र सहित समझाया गया https://docs.metaflow.org/introduction/why-metaflow देखें.
इसे Netflix और AWS ने मिलकर डेवलप किया है, इसलिए यह गहराई से integrated है.
Local में हार्ड पर सेव करके और notebook इंस्टॉल करके तेज़ और सुविधाजनक तरीके से डेवलप किया जा सकता है,
और AWS पर डालने पर नीचे दी गई services का उपयोग करके बड़े पैमाने पर इसे रन किया जा सकता है.
Metadata - RDS या Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/
असल मशीन लर्निंग/डेटा साइंस लाइब्रेरी में आप PyTorch, Tensorflow, Scikit-Learn में से जो भी इस्तेमाल करें, सबके साथ इंटीग्रेशन संभव है।