- ML experiments tracking को automate करने के लिए बनाया गया framework
- दूसरे experiment tracking tools से अलग, persistence, query और version control logic को programming language के अपने सामान्य हिस्से की तरह बनाता है
- लक्ष्य यह है कि interactive session की तरह persistence के बारे में सोचे बिना expressive calculation code लिखा जा सके, और बाद में भी version-managed और queryable storage के सभी फायदे मिलें
- दो general-purpose tools का उपयोग करके ML experiment tracking (और उससे आगे भी) के लिए जरूरी मेहनत और code overhead को हटाता है:
@op decorator:
- Python function calls के input, output और code (+dependencies) को capture करता है
- पुराने results को अपने-आप reuse करता है और एक ही call को दो बार compute नहीं करता
- storage backend के बारे में सोचे बिना साधारण Python में efficient iterative development संभव बनाने वाले end-to-end persistent program के रूप में compose होने के लिए design किया गया
- ComputationFrame data structure:
- imperative code के execution को variables और operations के high-level computation graph में अपने-आप organize करता है। feedback loop, branching/merging, aggregation/indexing जैसे patterns को detect करता है
- columns graph के variables और operations हों, और हर row graph के (संभवतः आंशिक) execution के values/calls रखे, ऐसे dataframe को निकालकर variables के बीच के संबंधों को query करता है
@op calls के heterogeneous "web" के लिए navigation और high-level operations को automate करता है
अभी कोई टिप्पणी नहीं है.