ExecuTorch Alpha: कम्युनिटी सहयोग के साथ बड़े भाषा मॉडल और AI की edge deployment को सशक्त बनाना

• PyTorch ने ExecuTorch Alpha पेश किया है, जिसका फोकस बड़े भाषा मॉडल (LLM) और बड़े ML मॉडल को edge devices पर deploy करने, API को स्थिर बनाने, और installation process को मजबूत करने पर है.

• ExecuTorch Alpha, Meta के Llama 2 के लिए support और Llama 3 के लिए शुरुआती support प्रदान करता है, जिससे iPhone, Samsung Galaxy phones जैसे edge devices पर इन LLMs को कुशलतापूर्वक चलाया जा सकता है.

• सीमित edge devices पर performance को optimize करने के लिए, ExecuTorch Alpha quantization तकनीकों का उपयोग करता है और व्यापक CPU device support के लिए XNNPack के dynamic shape support और नए dtype का लाभ उठाता है.

• ExecuTorch SDK बेहतर debugging और profiling tools प्रदान करता है, जिससे developers efficient issue resolution और performance tuning के लिए operator nodes को मूल Python source code से फिर से map कर सकते हैं.

• Arm, Apple, Qualcomm Technologies, Google, Unity, Meta जैसे partners के साथ सहयोग, ExecuTorch को आगे बढ़ाने में महत्वपूर्ण रहा है, और Meta पहले से ही hand tracking और devices के विभिन्न models में इसका उपयोग कर रहा है.