Meta ने पिछले साल पेश किए गए अपने खुद के विकसित AI inference accelerator MTIA (Meta Training and Inference Accelerator) v1 के अगली पीढ़ी वाले संस्करण MTIAv2 को पेश किया है। MTIA एक ऐसा chip है जिसे Meta के AI workloads, खासकर deep learning recommendation models के लिए डिज़ाइन किया गया है, जो उसके products में विभिन्न experiences को बेहतर बनाते हैं। जैसे-जैसे AI workloads Meta के products और services में अधिक महत्वपूर्ण होते जा रहे हैं, MTIA की बेहतर efficiency दुनिया भर के users को सर्वोत्तम अनुभव देने की क्षमता को और मजबूत करती दिखती है.
यह अगली पीढ़ी का MTIAv2 chip 4 प्रमुख models में पहली पीढ़ी के chip की तुलना में पहले ही 3 गुना बेहतर performance दिखा चुका है। Platform स्तर पर, 2 गुना अधिक devices और शक्तिशाली 2-socket CPU के साथ, पहली पीढ़ी के MTIA system की तुलना में 6 गुना model serving throughput और 1.5 गुना performance per watt हासिल किया गया। Commercial GPUs की तुलना में, Meta के विशेष workloads के लिए सर्वोत्तम performance और efficiency देने में MTIA एक बहुत ही पूरक भूमिका निभाता हुआ साबित हो रहा है।
MTIAv2 की प्रमुख विशेषताएँ
MTIAv2 की मुख्य विशेषताएँ इस प्रकार हैं:
- पिछली पीढ़ी की तुलना में computing performance और memory bandwidth 2 गुना से अधिक बेहतर
- ranking और recommendation models को efficiently प्रोसेस करने के लिए डिज़ाइन किया गया
- 8x8 grid के processing elements (PE) से बना, dense computing performance 3.5 गुना और sparse computing performance 7 गुना बेहतर
- local PE storage 3 गुना, on-chip SRAM 2 गुना और bandwidth 3.5 गुना बढ़ी, LPDDR5 capacity 2 गुना
- बेहतर NoC (Network on Chip) architecture के साथ 2 गुना bandwidth, और कम latency पर PE के बीच coordination संभव
⚠️विज्ञापन⚠️ PyTorch Korean Community में यही पोस्ट देखें
अभी कोई टिप्पणी नहीं है.