- Google ने 7वीं पीढ़ी का Tensor Processing Unit(TPU) Ironwood पेश किया
- Ironwood AI अनुमान के लिए विशेष रूप से डिज़ाइन किया गया पहला TPU है, और अब तक का सबसे शक्तिशाली तथा ऊर्जा-कुशल मॉडल है
- इसे Large Language Model(LLM) और Mixture of Experts(MoE) जैसे उच्च-प्रदर्शन AI मॉडल चलाने के लिए डिज़ाइन किया गया है
- इसे अधिकतम 9,216 चिप्स तक स्केल किया जा सकता है, और यह 42.5 Exaflops की कंप्यूट क्षमता देता है
- यह दुनिया के सबसे तेज़ सुपरकंप्यूटर El Capitan से 24 गुना से भी अधिक प्रदर्शन देता है
Ironwood के साथ संभव होता अनुमान का युग
- जहाँ पारंपरिक AI उपयोगकर्ता के अनुरोधों का जवाब देने के तरीके पर केंद्रित था, वहीं Ironwood उस युग की नींव देता है जिसमें AI सक्रिय रूप से डेटा की व्याख्या करता है और इनसाइट्स उत्पन्न करता है
- इस अनुमान-युग में AI उपयोगकर्ता की ओर से डेटा एकत्र और विश्लेषित करके अधिक गहरे परिणाम निकालता है
- Ironwood इन नई AI आवश्यकताओं को पूरा करने के लिए बड़े पैमाने की parallel processing और high-speed data access क्षमताएँ प्रदान करता है
Ironwood का हार्डवेयर कॉन्फ़िगरेशन और प्रदर्शन
- 9,216 चिप्स वाले TPU pod कॉन्फ़िगरेशन में, यह 42.5 Exaflops प्रदर्शन देता है
- प्रति चिप 4,614 TFLOPs प्रदर्शन के साथ, यह बड़े पैमाने के LLM और MoE मॉडल के training और inference को सपोर्ट करता है
- SparseCore में सुधार के कारण यह बहुत बड़े embedding प्रोसेसिंग को तेज़ करता है, और वित्त, विज्ञान जैसे विभिन्न क्षेत्रों में लागू किया जा सकता है
- Pathways सॉफ़्टवेयर के ज़रिए हज़ारों Ironwood चिप्स को कुशलता से मैनेज किया जा सकता है
Ironwood की प्रमुख तकनीकी विशेषताएँ
- प्रदर्शन बनाम ऊर्जा दक्षता अनुपात पिछली पीढ़ी की तुलना में 2 गुना बेहतर हुआ है
- Trillium की तुलना में लगभग 30 गुना अधिक ऊर्जा दक्षता
- उच्च-प्रदर्शन liquid cooling तकनीक के माध्यम से लगातार भारी वर्कलोड में भी स्थिर प्रदर्शन बना रहता है
- High Bandwidth Memory(HBM) क्षमता में बड़ा इज़ाफ़ा हुआ है
- प्रति चिप 192GB, जो Trillium की तुलना में 6 गुना अधिक है
- बड़े मॉडल और datasets को प्रोसेस करने के लिए लाभकारी
- HBM memory bandwidth में सुधार
- प्रति चिप 7.2 TBps, जो Trillium की तुलना में 4.5 गुना अधिक है
- Inter-Chip Interconnect (ICI) bandwidth में सुधार
- 1.2 Tbps bidirectional, Trillium की तुलना में 1.5 गुना बेहतर
- चिप्स के बीच तेज़ संचार के कारण बड़े पैमाने के distributed training और inference के लिए उपयुक्त
Ironwood का प्रभाव और उपयोग की संभावनाएँ
- Ironwood, Google Cloud Hypercomputer आर्किटेक्चर का एक मुख्य घटक है, और अगली पीढ़ी की generative AI आवश्यकताओं के लिए अनुकूलित है
- Gemini 2.5 और AlphaFold जैसे नवीनतम AI मॉडल भी TPU-आधारित इंफ्रास्ट्रक्चर पर चल रहे हैं
- Google Cloud ग्राहक Ironwood के माध्यम से उच्च प्रदर्शन, कम latency, और बेहतर ऊर्जा दक्षता के साथ AI वर्कलोड संभाल सकते हैं
- यह 2025 के भीतर ग्राहकों के लिए उपलब्ध होने वाला है, और उम्मीद है कि यह AI रिसर्च तथा वास्तविक अनुप्रयोगों में नए नवाचारों की नींव बनेगा
1 टिप्पणियां
आजकल लग रहा था कि Gemini की Time to first token स्पीड बेहद तेज़ है, तो उसके पीछे यही वजह थी...