Tesla की AI क्षमता का विस्तार - H100, Dojo D1, D2, HW 4.0, X.AI और cloud service providers

• Tesla दुनिया की शीर्ष AI कंपनियों में से एक बनना चाहती है
• बेशक, Tesla ने अभी तक सर्वश्रेष्ठ autonomous driving पेश नहीं की है, और generative AI की दुनिया में भी Tesla खास दिखाई नहीं देती..
• Tesla के पास फिलहाल अंदरूनी तौर पर 4,000 V100 और 16,000 A100 स्तर का अपेक्षाकृत छोटा in-house AI infrastructure है
  • Microsoft या Meta के पास 100,000 से अधिक GPU हैं, और वे इस संख्या को दोगुना करने की कोशिश कर रहे हैं
• Tesla का कमजोर AI infrastructure आंशिक रूप से उसके in-house D1 training chip में देरी के कारण है
• लेकिन अब चीजें तेज़ी से बदल रही हैं
• Tesla केवल 1.5 साल में अपनी AI क्षमता 10 गुना से अधिक बढ़ा रही है
• इसका कुछ हिस्सा उसकी अपनी क्षमताओं के लिए है, और कुछ X.AI के लिए
• Tesla 2016 से कारों के लिए, और 2018 से data center के लिए अपने AI chips डिज़ाइन कर रही है
• अब तक वह बड़े पैमाने पर उत्पादन नहीं कर पाई थी, लेकिन 2023 में उत्पादन बढ़ा रही है
• यह architecture Tesla के अनोखे use case के लिए उपयुक्त है, लेकिन LLM के लिए उपयोगी नहीं है (यह image network पर केंद्रित है)

Tesla HW 4.0, दूसरी पीढ़ी का FSD chip

• Tesla की कारों के अंदर AI inference करने वाले chip को FSD chip कहा जाता है
• Tesla का मानना है कि पूर्ण autonomous driving के लिए कार में बहुत अधिक performance की ज़रूरत नहीं होती, इसलिए कार में लगे chip की performance काफी सीमित है
• इसके अलावा, Tesla बड़े पैमाने पर बिक्री करती है, इसलिए Waymo/Cruise की तुलना में उस पर लागत की पाबंदियाँ कहीं अधिक सख्त हैं
• Waymo/Cruise ने development और शुरुआती testing के दौरान 10 गुना से अधिक महंगे full-size GPU का इस्तेमाल किया, और वे उससे भी तेज़ और महंगे SoC बना रहे हैं
• दूसरी पीढ़ी के chips फरवरी 2023 से बिकने वाली गाड़ियों में लगाए जा रहे हैं
• पहली पीढ़ी Samsung की 14nm process पर आधारित थी, जिसमें 3 quad-core clusters से बने 12 Arm Cortex-A72 (2.2Ghz) थे
• दूसरी पीढ़ी में 5 quad-core clusters से बने 20 Arm Cortex-A72 हैं
• दूसरी पीढ़ी का सबसे महत्वपूर्ण हिस्सा तीन NPU cores हैं
  • ये 3 cores मॉडल weights और activations को स्टोर करने के लिए प्रत्येक 32MiB SRAM का उपयोग करते हैं
  • हर cycle में 256 bytes activation data और 128 bytes weight data SRAM से MAC (Multiply Accumulate Unit) में पढ़े जाते हैं
  • MAC को grid के रूप में डिज़ाइन किया गया है, इसलिए प्रत्येक NPU core में 96x96 grid है, यानी कुल 9,216 MAC, और प्रति clock cycle 18,432 operations संभव हैं
  • 2.2Ghz पर चलने वाले NPU द्वारा compute power 121.641 TOPS (trillion operations per second) है
• दूसरी पीढ़ी के FSD chip में 256GB NVMe storage और 16GB Micron DDR6 (14Gbps) है, जो 224GB/s bandwidth वाली 128bit memory bus पर लगी है
  • bandwidth पहली पीढ़ी की तुलना में 3.3x अधिक है
• HW 4.0 में 2 FSD chips होते हैं
• HW4 board में performance बढ़ने के साथ power usage भी बढ़ा है (HW3 का दोगुना)
• HW4 की performance बढ़ने के बावजूद, Tesla HW3 पर भी FSD support देना चाहती है, ताकि मौजूदा HW3 उपयोगकर्ताओं में FSD खरीदने वालों को retrofit की ज़रूरत न पड़े
• infotainment system में AMD GPU/APU का उपयोग होता है। यह FSD chip वाले उसी board पर है (पहले यह अलग daughterboard पर होता था)
• HW4 platform 12 cameras को support करता है। इनमें 1 redundancy के लिए है और 11 का वास्तव में उपयोग होता है
  • पहले front camera hub में कम-रिज़ॉल्यूशन 1.2 megapixel के 3 cameras इस्तेमाल होते थे, लेकिन नया platform 2 five-megapixel cameras का उपयोग करता है
• Tesla फिलहाल LIDAR और cameras के अलावा अन्य sensors का उपयोग नहीं करती
• पहले radar इस्तेमाल होता था, लेकिन mid-generation से उसे हटा दिया गया
  • इससे वाहन निर्माण लागत में बड़ी कमी आई, और Tesla का मानना है कि केवल camera आधारित autonomous vehicle संभव है, इसलिए वह उसी दिशा में optimization कर रही है
  • हालांकि Tesla ने यह भी कहा है कि अगर कोई viable radar उपलब्ध हो, तो वह उसे camera system के साथ integrate करेगी
• HW4 platform में Phoenix नाम का स्वयं-डिज़ाइन किया गया radar शामिल किया जाएगा
  • Phoenix का लक्ष्य radar system और camera system को मिलाकर अधिक data का उपयोग करना है, ताकि अधिक सुरक्षित वाहन बनाए जा सकें
  • Phoenix radar 76-77Ghz spectrum का उपयोग करता है
  • यह तीन sensing modes को support करने वाला non-pulse automotive radar system है

Tesla AI models की differentiation

• Tesla का लक्ष्य autonomous robots और cars को चलाने के लिए foundational AI models बनाना है
• दोनों को अपने आसपास के environment को समझना और उसमें navigate करना होता है, इसलिए एक ही प्रकार के AI model दोनों पर लागू किए जा सकते हैं
• इन models के inference के लिए कम power और कम latency चाहिए, इसलिए hardware constraints के कारण Tesla जिन models को deploy कर सकती है उनका अधिकतम आकार काफी सीमित है
• सभी कंपनियों में Tesla के पास deep learning neural networks के लिए उपलब्ध सबसे बड़ा dataset है
• सड़क पर मौजूद हर कार sensors और images के माध्यम से data capture करती है, और इसे सड़कों पर मौजूद Tesla EVs की संख्या से गुणा करने पर एक बेहद विशाल dataset बनता है
• Tesla इस data collection को "Fleet Scale Auto Labeling" कहती है
• हर Tesla EV video, आंतरिक IMU (inertial measurement unit) data, GPS, mileage आदि सहित dense sensor data के 45~60 सेकंड के log clips लेकर Tesla के training servers पर भेजती है
• Tesla अपने द्वारा एकत्र किए गए data का केवल बहुत छोटा हिस्सा ही उपयोग करती है
  • Tesla inference constraints के कारण दिए गए model size के भीतर संभव सर्वोच्च accuracy हासिल करने के लिए models को overtrain करने के लिए जानी जाती है

[wkwnqlw]

Tesla पहले से ही 2 साल से अपने autonomous driving software को Beta के रूप में सेवा दे रहा है। अगले version से इसे आधिकारिक तौर पर सेवा में लाने की योजना है.
शुरुआती version में बहुत कमियां थीं, लेकिन अब जो software सेवा में है उसके बारे में यह कहने वाले लोगों की संख्या लगातार बढ़ रही है कि यह आम लोगों के स्तर से आगे निकल चुका है। वर्तमान में Tesla का autonomous driving software (FSD) इंसानों की तुलना में लगभग 3 गुना कम accident rate दिखाता है।

[bbongcol]

"क्लॉक साइकिल प्रति 1832 operations संभव" में एक typo है। मूल पाठ में यह 18,432 operations के रूप में दिया गया है।

[xguru]

यह पेड आर्टिकल है, इसलिए पीछे का हिस्सा नहीं दिख रहा, लेकिन शुरुआती हिस्सा ही इतना दिलचस्प लगा कि उसे एक बार यहाँ साझा कर रहा हूँ.