Tenstorrent और AI हार्डवेयर स्टार्टअप्स की मौजूदा स्थिति

 (irrationalanalysis.substack.com)
3 पॉइंट द्वारा GN⁺ 2024-12-16 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Tenstorrent की ताकतें
    • RISC-V आधारित हाई-परफॉर्मेंस CPU और AI कोर विकसित करते हुए, AI हार्डवेयर क्षेत्र में एक मौलिक दृष्टिकोण दिखाता है
    • पूरे software stack और developer tools को open source के रूप में सार्वजनिक कर, developer-friendly ecosystem बनाता है
    • मूल्य प्रतिस्पर्धा वाले Samsung Foundry SF4X process का उपयोग करके अलग तरह के AI chipset का उत्पादन संभव
  • कमज़ोरियाँ और चिंताएँ
    • AI हार्डवेयर बाज़ार में Nvidia का बेहद मजबूत दबदबा
    • GPU-केंद्रित प्रतिस्पर्धियों की तुलना में, Tenstorrent की सापेक्ष कमजोरी अभी भी अधिक latency की समस्या है
  • बाज़ार में स्थिति
    • Tenstorrent, AI हार्डवेयर और RISC-V IP की संभावनाओं के माध्यम से Nvidia, AMD, ARM से अलग मूल्य प्रदान करता है
    • Inference (अनुमान) केंद्रित रणनीति बाज़ार में सफलता की संभावना बढ़ाती है

Tenstorrent का तकनीकी अवलोकन

  • Grendel (तीसरी पीढ़ी का AI chipset) की मुख्य विशेषताएँ
    • chiplet architecture का परिचय: हाई-परफॉर्मेंस RISC-V CPU कोर और AI कोर को अलग किया गया
    • प्रत्येक कोर के बीच कुशल data movement के लिए mesh topology डिज़ाइन
  • कोर संरचना
    • बड़े RISC-V core: Linux चला सकते हैं, सामान्य-purpose code processing के लिए
    • Baby RISC-V core: अत्यंत छोटे कोर, data movement और kernel execution में उपयोग होते हैं। 752 कोर पूरे die area के 1% से भी कम हिस्से पर कब्ज़ा करते हैं
    • Tensix core: vector और matrix operations के लिए समर्पित AI computing unit। प्रत्येक Tensix core में kernel execution management के लिए 5 Baby RISC-V core होते हैं
  • Compiler
    • GCC आधारित संशोधित compiler का उपयोग। उपयोगकर्ता को केवल एक single kernel लिखना होता है, बाकी GCC अपने आप संभालता है

AI हार्डवेयर स्टार्टअप्स की चुनौतियाँ

  1. Training बाज़ार में प्रतिस्पर्धा
    • Nvidia का H100 GPU बाज़ार पर हावी है
    • Amazon, Google जैसी बड़ी cloud कंपनियाँ semiconductor design partners के साथ मिलकर अपने खुद के chip बनाती हैं
  2. Inference बाज़ार में अवसर
    • लागत और performance में Nvidia से प्रतिस्पर्धा की संभावना है
    • Samsung process और HBM के उपयोग न होने से मूल्य प्रतिस्पर्धा मिलती है
  3. ग्राहक हासिल करना
    • छोटे व्यवसायों या startups को लक्ष्य करने वाला Inference-केंद्रित हार्डवेयर बाज़ार मुख्य target है

Tenstorrent की software रणनीति

  • software stack का छठा संस्करण
    • अलग-अलग developers और users के लिए बेहतर accessibility देता है (ML model से लेकर low-level kernel तक)
    • Discord community के साथ सहयोग करते हुए अभिनव kernel विकसित करता है
  • पुरानी समस्याओं का समाधान
    • पहले हर hardware के लिए software stack फिर से बनाना पड़ता था
    • अब hardware से स्वतंत्र रूप से काम करने वाला एकीकृत software stack विकसित किया गया है

तकनीकी चर्चा और निष्कर्ष

  • Tenstorrent का दर्शन
    • "AI का भविष्य केवल शुद्ध linear algebra workload नहीं, बल्कि मिश्रित workload है"
    • CPU और AI core के एकीकरण की आवश्यकता पर ज़ोर
  • Jim Keller की दृष्टि
    • अगर भविष्य के AI workloads में CPU integration की आवश्यकता होगी, तो Tenstorrent ही ऐसा vendor होगा जो पहले से तैयार है
  • बाज़ार का दृष्टिकोण
    • Nvidia की एकाधिकार जैसी स्थिति के कारण AI training बाज़ार में startups के लिए लगभग कोई अवसर नहीं है
    • Inference बाज़ार में अभिनव दृष्टिकोण के साथ सफलता की संभावना है
    • दूसरी पीढ़ी के Blackhole और तीसरी पीढ़ी के Grendel की performance आगे चलकर महत्वपूर्ण मूल्यांकन मानक होगी

निवेश और कंपनी का मूल्य

  • Tenstorrent का वर्तमान valuation
    • हालिया Series D round में 2 अरब डॉलर का valuation
    • RISC-V IP बाज़ार में ARM की price increase से जुड़े अवसरों को पकड़ना
  • प्रतिस्पर्धियों से तुलना
    • Cerebras जैसे अन्य AI हार्डवेयर startups की तुलना में तकनीकी क्षमता और market fit बेहतर
    • Nvidia की तुलना में CUDA ecosystem में प्रतिस्पर्धात्मक कमजोरी
  • आगे की रणनीति
    • Inference बाज़ार पर फोकस रखते हुए प्रतिस्पर्धात्मक बढ़त बनाए रखना
    • developer ecosystem और open source-केंद्रित दर्शन को जारी रखना

निष्कर्ष

  • Tenstorrent, AI हार्डवेयर और RISC-V CPU डिज़ाइन में मौलिक दृष्टिकोण अपनाते हुए, Nvidia और ARM के प्रभुत्व वाले बाज़ार में महत्वपूर्ण भिन्नता प्रदान करता है
  • Inference बाज़ार में इसकी वृद्धि की संभावना अधिक है, और इसे AI startups में उच्च निवेश क्षमता वाली कंपनी माना जाता है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-12-16
Hacker News राय
  • मैं हाई-परफॉर्मेंस कंप्यूटिंग रेंटल बिज़नेस चला रहा हूँ और चाहता हूँ कि कंप्यूटिंग सबके लिए आसानी से सुलभ हो, यानी इसका लोकतंत्रीकरण हो। Nvidia की दबदबे वाली स्थिति के कारण मुझे लगता है कि दूसरे उपकरणों में लोगों की रुचि कम है। उम्मीद है कि ऐसी सेवाओं में रुचि और मांग बढ़ेगी.
    • ARM द्वारा लाइसेंस कीमतें और रॉयल्टी बढ़ाने के बाद, मुझे लगता है कि RISC-V CPU IP का भविष्य उज्ज्वल है। यह चिंता की बात है कि अनुबंध तोड़ने वाली कंपनियाँ बढ़ रही हैं.
    • यह AI हार्डवेयर से ज़्यादा पारंपरिक हाई-परफॉर्मेंस कंप्यूटिंग का छोटा रूप है, और AI उछाल से अलग भी कई तरह के कामों में उपयोगी होगा.
    • Tenstorrent का मानना है कि AI का भविष्य mixed workloads में है। CPU workloads की ज़रूरत रहेगी, और अभी तक कोई बड़ा बदलाव नहीं दिखा है.
    • Groq के संभावित scam होने का ज़िक्र करते हुए, यह दावा किया गया कि Llama 3.1 405B junior engineers की जगह ले सकता है.
    • मैं ARM-Qualcomm विवाद को लगभग भूल ही गया था, और जल्द ही बड़ा बदलाव आने वाला है.
    • मुझे लगता है कि AMD और NVIDIA को data center और supercomputing बाज़ार में और आक्रामक तरीके से आगे आना चाहिए। मौजूदा स्थिति कुछ हद तक sports team fandom जैसी लगती है.
    • Tenstorrent टीम के खुले चर्चा-रवैये की प्रशंसा की गई और उम्मीद जताई गई कि और कंपनियाँ भी ऐसी बनें.
    • यह चिंता है कि Llama senior engineers के लिए उपयोगी हो सकता है, लेकिन junior engineers की सीखने की प्रक्रिया में बाधा डाल सकता है। यह सोचना होगा कि junior engineers प्रभावी ढंग से कैसे सीखें और समझ विकसित करें.
    • Llama 3.1 405B junior engineers की जगह ले सकता है, इस दावे का मज़ाक उड़ाया गया.