H100 GPU बबल का फूटना: GPU की कीमत $8 से घटकर $2 क्यों हुई

 (latent.space)
8 पॉइंट द्वारा GN⁺ 2024-10-12 | 2 टिप्पणियां | WhatsApp पर शेयर करें
  • नवंबर 2023 में ChatGPT के लॉन्च के बाद H100 GPU की मांग तेज़ी से बढ़ी, जिससे प्रति घंटा किराया $4.70 से बढ़कर $8 से ऊपर पहुंच गया
  • डेटा सेंटर प्रदाताओं ने अनुमान लगाया था कि यदि H100 को $4.50 प्रति घंटा से अधिक पर किराये पर दिया जाए तो निवेश की वसूली अवधि 2 साल से कम रहेगी
  • लेकिन अगस्त 2024 तक छोटे क्लस्टरों में H100 GPU का किराया घटकर $1~$2 प्रति घंटा रह गया

डेटा सेंटर में H100 निवेश की लाभप्रदता के मानक

  • $2.85 प्रति घंटा से अधिक: S&P500 रिटर्न से बेहतर प्रदर्शन संभव
  • $2.85 प्रति घंटा से कम: S&P500 रिटर्न से कमजोर
  • $1.65 प्रति घंटा से कम: 5 साल में निवेश घाटे की आशंका

H100 GPU के बाज़ार भाव में तेज़ गिरावट के मुख्य कारण

  • open weight models के उभार से inference और fine-tuning की मांग बढ़ी
  • दूसरी ओर छोटे और मध्यम स्तर के foundation model निर्माताओं का बाज़ार सिमटा
    • कई कंपनियों और startups ने समझा कि अपना मॉडल train करने के बजाय मौजूदा open weight models को fine-tune करना ज़्यादा किफायती और प्रभावी है
    • 70B से बड़े मॉडलों की training की योजना न रखने वाले startups और कंपनियों ने निवेश वापस लिया
  • कई infrastructure providers ने 3-5 साल के long-term contracts के ज़रिये मुनाफ़ा सुरक्षित किया
    • यह 2023 के AI peak के दौरान विभिन्न foundation model कंपनियों द्वारा दबाव में कराया गया था
    • reserve nodes की unused capacity को दोबारा बेचना शुरू हुआ
  • Facebook, Microsoft जैसे बड़े model निर्माताओं ने अपने खुद के clusters बना लिए, जिससे मौजूदा clusters की मांग घटी
  • ChatGPT नवंबर 2022 में A100 series पर लॉन्च हुआ था, और H100 मार्च 2023 में आया। H100, A100 से 3 गुना अधिक शक्तिशाली था, लेकिन इसकी कीमत सिर्फ़ 2 गुना थी
  • AMD MI300, Intel Gaudi3 जैसे H100 के विकल्प GPU का आगमन
  • Ethereum के proof-of-stake में बदलने और Bitcoin mining में ASIC के प्रभुत्व के कारण GPU mining की मांग घटी

निहितार्थ

  • H100 GPU की औसत लागत $50k से अधिक है, और 5 साल की आयु मानने पर कई तरह के rental models मौजूद हैं
    • $2.85 प्रति घंटा से ऊपर होने पर stock market IRR को मात दी जा सकती है, लेकिन इससे नीचे जाने पर नुकसान हो सकता है
  • नए H100 hardware में निवेश से घाटा होने की संभावना अधिक है
    • discounted H100, बिजली की लागत, विशेष ग्राहक आवश्यकताओं जैसी अपवाद स्थितियों को छोड़कर
  • दूसरी ओर H100 की गिरती कीमतें open weight AI के प्रसार के लिए catalyst बनेंगी
    • developers और engineers द्वारा open models पर प्रयोग और application development के तेज़ होने की उम्मीद
  • Featherless.AI 2,000 से अधिक open source AI models के लिए instant inference को $10 प्रति माह की निश्चित कीमत पर प्रदान करता है
    • hardware profitability सुनिश्चित करने के लिए हर layer का optimization और customized GPU selection अनिवार्य है

GN⁺ की राय

  • GPU बाज़ार में बदलाव: H100 GPU की कीमत में गिरावट GPU बाज़ार के तेज़ बदलाव को दिखाती है। इसका investors और infrastructure providers पर बड़ा असर पड़ेगा
  • open source models का प्रभाव: Llama 3 जैसे open source models के आने से fine-tuning और inference की मांग बढ़ी है। इससे बड़े पैमाने की model training की मांग घटी है
  • वैकल्पिक GPU का उभार: AMD और Intel के GPU, H100 के विकल्प के रूप में उभर रहे हैं, जिससे बाज़ार प्रतिस्पर्धा तेज़ हो रही है। इससे GPU कीमतों पर और दबाव पड़ सकता है
  • AI applications के अवसर: GPU लागत में कमी AI application development के प्रवेश अवरोध को कम कर सकती है और अधिक innovation को बढ़ावा दे सकती है
  • निवेश रणनीति पर पुनर्विचार की ज़रूरत: GPU infrastructure में निवेश के लिए सावधानीपूर्ण दृष्टिकोण चाहिए, और बाज़ार रुझानों पर कड़ी नज़र रखनी होगी

संबंधित पढ़ाई

2 टिप्पणियां

 
readiz 2024-10-14

llama की वजह से पैदा हुआ butterfly effect... दिलचस्प है। haha
 
GN⁺ 2024-10-12
Hacker News राय

  • $2 GPU देने वाली सेवाएँ अविश्वसनीय computing पर निर्भर हो सकती हैं, जिससे व्यवसाय जोखिम में पड़ सकता है। AWS ने उच्च-स्तरीय enterprise GPU infrastructure की reliability बढ़ाई है.

    • $2 H100 देकर मुनाफ़ा कमाना असंभव है.

  • जिन data center के पास पहले से infrastructure है, वे H100 के ज़रिए बड़ा मुनाफ़ा कमा सके। लेकिन efficient market में ऐसे मौके हमेशा नहीं टिकते.

    • $2.00 पर भी अब भी लाभ संभव है, लेकिन इसके लिए सस्ती बिजली/infrastructure/labor चाहिए.

  • असली कमाई individual GPU/machine नहीं, बल्कि InfiniBand cluster किराए पर देने में है.

    • Lambda One Click cluster के लिए $4.49/H100/घंटा बताता है.

  • दुनिया भर में 16 H100 node की ज़रूरत वाली टीमें 50 से भी कम हैं। बहुत-सी टीमें मुनाफ़ा नहीं कमा पाएँगी.

    • पारंपरिक software development कंपनियों में भी सफलता दर कम होती है.

  • कई founder मॉडल train करके investor को मनाने की कोशिश करते हैं, लेकिन वास्तव में मूल्यवान मॉडल train करने के मामले बहुत कम हैं.

    • OpenAI के लिए भी cash burn रोकना मुश्किल है.
    • तकनीकी प्रगति या सस्ते competitor के उभरने की संभावना को लेकर चिंता है.

  • AI research के चरम दौर में computing resource खरीद न पाने वाली university lab की पीड़ा जताई गई है.

    • AI winter आने पर computing cost फिर सस्ती हो जाएगी.

  • यह स्थिति 'The Prize: The Epic Quest for Oil, Money & Power' में वर्णित तेल के boom-and-bust cycle की याद दिलाती है.

  • OpenAI को open source model की प्रगति के जवाब में अपने मॉडल लगातार बेहतर करने होंगे.

    • समय के साथ OpenAI की बढ़त ज़्यादातर लोगों के लिए महत्वपूर्ण न रह जाए, ऐसा हो सकता है.

  • यह GPU rental farm के लिए बुरी ख़बर लगती है.

  • NVDA पर short position थोड़ा बढ़ाने की राय साझा की गई.

    • उनका मानना है कि peak क़रीब है.