कंपनियाँ GPU तक सस्ती पहुँच मांग रही हैं, इसलिए alternative cloud तेज़ी से बढ़ रहा है

alternative cloud प्लेटफ़ॉर्म का विकास

• alternative cloud प्लेटफ़ॉर्म की मांग पहले से कहीं अधिक बढ़ रही है
• CoreWeave ने हाल ही में $1.01 billion का नया निवेश जुटाया है, जिससे उसका valuation $19 billion तक पहुँच गया है
• Lambda Labs ने भी $500 million की special-purpose financing हासिल की है, और Voltage Park GPU-आधारित data center में $500 million निवेश कर रहा है
• Together AI को Salesforce के नेतृत्व में $106 million का निवेश मिला है

generative AI की बढ़ती मांग

• generative AI boom जारी रहने के साथ, बड़े पैमाने पर generative AI models को चलाने और train करने के लिए hardware की मांग भी बढ़ रही है
• GPU में हज़ारों cores होते हैं जो generative models को बनाने वाले linear algebra equations को parallel में process कर सकते हैं, इसलिए यह model training, fine-tuning और inference के लिए आदर्श विकल्प है
• लेकिन GPU स्थापित करने की लागत अधिक होने के कारण, अधिकांश developers और organizations cloud की ओर रुख कर रहे हैं

alternative cloud प्लेटफ़ॉर्म के फायदे

• AWS, Google Cloud, Microsoft Azure जैसे मौजूदा cloud computing providers generative AI workloads के लिए optimized GPU और special hardware instances दे रहे हैं
• लेकिन कुछ models और projects के लिए alternative cloud अधिक सस्ता हो सकता है और availability भी बेहतर हो सकती है
• CoreWeave पर Nvidia A100 40GB को किराये पर लेने की लागत $2.46 प्रति घंटा है, जो $1,771 प्रति माह के बराबर है। Azure में वही GPU $3.40 प्रति घंटा और $2,448 प्रति माह है, जबकि Google Cloud में यह $3.67 प्रति घंटा और $2,642 प्रति माह है

alternative cloud प्लेटफ़ॉर्म की चुनौतियाँ

• अहम सवाल यह होगा कि क्या alternative cloud providers बड़ी मात्रा में GPU को लगातार online रख पाएँगे और competitive pricing पर दे पाएँगे
• Google, Microsoft, AWS जैसी मौजूदा कंपनियाँ model inference और training के लिए custom hardware में निवेश बढ़ा रही हैं, जिससे price competition मुश्किल हो सकती है
• कई generative AI workloads GPU पर सबसे अच्छी तरह चलते हैं, लेकिन time-sensitive न होने वाले कामों के लिए GPU हमेशा ज़रूरी नहीं हो सकता
• अगर generative AI bubble फूटता है, तो GPU की oversupply हो सकती है और demand में बड़ी गिरावट आ सकती है

GN⁺ की राय

• GPU की मांग में विस्फोटक बढ़ोतरी से Nvidia जैसे प्रमुख GPU suppliers का प्रभाव और बढ़ सकता है। बताया गया है कि Nvidia ने alternative cloud कंपनियों को GPU की प्राथमिक आपूर्ति दी है, जो उसके market dominance को मजबूत करने की रणनीति जैसा दिखता है
• अगर cloud कंपनियाँ बड़े GPU clusters हासिल करने में सफल होती हैं, तो वे बड़े AI projects को आकर्षित करने में competitive advantage पा सकती हैं। इसका एक प्रमुख उदाहरण है Microsoft द्वारा OpenAI को GPU computing power देने के लिए CoreWeave के साथ किया गया multi-billion-dollar contract
• लेकिन लंबी अवधि में Google TPU, MS Azure Maia/Cobalt, AWS Trainium जैसे AI-specialized custom silicon के विकास से cloud industry का परिदृश्य काफी बदल सकता है। hyperscalers Nvidia पर अपनी निर्भरता कम करने की कोशिश करेंगे
• alternative cloud एक नए विकल्प के रूप में उभरा है, लेकिन security, compliance और multi-cloud management capabilities रखने वाले ग्राहकों की संख्या सीमित हो सकती है। फिर भी मौजूदा cloud providers की market dominance बहुत मजबूत है

[GN⁺]

Hacker News राय

सारांश:

• AWS का बिज़नेस मॉडल ऐसा लगता है कि pricing को उलझाकर रखता है, जिससे उपयोग के बाद ही लागत का पता चलता है
• GCP के नए instance type n4-standard-2 की मासिक लागत के विश्लेषण के अनुसार, vCPU और memory की लागत $69 प्रति माह है, जो काफ़ी अधिक है, और SSD की कीमत भी महंगी है
• अनुमान है कि अगले 10 वर्षों में बड़े cloud providers को कठिनाइयों का सामना करना पड़ सकता है। planetary-scale systems बनाने की लागत इतनी ज़्यादा और जटिल है कि उसे उचित ठहराना मुश्किल है
• CoreWeave, Azure और Google Cloud के Nvidia A100 40GB GPU rental cost की तुलना करने वाले लेख में गणना की त्रुटि है। CoreWeave की मासिक लागत में लगभग 30% का अंतर है
• fly.io को GPU workloads के लिए एक उपयुक्त विकल्प के रूप में सुझाया गया है। इसका auto-scaling feature अच्छा है
• AWS का बिज़नेस मॉडल ऐसा दिखता है कि शुरुआती startups के बड़े enterprises में बढ़ने की प्रक्रिया से बहुत राजस्व कमाता है। लेकिन ZIRP के अंत और VC funding जुटाने में कठिनाई के कारण, ऐसे startups की संख्या घट सकती है जो विस्फोटक growth के लिए बहुत पैसा खर्च कर सकें
• inference workloads के लिए वैकल्पिक cloud GPU उपयोग के अनुभव के बारे में सवाल उठाया गया है। latency महत्वपूर्ण है, और AWS infrastructure तथा अन्य जगहों के GPU के बीच communication कठिन हो सकता है
• Core Weave और Lambda Labs की pricing policy शोषणकारी है, क्योंकि वार्षिक contract के बिना GPU किराये पर नहीं लिए जा सकते। वहीं sfcompute जैसी कंपनियाँ hourly computing उपलब्ध कराती हैं
• "H100s/A100s की थोड़ी-सी उपलब्धता हासिल कर लेना" अपने आप में एक लाभदायक tech business model हो सकता है
• Crusoe Cloud H100s, A100s और L40s बहुत सस्ती कीमत पर देता है, और network usage fee भी नहीं लेता। प्रति FLOP इसकी कीमत बेजोड़ है