क्या AI कंपनियाँ सफल हो सकती हैं?

• "यह केवल तभी टिक सकती हैं जब बाज़ार अविवेकपूर्ण हो"

कुछ गड़बड़ है

• बड़े language model बनाने में बहुत अधिक लागत लगती है
  • OpenAI हर साल रिसर्च, नई AI सेवाओं और कर्मचारियों की भर्ती पर 7 अरब डॉलर खर्च कर रही है
  • Anthropic के भी इस साल 2.7 अरब डॉलर खर्च करने की उम्मीद है
  • Facebook भी अरबों डॉलर निवेश कर रही है
• यह सस्ता नहीं होने वाला
  • जैसे-जैसे model आगे बढ़ते हैं, रिसर्च और कठिन होती जाती है और ज़रूरी computing power भी बढ़ती है
  • नए model बनाने के लिए अधिक और कठिन गणितीय गणनाओं की आवश्यकता होती है
• लागत के बावजूद लोग लगातार नए model बनाते रहते हैं
  • लोग मानते हैं कि LLM अगला तकनीकी स्वर्णयुग है, इसलिए निवेश जारी रहेगा
  • मानव स्वभाव ही ऐसा है कि हर चीज़ को और तेज़, और ऊँचा, और अधिक शक्तिशाली बनाना चाहता है
• अगर उद्योग लगातार नए model बनाता रहेगा तो मौजूदा model का मूल्य तेज़ी से गिरता है
  • यदि कोई प्रतिस्पर्धी बेहतर नया model जारी कर दे, तो कोड की कुछ पंक्तियाँ बदलकर उस पर स्विच किया जा सकता है
  • लगातार आकर्षक LLM बेचने के लिए top-tier स्तर बनाए रखना होगा
• अगर उद्योग नए model विकसित करना जारी न रखे, या तकनीक अपने asymptote पर पहुँच जाए, तब भी पुराने model का मूल्य तेज़ी से गिरता है
  • Llama और Mistral जैसे open source model मौजूद हैं, जो सबसे अच्छे proprietary model से सबसे खराब स्थिति में केवल एक-दो पीढ़ी पीछे हैं
  • यदि proprietary model आगे बढ़ना बंद कर दें, तो open source model उस अंतर को तेज़ी से कम कर देंगे
• इसलिए OpenAI, Anthropic या किसी अन्य AI provider के सामने दो विकल्प हैं
  • पहला, भारी लागत लगाकर बाज़ार से आगे बने रहना। लेकिन यह बहुत जोखिम भरा लगता है:
    • ऐसे model बनाने की लागत आगे भी बढ़ती रह सकती है, सबसे प्रतिभाशाली कर्मचारी जा सकते हैं, और शायद आप अपने business को हर अगली breakthrough खोजने वाली पहली कंपनी बनने पर दाँव नहीं लगाना चाहेंगे
    • तकनीकी विशेषज्ञता बहुत कम ही स्थायी moat बनती है
  • दूसरा है.. पता नहीं
    • पहले विकल्प में और ज़्यादा मेहनत करना?

मौजूदा स्थिति पर एक पूर्वानुमान

• 18 महीने पहले यह अनुमान लगाया गया था कि LLM provider अगली पीढ़ी के cloud provider बनेंगे
  • ऊपर से देखने पर यह समान लगता है, क्योंकि इसे बनाने के लिए भी भारी पूंजी चाहिए, लेकिन कुछ महत्वपूर्ण अंतर हैं
  • cloud provider रातोंरात नहीं बनाए जा सकते
  • LLM provider के मामले में, एक छोटी टीम कुछ महीनों में OpenAI के मुख्य business को चुनौती दे सकती है
• LLM provider की moat क्या है?
  • brand, inertia, बेहतर applications, और प्रतिस्पर्धियों से आगे रहने वाले model बनाए रखने के लिए भारी पूंजी निवेश
  • लेकिन AI कंपनियाँ उस बाज़ार का चरम उदाहरण हैं जो software development लागत को गलत तरीके से upfront investment मानता है
  • छोटी कंपनियों के लिए बड़ी कंपनियों की तरह लगातार अरबों डॉलर निवेश करना मुश्किल है

समय का महत्व

• इस बाज़ार में timing सबसे महत्वपूर्ण हो सकती है
• किसी समय hype खत्म हो जाएगी और लोग इस तरह के funding rounds जुटा नहीं पाएँगे
• और विजेता वह नहीं होगा जो सबसे तेज़ दौड़ा या सबसे पहले finish line तक पहुँचा, बल्कि वह होगा जो उस समय आगे चल रहा होगा जब बाज़ार तय करेगा कि दौड़ खत्म हो गई है

GN⁺ की राय

• यह सवाल उठता है कि AI कंपनियों का business model वास्तव में टिकाऊ है या नहीं
  • model development पर भारी लागत आती है, और यह आगे भी बढ़ने की संभावना है
  • तकनीकी प्रगति की रफ़्तार इतनी तेज़ है कि पुराने model जल्दी बेकार हो जाते हैं
  • इसलिए top-tier model बनाए रखने के लिए लगातार बड़े निवेश की ज़रूरत पड़ती है
• open source AI model भी तेज़ी से आगे बढ़ रहे हैं, इसलिए commercial model के साथ उनका अंतर कम होता दिख रहा है
  • Stable Diffusion, Llama, Mistral आदि इसके प्रमुख उदाहरण हैं
  • यदि कंपनियाँ नए model बनाना बंद कर दें, तो open source जल्द ही बराबरी कर लेगा
• AI तकनीक के विकास में बड़े IT उद्यमों को कुछ स्पष्ट फायदे हैं
  • Google, Microsoft, Meta जैसी कंपनियाँ अपनी विशाल पूंजी के दम पर लगातार निवेश कर सकती हैं
  • वे उच्च brand recognition और मौजूदा customer base का लाभ उठा सकती हैं
• वहीं, देर से आने वाले startup के लिए केवल तकनीकी क्षमता के बल पर टिकना आसान नहीं दिखता
  • शुरुआती बड़े निवेश मिलने पर भी लगातार funding सुनिश्चित करना असली चुनौती है
  • bubble फूटने पर निवेश जुटाना कठिन हो जाएगा
• बाज़ार का timing महत्वपूर्ण है, और जब यह उछाल ठंडा पड़ेगा तब जो कंपनी आगे होगी, उसके जीतने की संभावना सबसे अधिक होगी

[aasfdkdk]

OpenAI बाज़ार में एकाधिकार के लिए जानबूझकर घाटे वाला कारोबार चला रही है, यह बड़ी बात है। वैसे भी OpenAI के पास जब भी पैसा खत्म होता है, वह निवेश जुटा लेती है और दुनिया भर से ऑफ़र आ जाते हैं, लेकिन बाकी कंपनियाँ तो सब मर जाएँगी।

[kandk]

क्या यह एक बहुत बड़ा chicken game नहीं है?
आखिर में सब खत्म हो जाएंगे और सिर्फ़ एक विशाल model ही बचा रहेगा, जो बाज़ार पर एकाधिकार कर लेगा..

[GN⁺]

Hacker News राय

• AI रिसर्च टीम लीडर की राय

  • AI को आर्थिक मूल्य पैदा करने के लिए वास्तविक दुनिया से जुड़ा होना चाहिए
  • फिलहाल GPT-4 जैसे मॉडल का अधिकतम उपयोग कैसे किया जाए, इस बारे में आइडिया की कमी है
  • AI को इंसानी इरादों को समझने में कठिनाई होती है
  • अगर open source मॉडल GPT-4 स्तर तक पहुंच जाएं, तो OpenAI या Anthropic का इस्तेमाल करने की खास जरूरत नहीं रहेगी

• तकनीकी नवाचार की S-curve

  • हम इस समय तकनीकी नवाचार की तेज S-curve के बीच में हैं
  • सफलता की कुंजी सिर्फ तकनीक नहीं, बल्कि टैलेंट रिटेंशन, बिज़नेस रिलेशनशिप, मार्केटिंग जैसे कई तत्व भी हैं
  • हर तत्व में बेहतरीन execution की जरूरत है

• AI की बदलती परिभाषा

  • AI के रूप में शुरू हुई तकनीक जब सामान्य हो जाती है, तो उसे फिर AI नहीं कहा जाता
  • उदाहरण: logic programming, OCR, speech recognition आदि

• AI से कमाई के तरीके

  • उपभोक्ता के लिए: Google मॉडल की तरह search और advertising
  • बिज़नेस के लिए: AWS मॉडल की तरह API उपलब्ध कराना
  • OpenAI API का उपयोग करने वाली कंपनियां लगातार आगे बढ़ रही हैं, इसलिए बदलने का कोई कारण नहीं है

• राइडशेयरिंग के शुरुआती दौर जैसी स्थिति

  • शुरुआत में बहुत सा पूंजी निवेश कुछ गिनी-चुनी कंपनियों में होता है
  • सबसे ज्यादा पूंजी वाली कंपनी के जीतने की संभावना अधिक होती है
  • AI बाज़ार में भी पूंजी-समृद्ध कंपनियों को बढ़त मिलेगी

• मॉडल के differentiation factors

  • मॉडल सिर्फ performance से नहीं, बल्कि safety, UX, multimodality, reliability, embeddability आदि से भी अलग पहचाने जाते हैं

• बाज़ार में अव्यवस्था का दौर

  • कई तरह की सेवाएं फंडिंग पाकर बाज़ार को अव्यवस्थित बनाती हैं
  • उपभोक्ताओं को इससे ज्यादा लाभ मिलता है

• मॉडल optimization की समस्या

  • language model कुछ ही training rounds में अच्छा प्रदर्शन दिखा सकते हैं
  • बड़े पैमाने की computing resources खर्च करने के बजाय, efficient training methods ढूंढना ज्यादा महत्वपूर्ण है

• प्रोडक्ट की बदली जा सकने वाली प्रकृति

  • सामान्य टूल के रूप में AI मॉडल को आसानी से बदला जा सकता है
  • मॉडल जितना अधिक intelligent होगा, उतनी ही उसकी interchangeability बढ़ेगी