AI संस्थापकों के लिए कड़वा सबक (Bitter Lesson)

• AI Safety startup Andon Labs (YC w24) के संस्थापक Lukas Petersson की 4-भागों वाली लेखमाला का एकीकृत सार
  • ऐतिहासिक रूप से AI क्षेत्र में सामान्य-purpose approaches ने हमेशा जीत हासिल की है
  • आज AI application क्षेत्र के संस्थापक अतीत के AI शोधकर्ताओं की गलतियों को दोहरा रहे हैं
  • बेहतर AI models सामान्य-purpose AI applications को संभव बनाएंगे, और साथ ही AI models से जुड़े software का value-add घटेगा
• अध्याय 1: इतिहास खुद को दोहराता है
• अध्याय 2: कोई प्रतिस्पर्धी बढ़त नहीं
• अध्याय 3: इतिहास के पदचिह्न
• अध्याय 4: आप जादूगर हैं

---

अध्याय 1: इतिहास खुद को दोहराता है (History Repeats Itself)

tl;dr:

• हालिया AI प्रगति ने ऐसे नए products संभव किए हैं जो तरह-तरह की समस्याएँ हल कर सकते हैं
• लेकिन अधिकांश products मौजूदा models की सीमित क्षमता के भीतर ही काम करते हैं और AI की असली ताकत, यानी flexibility, का उपयोग नहीं कर पाते
• AI का इतिहास बार-बार दिखाता है कि सामान्य approaches हमेशा जीतते हैं। Richard Sutton ने इसे "The Bitter Lesson" में रेखांकित किया
• आज के AI संस्थापक अतीत के AI शोधकर्ताओं द्वारा की गई गलतियों को दोहराने की प्रवृत्ति रखते हैं

Richard Sutton का निबंध: The Bitter Lesson सारांश। (कोरियाई अनुवाद)

• यह निम्नलिखित सबक देता है:
  • AI शोधकर्ता ज्ञान को agents में एकीकृत करने की कोशिश करते हैं
  • अल्पकाल में यह प्रभावी होता है और संतोष भी देता है
  • दीर्घकाल में प्रगति ठहर जाती है और आगे बढ़ने में बाधा भी बनती है
  • अंततः ठीक उलटे approach पर आधारित compute scaling के जरिए breakthrough आता है
• यह पैटर्न AI research में बार-बार देखा गया है, और चेतावनी दी गई है कि यह आज भी खत्म नहीं हुआ है

AI products और The Bitter Lesson

• AI products आम तौर पर AI model और उसके आसपास बने software से मिलकर बनते हैं
• performance सुधारने के दो तरीके हैं:
  1. errors कम करने के लिए software को सीमित करने वाला engineering काम
  2. बेहतर model आने तक इंतज़ार करना
• जैसे-जैसे models बेहतर होते हैं, engineering काम की value घटती जाती है
• OpenAI के नए model release के बाद prompt engineering की घटती उपयोगिता इसका उदाहरण है

constraints के प्रकार और AI products

• AI products में constraints को मोटे तौर पर दो भागों में बाँटा जा सकता है:
  • specificity: किसी खास समस्या पर केंद्रित software (vertical solution)
  • autonomy: AI की अपनी ओर से काम पूरा करने की क्षमता
• इसके आधार पर AI products को वर्गीकृत किया जा सकता है: specificity (Vertical vs. Horizontal) और autonomy (Workflow vs. Agent)
  • Vertical Workflow
    • ऐसा system जो किसी विशेष समस्या को हल करने के लिए तय क्रम में काम करता है
    • Harvey इसका प्रमुख उदाहरण है, जो खास कानूनी कार्यों जैसे सीमित दायरे की समस्याओं को संभालने के लिए डिज़ाइन किया गया workflow system है
  • Vertical Agent
    • ऐसा system जो किसी विशेष कार्यक्षेत्र में स्वायत्त रूप से काम करता है और प्रक्रिया के दौरान खुद फैसले लेता है
    • Devin इसका प्रमुख उदाहरण है, जो सीमित tools और data का उपयोग करके दोहराए जाने वाले कार्य करता है और जरूरत पड़ने पर चरणों को समायोजित करता है
  • Horizontal Workflow
    • एक सामान्य workflow system जो विविध समस्याओं को हल कर सकता है
    • ChatGPT इसका प्रमुख उदाहरण है, जो कई प्रकार के inputs पर predefined procedure के अनुसार जवाब देता है, लेकिन पूरी autonomy नहीं रखता
  • Horizontal Agent
    • एक पूरी तरह autonomous system जो विभिन्न समस्याओं से निपट सकता है
    • Claude computer-use इसका प्रमुख उदाहरण है, जो कंपनी के standard software का उपयोग करके user के निर्देशों के अनुसार काम करता है और इंसानों जैसी शैली में समस्या हल करता है

Vertical Workflow और The Bitter Lesson का संबंध

• Demo Day में पेश किए गए अधिकांश products Vertical Workflow श्रेणी में आते हैं
  • मौजूदा models की reliability अभी इतनी नहीं है कि दूसरे approaches आसानी से अपनाए जा सकें
  • इसलिए जटिल समस्याओं को भी Vertical Workflow तक सीमित करके स्वीकार्य performance हासिल करने की प्रवृत्ति दिखती है
• engineering काम से इन solutions को सुधारा जा सकता है, लेकिन इसकी सीमाएँ हैं
  • जो समस्याएँ मौजूदा models से हल नहीं हो सकतीं, उनके लिए अधिक उन्नत models का इंतज़ार करना बेहतर रणनीति हो सकती है
  • Leopold Aschenbrenner का अवलोकन: बेहतर model का इंतज़ार करने में लगने वाला समय engineering काम से कम हो सकता है

The Bitter Lesson और आज के AI products का संबंध

• AI शोधकर्ताओं ने “acceptable performance” के लिए knowledge-based solutions को engineer किया, लेकिन अंततः अधिक compute resources का उपयोग करने वाले सामान्य solutions ने उन्हें पीछे छोड़ दिया
• आज का AI product development pattern इससे काफी मिलता-जुलता है

Bitter Lesson की चार टिप्पणियाँ और constraints के प्रकारों पर उनका अनुप्रयोग

Bitter Lesson में बताई गई चार मुख्य टिप्पणियाँ AI products की autonomy और specificity constraints में साफ दिखाई देती हैं।
इन्हें हर constraint के आधार पर इस तरह समझा जा सकता है:

1. पहला अवलोकन: AI शोधकर्ता ज्ञान को agents में एकीकृत करने की कोशिश करते हैं

• autonomy constraint:
  • developers autonomous agents के साथ प्रयोग करते हैं, लेकिन reliability कम होती है
  • इसके बजाय वे task steps को workflow के रूप में hardcode कर देते हैं ताकि system वही प्रक्रिया अपनाए जिससे वे खुद समस्या हल करते हैं
• specificity constraint:
  • developers एक सामान्य document analysis system बनाना चाहते हैं, लेकिन reliability issues के कारण कठिनाई आती है
  • इसके बजाय वे financial statements जैसे विशिष्ट document types पर ध्यान केंद्रित करते हैं और specific metrics व validation rules को hardcode कर देते हैं

2. दूसरा अवलोकन: अल्पकाल में यह प्रभावी होता है और शोधकर्ताओं को संतोष देता है

• autonomy constraint:
  • workflow को hardcode करने से stability बढ़ती है
• specificity constraint:
  • सीमित दायरे के documents और metrics तक specialization करने से accuracy बेहतर होती है

3. तीसरा अवलोकन: दीर्घकाल में प्रगति रुक जाती है और आगे बाधा बनती है

• autonomy constraint:
  • hardcoded workflows नई परिस्थितियों को संभाल नहीं पाते, जिससे गलत परिणाम आते हैं
• specificity constraint:
  • सिर्फ खास समस्याओं से निपटने वाले systems merged documents या earnings call analysis जैसे संबंधित tasks को संभाल नहीं पाते
  • हर task के लिए अलग specialized system चाहिए होता है

4. चौथा अवलोकन: compute resource scaling के आधार पर breakthrough आता है

• autonomy constraint:

  • नए models dynamically उपयुक्त approach खोज लेते हैं, जरूरत पड़ने पर errors सुधारते हैं, और भरोसेमंद autonomous agents को संभव बनाते हैं

• specificity constraint:

  • नए models सभी business documents को व्यापक रूप से समझ सकते हैं और उनसे संबंधित जानकारी निकाल सकते हैं, जिससे specialized systems की जरूरत नहीं रहती

• जिन समस्याओं में autonomy की जरूरत होती है, उनमें अधिक autonomous products बेहतर performance देते हैं

• जटिल और व्यापक input space को संभालते समय कम specialized products बेहतर नतीजे देते हैं

समापन: AI startups और The Bitter Lesson

• यह लेख AI में startups की भूमिका का विश्लेषण करने वाली 4-भागों की श्रृंखला का पहला भाग है, जो उस ऐतिहासिक पैटर्न को रेखांकित करता है जिसमें domain knowledge का उपयोग करने वाले AI models को compute resources पर आधारित models लगातार replace करते रहे हैं
• आज के AI products इस पैटर्न से हैरान करने वाली समानता दिखाते हैं
• मौजूदा models की सीमाएँ पूरी करने के लिए software बनाना, खासकर जब models तेज़ी से बेहतर हो रहे हों, एक ऐसी रणनीति है जिसके विफल होने की संभावना अधिक है
• YC partner Jarred का संकेत: शुरुआती पीढ़ी के vertical workflow LLM apps को अगली पीढ़ी के GPT models ने replace कर दिया
• Sam Altman की सलाह: बेहतर models के release से डरने के बजाय ऐसे startups बनाना ज़रूरी है जो उनसे लाभ उठा सकें
• AI application layer के कई संस्थापक नए model releases को लेकर उत्साहित रहते हैं, लेकिन यह एक जोखिम भरा संकेत हो सकता है
  • अगर बेहतर models आ जाते हैं, तो वे मौजूदा competitive advantage को कम कर सकते हैं
  • खासकर product performance के दृष्टिकोण से, जहाँ कठिन समस्याओं को अधिक प्रभावी ढंग से हल किया जा सकता है, यह जोखिम और स्पष्ट हो जाता है
• अगले लेख में market adoption के एक और आयाम की पड़ताल की जाएगी, और यह चर्चा होगी कि बेहतर performance बाज़ार में सफलता की गारंटी नहीं देती

---

अध्याय 2: कोई प्रतिस्पर्धी बढ़त नहीं (No Powers)

tl;dr:

• AI के इतिहास में मॉडल की सीमाओं को domain knowledge से पूरा करने वाले approaches आखिरकार अक्सर उन general approaches से पीछे रह गए, जो अधिक computing resources का उपयोग करते थे
• vertical AI अभी के मॉडल्स की सीमाओं को पूरा करने के लिए specific task flows (workflow) को पहले से define करके accuracy बढ़ाने के तरीके से पहले बाज़ार में प्रवेश करता है
• horizontal AI, ChatGPT की तरह, general-purpose models का उपयोग करता है और लगातार विकसित होता रहता है; इसलिए model में हर सुधार के साथ इसके कई क्षेत्रों में बेहतर performance दिखाने की संभावना है
• लंबी अवधि में horizontal AI, कई constraints वाले vertical AI की तुलना में अधिक performance और flexibility रखकर बढ़त हासिल कर सकता है

समस्या की कठिनाई और performance curve

• Figure 1 एक सरल उदाहरण दिखाता है जिसमें vertical AI पहले बाज़ार में प्रवेश करता है, लेकिन model के सुधरने पर horizontal AI आखिरकार performance में उससे आगे निकल जाता है
• जब समस्या की कठिनाई अधिक होती है (Figure 2), vertical AI पर्याप्त performance तक पहुँच ही नहीं पाता, और समाधान तभी संभव होता है जब horizontal AI में सुधार होता है
• इस समय vertical AI जिन समस्याओं पर लागू हो सकता है, वे अपेक्षाकृत ‘कम कठिनाई वाली समस्याएँ’ हैं; इस category में vertical AI first-mover advantage ले सकता है, लेकिन इसकी long-term competitiveness अनिश्चित है

horizontal AI द्वारा दिया गया ‘remote collaborator’ का concept

• आगे चलकर horizontal AI ऐसे remote worker की तरह विकसित हो सकता है जिसे computer और accounts दिए जाएँ, और जो ज़रूरी data खुद ढूँढ़कर इस्तेमाल कर सके
• ChatGPT जैसे UI, जिनके साथ बहुत से users पहले से परिचित हैं, धीरे-धीरे और मज़बूत हो सकते हैं, जिससे enterprises में उनका तेज़ी से adoption संभव हो सकता है
• horizontal AI में model के सुधरते ही नई capabilities तुरंत शामिल हो जाती हैं, इसलिए vertical AI की तुलना में competitive advantage बनाए रखना उसके लिए आसान है

पूर्व उदाहरण: AcademicGPT के साथ अनुभव

• GPT-3.5 के समय long input limits को पार करने के लिए AcademicGPT लॉन्च किया गया था, लेकिन GPT-4 ने long input को default रूप में दे दिया, तो पुराना solution तेज़ी से अप्रासंगिक हो गया
• YC partner Jared के शब्दों में, ‘LLM apps की पहली पीढ़ी को अगली पीढ़ी के models ने ज़्यादातर पीछे छोड़ दिया’
• कई features एक साथ देने वाला vertical AI भी अंततः model performance बढ़ने पर उसी तरह की स्थिति का सामना कर सकता है

Helmer की 7 Powers analysis

• इस भाग में Hamilton Helmer की 7 competitive advantages (Switching Costs, Counter-Positioning, Scale Economies, Network Economies, Brand Power, Process Power, Cornered Resource) के आधार पर देखा गया है कि vertical AI, horizontal AI से प्रतिस्पर्धा कर सकता है या नहीं

• Switching Cost (switching cost)

  • भले ही users किसी विशेष vertical AI solution के UI या workflow के आदी हो जाएँ, horizontal AI को ‘नए employee को hire करने’ की तरह सरल onboarding के ज़रिए लागू किया जा सकता है
  • पहले से ChatGPT जैसे horizontal AI solutions अपनाने वाली कंपनियाँ बढ़ रही हैं, इसलिए transition कठिन न हो, इसकी संभावना है
  • pricing के लिहाज़ से भी horizontal AI कई vertical solutions को consolidate कर सकता है, इसलिए cost savings की उम्मीद है

• Counter Positioning (counter-positioning)

  • vertical AI किसी खास market के लिए specialized solution के रूप में customized value दे सकता है, लेकिन models के लगातार बेहतर होने पर horizontal AI के overall बेहतर performance दिखाने की संभावना है
  • vertical AI हर नए model को अपनाते समय इस dilemma में फँसता है कि मौजूदा ‘constraints’ के कारण उसकी differentiation खत्म हो सकती है, और अगर constraints हटा दे तो वह आखिरकार horizontal model जैसा ही बन जाता है

• Scale Economy (economies of scale)

  • vertical AI भी SaaS की तरह scale बढ़ने पर cost घटा सकता है, लेकिन horizontal AI के पास भी कई domains को integrate करके cost spread करने का लाभ है
  • बड़े पैमाने के R&D investment से विकसित horizontal models को अनेक उपयोगों में लागू करके cost reduction और तेज़ की जा सकती है

• Network Economy (network effects)

  • vertical AI और horizontal AI दोनों user data के आधार पर बेहतर हो सकते हैं, लेकिन horizontal AI को कहीं अधिक व्यापक user base से feedback मिलता है, जिससे model की overall performance सुधारने में बड़ा लाभ मिलता है
  • अलग-अलग क्षेत्रों से जमा data की मदद से पूरा model बेहतर होता है, इसलिए vertical AI के लिए जिस गति से आगे बढ़ना कठिन है, horizontal AI उस गति से विकसित हो सकता है

• Brand Power (brand power)

  • brand power ऐसा advantage है जिसे शुरुआती startup stage में हासिल करना मुश्किल होता है
  • OpenAI या Google जैसी पहले से मज़बूत brand influence वाली कंपनियाँ अपवाद हैं, लेकिन अधिकतर vertical AI startups brand power को अपना मुख्य हथियार नहीं बना सकते

• Process Power (process power)

  • process power भी वह advantage है जो बड़े enterprises लंबी अवधि में तराशी गई operating systems और processes के ज़रिए हासिल करते हैं
  • शुरुआती startup stage में यह category लगभग लागू नहीं होती

• Cornered Resource (exclusive resource)

  • exclusive resource तभी बड़ा competitive advantage बनता है जब कोई खास data या resource सिर्फ एक company के पास हो, और वह resource उस क्षेत्र में सचमुच अनिवार्य हो
  • कई AI startups ‘exclusive data’ होने का दावा करते हैं, लेकिन व्यवहार में वह data पूरी तरह exclusive नहीं होता, या उसके बिना भी model पर्याप्त रूप से train हो सकता है
  • अपवादस्वरूप, जिन कंपनियों ने वास्तव में true exclusive resources हासिल किए हैं, वे horizontal AI की प्रगति के बावजूद competitiveness बनाए रख सकती हैं

निष्कर्ष

• अंततः, उस scenario में भी जहाँ vertical AI first-mover advantage ले लेता है, अगर horizontal AI बेहतर performance हासिल कर ले, तो अधिकांश vertical AI के लिए टिके रहना मुश्किल हो जाता है
• Helmer की 7 Powers में केवल वास्तविक ‘Cornered Resource’ हासिल होने की स्थिति में ही vertical AI के पास long-term momentum बनाने की संभावना है
• जिस तरह GPT-4 के लॉन्च के बाद AcademicGPT तेज़ी से गिर गया, उसी तरह कई features जोड़कर बनाए गए vertical AI भी model के सुधारते ही आखिरकार वैसी ही दिशा में जा सकते हैं
• अगले भाग (Chapter 3) में यह अनुमान लगाया जाएगा कि ‘remote collaborator’ रूप वाला horizontal AI कब और कैसे वास्तविकता बनेगा, और कौन-सी तकनीकी, regulatory, trust और economic barriers इसे रोक सकती हैं

---

चैप्टर 3: इतिहास में एक फुटनोट (A Footnote in History)

• Anthropic के CEO ने "virtual collaborator" concept को समझाने वाला एक interview जारी किया
• यह उस concept से मिलता-जुलता है जिसे लेखक इस series में "horizontal AI product" कहता है
• OpenAI के जल्द "Operator" घोषित करने की उम्मीद है, और लीक हुए benchmark के अनुसार यह Claude से काफ़ी बेहतर performance देता है (OSWorld benchmark में Claude 22%, Operator 38%)
• यह performance improvement अपेक्षित दायरे में है, और लेखक 3 महीने पहले किए गए अपने अनुमान पर कायम है
• पिछले chapter में बताया गया था कि vertical AI applications के लिए competitiveness बनाए रखना क्यों मुश्किल है
  • general AI solutions के साथ performance gap कम होता जा रहा है
  • जब horizontal AI products प्रतिस्पर्धी हो जाते हैं, तो vertical AI products के पास बचाव के बहुत कम तरीके रह जाते हैं
• अहम सवाल: "vertical AI से horizontal AI की ओर बदलाव कब होगा?"
  • अगर यह 10 साल बाद होता है, तो आज vertical AI बनाना अब भी सार्थक हो सकता है
  • लेकिन अगर बदलाव 1~2 साल में आता है, तो पूरी तरह अलग strategy की ज़रूरत होगी
• vertical AI से horizontal AI की ओर बदलाव हर industry में एक साथ नहीं होगा
• लेकिन अभी जिन markets पर अधिकांश AI startups ध्यान दे रहे हैं, वे अपेक्षाकृत सरल क्षेत्र हैं, इसलिए बड़े industries में लगभग समान समय पर बदलाव होने की संभावना है
• अनुमान है कि 2027 तक अधिकांश industries में vertical AI products का टिके रहना मुश्किल होगा
• "adoption" का मतलब है कि जब users किसी नई समस्या को हल करते हैं या पुरानी समस्या के समाधान का तरीका बदलते हैं, तो वे कौन-सा product चुनते हैं
• निम्न तत्वों को इसमें शामिल नहीं किया गया है
  • market share: existing contracts आदि इसका असर डाल सकते हैं
  • absolute size: AI नए use cases खोलकर market को बड़ा करेगा, लेकिन इस analysis में केवल relative change को देखा गया है
  • potential value: यह analysis इस समय लोगों द्वारा चुने जा रहे solutions का आकलन करता है; future improvement की संभावना इसमें शामिल नहीं है
• उदाहरण के लिए, अगर प्रवाह A से B की ओर जाता है, तो इसका मतलब है कि पहले A को प्राथमिकता दी जाती थी, लेकिन अब B को बेहतर विकल्प माना जा रहा है

vertical/horizontal AI और workflow/agent concepts

• "vertical AI" और "horizontal AI" अलग-अलग तरह के AI product types को दर्शाते हैं
• "workflow" और "agent" भी AI products को वर्गीकृत करने की अवधारणाएँ हैं
• इस दस्तावेज़ में horizontal AI products के भीतर workflow और agent की अवधारणाओं को एक साथ समझाया गया है
  • संभावना है कि एक ही कंपनी दोनों सुविधाओं वाले products विकसित करे
  • उदाहरण के लिए, ChatGPT agent features जोड़ते हुए भी अपनी मौजूदा workflow-आधारित नींव बनाए रख सकता है

अतीत

• (1) Pre-ChatGPT दौर वह समय था जब पारंपरिक software बाज़ार पर हावी था
• (2) ChatGPT के लॉन्च के साथ पहला अर्थपूर्ण horizontal AI product सामने आया
• (3) GPT-3.5 API आने के बाद पहली बार AI-विशेषीकृत कई vertical products लॉन्च होने लगे

इस साल

• (4) अनुमान है कि 2025 में model performance इतनी स्थिर हो जाएगी कि उसे व्यावहारिक agents के रूप में इस्तेमाल किया जा सके
  • अब तक जो agents केवल research projects या सीमित परीक्षण उपयोगों तक सीमित थे, उनके व्यापक रूप से अपनाए जाने की संभावना है
  • मौजूदा vertical workflow products भी AI agent के रूप में बदल सकते हैं
• (5) agents के आने के बाद भी 2025 तक vertical workflows के प्रमुख बने रहने की संभावना है
  • इसकी वजह उपयोगकर्ताओं की पहले से अपनाए गए tools बदलने में झिझक, और developers की अब तक बनाए गए engineering assets का उपयोग जारी रखने की प्रवृत्ति है
• (6) ChatGPT, Claude, Gemini जैसे प्रमुख horizontal AI products के feature विस्तार के साथ और अधिक vertical क्षेत्रों को cover करने की संभावना है
  • vertical AI products की मौजूदा specialized features के horizontal AI products में तेज़ी से समाहित होने की संभावना है
  • ChatGPT पहले ही desktop apps के साथ integration शुरू कर चुका है

निकट भविष्य

• (7) horizontal AI agents और मानव कर्मचारियों के बीच क्षमता का अंतर धीरे-धीरे कम होने की उम्मीद है
  • भले ही वे expert स्तर तक न पहुँचें, फिर भी उनसे सामान्य office work का काफ़ी हिस्सा automate करने लायक performance मिलने की संभावना है
  • इसके चलते vertical AI solutions के अस्तित्व का औचित्य कम हो सकता है
  • ठोस उदाहरण:
    • व्यक्तिगत उपयोगकर्ता tax filing या job preparation जैसे जटिल काम horizontal agents को सौंप सकते हैं
    • कंपनियाँ junior-level कर्मचारियों का काफ़ी हिस्सा replace या कम कर सकती हैं
    • ऐसे उदाहरण सामने आ सकते हैं जहाँ केवल एक व्यक्ति unicorn valuation पैदा कर दे
• (8) पारंपरिक software, agent द्वारा उपयोग किए जा सकने वाले interface के रूप में, अपना मूल्य बनाए रखेगा
  • agents के लिए हर software को सीधे नए सिरे से बनाने के बजाय मौजूदा software का इस्तेमाल करना अधिक cost-effective हो सकता है
  • विश्लेषण यह भी कहता है कि खासकर general-purpose और horizontal software के बचे रहने की संभावना अधिक है
• (9) जो vertical AI products बचेंगे, वे संभवतः अध्याय 2 में बताए गए defensive resources (जैसे proprietary data, patents आदि) रखने वाले कुछ ही होंगे
  • वे इन resources को ऊँचे मूल्य पर बेच भी सकते हैं

2024 - क्या प्रगति रुक गई थी?

• यह दावा कमज़ोर माना जाता है कि 2024 में AI models ठहर गए थे
  • o3 के लॉन्च से पहले ही GPT-4, Claude, Open Weight models आदि में विभिन्न क्षेत्रों में model performance लगातार बेहतर होती रही थी
  • ARC-AGI, GPQA Diamond आदि benchmarks पर scores में तेज़ सुधार का सिलसिला दिखा है
• Anthropic ने Claude 2 से Claude 3 और फिर Claude 3.5 Sonnet तक तेज़ी से प्रगति की, और यह अटकल भी उठी कि उसने कुछ unannounced upgrades का आंतरिक रूप से उपयोग किया
• इसके कारण यह दलील कि 2024 AI model improvements के रुकने का साल था, पर्याप्त आधारहीन मानी जाती है

संभावित बाधाएँ

• Model Stagnation: 2024 में ठहराव नहीं था, लेकिन 2025 के बाद model progress रुकने की चिंता मौजूद है

  • Ilya Sutskever ने NeurIPS में पारंपरिक pre-training के सीमित होने की बात कही, लेकिन साथ ही test-time compute जैसे दूसरे रास्तों की संभावना भी बताई
  • प्रमुख AI research labs और कंपनियाँ अब भी बड़े पैमाने के computing resources में सक्रिय निवेश कर रही हैं

• Regulation: यदि अप्रत्याशित regulations आती हैं, तो AI प्रगति पर रोक लग सकती है

• Trust Barriers: users को agents की stability और reliability को लेकर चिंताएँ हैं

  • elevator automation के प्रति ऐतिहासिक डर का उदाहरण देते हुए अनुमान लगाया गया है कि समय के साथ यह चिंता भी दूर हो सकती है

• AI Labs Hesitate: Anthropic या OpenAI जैसी संस्थाएँ वास्तविक technical capability होने पर भी user interaction को कुछ हद तक सीमित रख सकती हैं

• Expensive Inference: o3 के मामले की तरह high-performance inference की लागत बहुत अधिक हो सकती है

  • हालांकि inference cost समय के साथ घट रही है, और यह भी संभव है कि agents हर काम में समान रूप से high-performance inference का उपयोग न करें

• इन सभी तत्वों को मिलाकर देखें तो, तकनीकी प्रगति का अनुमान लगाना कठिन है, लेकिन vertical AI startups के पास शायद बहुत कम समय बचा है

• यह U-आकार का value graph प्रस्तुत करता है कि AI models के उन्नत होने के साथ मौजूदा engineering-आधारित मूल्य तेज़ी से समाप्त हो सकता है

संदर्भ बिंदु

• o3 में दिखाई गई test-time compute scaling को पहले के research से पहले ही अनुमानित परिणाम बताया गया है
• AlphaZero के उदाहरण की तरह, यह अंतर्दृष्टि दी गई है कि verifiable environments में performance तेज़ी से superhuman स्तर तक पहुँच सकती है
• विश्लेषण यह भी कहता है कि coding और math जैसे क्षेत्रों में o3 शानदार है, लेकिन creative writing जैसे अन्य क्षेत्रों में o1 से बहुत अलग नहीं है
• यह संकेत दिया गया है कि आगे नए vertical AI बनाने के बजाय, अधिक व्यापक या proprietary resources से जुड़े अन्य दिशा-निर्देश founders के लिए अधिक लाभकारी हो सकते हैं

---

अध्याय 4: आप एक जादूगर हैं (You’re a wizard Harry)

संस्थापक जादूगर जैसे होते हैं

• उनमें शून्य से कुछ रचने की क्षमता होती है
• नई कंपनी शुरू करने के लिए मौलिक सोच ज़रूरी है
• Paul Graham (PG) का कथन: "आइडिया केवल सही ही नहीं, नया भी होना चाहिए. आपको वह काम शुरू नहीं करना चाहिए जिसे सभी पहले से अच्छा विचार मानते हों."
• कई संस्थापक अपने peers की प्रभावशाली revenue growth देखकर स्वतंत्र सोच खो रहे हैं
• जब सभी एक ही काम कर रहे हों और वह सफल होता दिख रहा हो, तब स्वतंत्र रूप से सोचना कठिन हो जाता है
• लेखक स्वतंत्र रूप से सोचने की कोशिश करता है, और चाहता है कि ये विचार सुनने में बुरे लगें

horizontal agents का भविष्य और प्रतिस्पर्धा

• उम्मीद है कि AI application layer पर प्रभुत्व जमाने वाले horizontal agents AI labs द्वारा विकसित किए जाएँगे
• model performance में अंतर के कारण एक ही विजेता उभर सकता है, लेकिन Anthropic, OpenAI, GDM, xAI के बीच तीव्र प्रतिस्पर्धा अधिक संभावित लगती है
• इससे कम अवधि में end users के लिए लाभकारी price competition पैदा होगी
• भले ही AI labs अल्पकाल में बहुत बड़ा monetary value capture न कर पाएँ, फिर भी उनके बेहद मज़बूत स्थिति में रहने की संभावना है
• इसलिए founders के लिए यह तर्कसंगत है कि वे अपने startup को इन labs के साथ संबंधों के संदर्भ में सोचें

ग्राहक के रूप में दृष्टिकोण

• जैसा कि chapter 2 में चर्चा की गई थी, LLM API का उपयोग करने वाले AI vertical products बनाना संभव है, लेकिन यह तभी संभव है जब महत्वपूर्ण resources तक proprietary access हो
• AI vertical products बनाने के लिए ऐसे resources खोजने में बहुत बड़ा प्रयास करना होगा

प्रतिस्पर्धी के रूप में दृष्टिकोण

• अगर horizontal agent ही भविष्य हैं, तो उन्हें बनाया क्यों न जाए? तीन approaches की समीक्षा की गई है
• market capture
  • AI labs vertical workflows से तभी गंभीरता से प्रतिस्पर्धा करेंगे जब models इतने भरोसेमंद हो जाएँ कि कम से कम engineering effort के साथ horizontal agents बनाए जा सकें
  • पुराने models पर engineering effort लगाकर सैद्धांतिक रूप से labs से पहले market में प्रवेश किया जा सकता है, लेकिन यह निश्चित नहीं है
  • Leopold Aschenbrenner का मानना है कि यह प्रयास अगला model बनाने से भी ज़्यादा समय ले सकता है: "ऐसा होने में समय लग सकता है जब remote workers बहुत-से कामों को automate कर सकें, और तब तक intermediate models शायद अभी भी पूरी तरह उपयोग और integrate न किए गए हों"
  • चाहे market में पहले कोई भी आए, यह बढ़त लंबे समय तक टिकने की उम्मीद नहीं है
• agent API wrapper
  • roommate ने पूछा, "क्या दुनिया में UI skills वाला कोई नहीं है?"
  • यह दो समस्याओं की ओर इशारा करता है: 1) API cost की वजह से margins टिकाऊ नहीं हैं, 2) labs अपने best models को public नहीं करते (ChatGPT search, web browsing आदि के लिए proprietary models का उपयोग करता है)
  • अभी GPT API का उपयोग करके ChatGPT से सीधे प्रतिस्पर्धा करने वाला कोई नहीं है, और उम्मीद है कि horizontal agents में भी यही pattern दोहराया जाएगा
• open source models
  • open source models एक और रास्ता दे सकते हैं
  • Perplexity दिखाता है कि labs और horizontal products के साथ प्रतिस्पर्धा करना संभव है
  • लेकिन open source models साधारण benchmarks पर अच्छा प्रदर्शन करते हैं, जबकि complex agent tasks में संघर्ष करते हैं
  • Llama-3.1-405b, MLE-bench में state-of-the-art models से काफ़ी पीछे है
  • Andon Labs इस तरह के benchmarks में विशेषज्ञता रखता है, और यह हमारी देखी बातों से मेल खाता है
  • Deepseek V3 और R1 बेहद प्रभावशाली नतीजों के साथ जारी किए गए, लेकिन o3 भी वैसा ही है, और कहा जाता है कि Anthropic के पास internally इससे बेहतर versions हैं
  • open source models state-of-the-art के क़रीब पहुँच सकते हैं, लेकिन इनके उसे पार कर जाने पर संदेह है
  • फिर भी, horizontal game में प्रतिस्पर्धा करने के लिए यह काफ़ी हो सकता है
  • inference cost अभी भी बहुत अधिक रहेगा

vendor के रूप में दृष्टिकोण

• अगर AI labs वास्तव में इतने शक्तिशाली हो जाते हैं, तो उनके vendor बनना एक शानदार स्थिति होगी
• उन्हें निश्चित रूप से बहुत अधिक computing power और electricity की ज़रूरत होगी
• अगर Leo का analysis सही है, तो यह ज़रूरत अपेक्षा से भी अधिक हो सकती है
• इस अवसर के लिए industry expertise चाहिए, जो अभी AI application layer में मौजूद founders के लिए स्वाभाविक नहीं हो सकता
• लेकिन याद रखिए कि आप जादूगर हैं
• labs third parties से data भी खरीदते हैं
• Scale AI साबित कर रहा है कि यह एक शानदार business है
• लेकिन यह सवाल बना हुआ है कि क्या AI labs "self-play" को कामयाब बना पाएँगे
• AlphaZero को external data के बिना train किया गया था, और इसे भविष्य के AI models की holy grail माना जाता है
• अगर वे self-play को कामयाब नहीं बना पाते, तो विकल्प कई post-training datasets को जोड़ना होगा
• इस दुनिया में data बेचना शायद एक अच्छा विकल्प होगा

ecosystem contributor के रूप में दृष्टिकोण

• AI labs के साथ संबंध में आख़िरी विचारणीय बात ecosystem contributor बनना है
• इसका मतलब है horizontal agents की मदद करने वाले tools बनाना, लेकिन महत्वपूर्ण बात यह है कि वे agents खुद से अलग होने चाहिए
• जैसा chapter 3 में दिखाया गया था, agents को efficient interfaces चाहिए, इसलिए traditional software बना रहेगा
• agents अपना software खुद लिख सकते हैं, लेकिन inference cost इसे अव्यावहारिक बना सकता है
• लेकिन ecosystem players के commoditized होने का जोखिम है, और ज़्यादातर value कहीं और capture हो सकती है
• यह इस बात पर निर्भर करेगा कि horizontal agents को चलाने की inference cost कितनी ऊँची है
  • अगर inference cost कम है, तो agents के लिए अपनी ज़रूरत का software खुद बनाना ज़्यादा आम होगा

अगर AI horizontal agents देर से आते हैं तो?

• timeline बहुत महत्वपूर्ण है
  • अगर horizontal agents 10 साल बाद ही प्रतिस्पर्धी बनते हैं, तो अभी vertical AI workflows बनाना एक शानदार विचार होगा
  • इतना समय एक बड़ी और मज़बूत कंपनी बनाने के लिए काफ़ी है
• लेकिन AI labs की प्रगति की रफ़्तार को देखते हुए 10 साल अवास्तविक लगते हैं
  • तो फिर 4 साल बाद का क्या?
  • 4 साल शायद एक बहुत बड़ी कंपनी बनाने के लिए कम हों, लेकिन यह पर्याप्त iteration opportunities देता है
  • AI application layer में शुरुआत करना बाद में vendor या ecosystem player में pivot करने के लिए फ़ायदेमंद हो सकता है

उपसंहार: क्या यह YC(Y Combinator) की गलती है?

• सतही तौर पर ऐसा लग सकता है कि YC ग़लत चुनाव कर रहा है
  • इस समय YC अपने अधिकांश निवेश AI vertical products पर केंद्रित कर रहा है
  • लेकिन यह बाज़ार जल्द ही गायब हो सकता है
• हालांकि लेखक मानता है कि उसकी VC(venture capital) के बारे में विशेषज्ञता कम है, इसलिए वह कोई ठोस निष्कर्ष नहीं दे सकता
  • वह सिर्फ़ उलझन में है और अपने विचार साझा कर रहा है
• YC दावा करता है कि वह काफ़ी neutral investment strategy अपनाता है
  • होशियार लोगों में निवेश करो, और उम्मीद करो कि वे सबसे अच्छे ideas खोज लेंगे
  • यह एक शानदार strategy है, और सैकड़ों founders भविष्य की भविष्यवाणी 14 YC partners से बेहतर कर सकते हैं
• लेकिन लेखक को चिंता है कि YC का batch system short-term thinking को बढ़ावा दे सकता है
  • YC में साप्ताहिक goals सेट करना बहुत महत्वपूर्ण है, और बड़े समूह के भीतर आगे बढ़ना motivation के लिए अच्छा है
  • लेकिन अगर ideas की diversity काफ़ी न हो, तो यह short-term thinking को बढ़ावा दे सकता है
  • AI vertical product बनाने पर आप जल्दी 5,000 डॉलर MRR तक पहुँच सकते हैं
  • लेकिन क्या यही टिकाऊ business बनाने का तरीका है?
  • अगर लेखक अभी YC batch में होता, तो शायद वह भी AI vertical product बनाने के प्रलोभन को महसूस करता
  • इसके अलावा YC के podcast "The Light Cone" में AI vertical products के समर्थन में बहुत-सी बातें हैं

[zkdlfrlwl2]

Vertical AI बनाम Horizontal AI का विभाजन और उसकी व्याख्या दिलचस्प है।