- OpenAI की अगली पीढ़ी की AI परियोजना GPT-5(कोडनेम Orion) का शेड्यूल देरी का शिकार है और इस पर भारी लागत आ रही है
- GPT-5 का लक्ष्य उस तकनीक में बड़ा सुधार करना है जिसने ChatGPT को संभव बनाया, लेकिन इसकी सफलता की संभावना और समय-सीमा अनिश्चित हैं
- प्रमुख निवेशक Microsoft को 2024 के मध्य में इसकी घोषणा की उम्मीद थी, लेकिन OpenAI के आंतरिक परीक्षणों में कई समस्याएँ सामने आईं
परियोजना की स्थिति और लागत
- GPT-5 के लिए पहले ही दो बार बड़े पैमाने पर training की जा चुकी है, और हर training पर सैकड़ों मिलियन डॉलर खर्च हुए
- यह अपेक्षित प्रदर्शन स्तर तक नहीं पहुँच पाया है, और मौजूदा प्रदर्शन GPT-4 से केवल थोड़ा बेहतर है
- OpenAI के CEO Sam Altman ने ज़ोर देकर कहा है कि GPT-5 एक क्रांतिकारी प्रगति देगा
प्रशिक्षण डेटा और तकनीकी समस्याएँ
- LLM training के लिए विशाल मात्रा में डेटा चाहिए, लेकिन फिलहाल इंटरनेट पर पर्याप्त उच्च-गुणवत्ता वाला डेटा उपलब्ध नहीं है
- OpenAI ने गणित की समस्याएँ हल करने, software code लिखने आदि के ज़रिए सीधे डेटा बनाने का तरीका अपनाया है
- synthetic data (AI द्वारा बनाया गया डेटा) का भी उपयोग हो रहा है, लेकिन स्वयं डेटा निर्माण प्रक्रिया में त्रुटियों और अव्यावहारिक परिणामों का जोखिम मौजूद है
आंतरिक समस्याएँ और प्रतिस्पर्धी दबाव
- OpenAI के भीतर टकराव और प्रतिस्पर्धियों द्वारा प्रतिभा को आकर्षित करने की कोशिशें बढ़ी हैं
- सह-संस्थापक Ilya Sutskever और CTO Mira Murati सहित 24 से अधिक प्रमुख कर्मी कंपनी छोड़ चुके हैं
- प्रतिस्पर्धी Anthropic और Google बेहतर LLM जारी कर रहे हैं, जिससे प्रतिस्पर्धा और तेज हुई है
नया दृष्टिकोण: reasoning model
- OpenAI, LLM प्रदर्शन सुधारने के लिए नए reasoning model विकसित कर रहा है
- सिर्फ डेटा बढ़ाने वाले पारंपरिक दृष्टिकोण की सीमाओं को पहचाना गया है
- o1 model एक ही सवाल के कई उत्तर बनाता है और उनका विश्लेषण करके सबसे अच्छा उत्तर चुनता है
- यह जटिल समस्याएँ हल कर सकता है, उत्तर देने की प्रक्रिया समझा सकता है, और सीख सकता है
लागत और प्रदर्शन का trade-off
- reasoning-आधारित model ने पारंपरिक तरीकों की तुलना में प्रदर्शन सुधारा है, लेकिन इसकी लागत बहुत अधिक है
- एक ही प्रश्न के लिए कई उत्तर बनाने पड़ते हैं, इसलिए compute cost बढ़ती है
- शोधकर्ता reasoning model और मौजूदा data-centric approach को मिलाकर GPT-5 की नींव तैयार करने की कोशिश कर रहे हैं
औद्योगिक चुनौतियाँ और डेटा की कमी
- AI उद्योग अब डेटा की कमी और सीमाओं की समस्या का लगातार अधिक सामना कर रहा है
- "डेटा AI का fossil fuel है" जैसी उपमा की तरह, अतिरिक्त उच्च-गुणवत्ता वाला डेटा हासिल करना कठिन होता जा रहा है
- यदि GPT-5 का विकास रुकता है, तो AI सुधार की गति ठहरने की आशंका भी जताई जा रही है
निष्कर्ष
- OpenAI, Orion परियोजना में तकनीकी, वित्तीय और मानव संसाधन संबंधी समस्याओं से जूझ रहा है
- नए reasoning model के AI प्रगति में अगला breakthrough बनने की संभावना तलाश की जा रही है
- फिर भी GPT-5 कहलाने योग्य model का लॉन्च अब भी अनिश्चित है
7 टिप्पणियां
जैसे पेट्रोकेमिकल कंपनियाँ कच्चे तेल को रिफाइन करके पेट्रोल, डीज़ल आदि बनाती हैं,
वैसे ही ऐसा बिज़नेस मॉडल भी हो सकता है जहाँ data refinement कंपनी unrefined data को अच्छी तरह साफ़-सुथरा और उपयोगी बनाकर दे।
मसलन, कंपनी के भीतर अनगिनत जमा standard operating procedure वाले Excel और PPT फ़ाइलों को refine करके GPT fine-tuning में इस्तेमाल किया जा सकता है, है न?
लगता है कि यह एक तयशुदा दीवार है, और अगर इसे खुद समझने और सोचने वाली दिशा में मोड़ा जाए तो वह भी काफ़ी दिलचस्प होगा।
जब कोई तय रोडमैप या स्पष्ट मानक ही नहीं है, तो यह कहना कि डेवलपमेंट में देरी हो रही है या नहीं, शायद सिर्फ़ मार्केटिंग के लिए जानकारी लीक करने जैसा ही हो सकता है।
o1, MCTS या search-आधारित नहीं, बल्कि RL के जरिए CoT का विस्तार करने वाला मॉडल है।
कई जवाब जनरेट करना -> यहाँ इसका मतलब यह नहीं है कि कई जवाबों को parallel में जनरेट करके उनमें से एक चुना जाता है
बल्कि, जैसा आपने कहा, CoT के जरिए यह तय होने तक कि जवाब बन गया है, क्रमवार जवाब जनरेट करके सबसे बेहतर जवाब निकाला जाता है..
लगता है कि शायद यह अनुवाद प्रक्रिया में गलत अनुवाद हो गया होगा, हालांकि मूल लेख की पुष्टि करना मुश्किल है इसलिए पक्का नहीं कह सकता..
> पर्दे के पीछे, OpenAI का o1 हर सवाल के लिए कई जवाब देता है और उनमें से सबसे अच्छा चुनने के लिए उनका विश्लेषण करता है। यह बिज़नेस प्लान लिखने या crossword puzzle बनाने जैसे ज़्यादा जटिल काम कर सकता है, साथ ही अपनी reasoning भी समझाता है—जिससे मॉडल हर जवाब से थोड़ा-बहुत सीख पाता है।
> यह अतिरिक्त "brainpower" महंगा पड़ता है। OpenAI अब सिर्फ एक की जगह एक ही query के लिए कई जवाब जनरेट करने की लागत उठा रहा है।
लगता है कि रिपोर्टर ने इसे कई जवाब बनाकर उनमें से एक चुनने वाले तरीके के रूप में समझा है।
Hacker News राय
जैसे-जैसे मॉडल training की लागत बढ़ती है, training के लिए आवश्यक समय भी बढ़ने की समस्या होती है। छोटे मॉडल तेज़ innovation ला सकते हैं क्योंकि उनका feedback loop छोटा होता है
OpenAI के GPT-4 विकास के बारे में दिया गया विवरण इस लेख पर भरोसा नहीं दिलाता
यह कहा गया है कि LLMs अब उस सीमा पर पहुँच गए हैं जहाँ वे केवल data और computing power बढ़ाने भर से आगे प्रगति नहीं कर सकते। नए ideas की ज़रूरत है, और इसके लिए funding पर्याप्त रूप से उपलब्ध है
अगर LLM अपने मौजूदा स्तर पर conservative confidence metrics दे सकें, तो वे कहीं अधिक उपयोगी होंगे। उन्हें "मुझे नहीं पता" या "पक्का नहीं हूँ, लेकिन..." जैसे outputs देने की ज़रूरत है
OpenAI की अगली release से अधिक महत्वपूर्ण यह है कि software industry इस तकनीक को integrate करके उसका मूल्य साकार करे
insiders की बातों से जो अनुमान लगाया जा सकता है, वह यह है कि scaling, data और algorithmic changes के ज़रिए 10 गुना सुधार चाहा जा रहा है। public data sources लगभग समाप्त हो चुके हैं, और algorithmic changes research के माध्यम से लगातार सुधार ला रहे हैं
GPT-5 का schedule delay नहीं हुआ था; वह पहले ही आधा साल पहले GPT-4o के रूप में जारी हो चुका था। वह इतना innovative नहीं था कि उसे 5 नाम दिया जाए, और संभव है कि आख़िरी क्षण में उसकी rebranding की गई हो
यह कहा गया है कि tech journalism बढ़ा-चढ़ाकर पेश किया गया है, और o3 जारी हो जाने के बावजूद अब भी आलोचनात्मक लेख आ रहे हैं
व्यक्तिपरक रूप से o1-Pro, GPT-4 से काफ़ी बेहतर है, और o3 को उससे भी बेहतर माना गया है। यह संकेत देता है कि तकनीक तेज़ी से आगे बढ़ रही है
दुनिया अभी समझ रही है कि यह तकनीक सही तरह से कैसे काम में लाई जाए, और यह कहना कि schedule delay हुआ है, लगभग हास्यास्पद लगता है