OpenAI, Google, Anthropic अधिक उन्नत AI विकसित करने के लिए जूझ रहे हैं

• OpenAI, Google, Anthropic जैसी प्रमुख AI कंपनियां नए मॉडल विकास में लगातार कम परिणाम हासिल कर रही हैं
• OpenAI ने अपना नवीनतम AI मॉडल Orion प्रशिक्षित किया, लेकिन यह अपेक्षित प्रदर्शन तक नहीं पहुंच सका
  • खास तौर पर कोडिंग से जुड़े सवालों का सही जवाब न दे पाने की समस्या सामने आई
• Google का Gemini भी आंतरिक अपेक्षाओं पर खरा नहीं उतरा, और Anthropic के नए Claude 3.5 Opus की रिलीज़ समय-सीमा में देरी हो रही है

डेटा की सीमाएं और लागत की समस्या

• उच्च गुणवत्ता वाला, मनुष्यों द्वारा लिखा गया डेटा हासिल करना लगातार कठिन होता जा रहा है
• AI मॉडल का प्रदर्शन ठहराव का शिकार है, और मामूली सुधार के लिए भारी लागत को उचित ठहराना मुश्किल हो रहा है
• OpenAI के Orion के मामले में पर्याप्त कोडिंग डेटा न मिल पाना प्रमुख कारणों में से एक माना जा रहा है
• नए AI मॉडल विकसित करने में लाखों डॉलर खर्च होते हैं, और आगे चलकर यह लागत अरबों डॉलर तक पहुंचने की उम्मीद है

AI प्रदर्शन सुधारने की रणनीतियां

• OpenAI, Orion की रिलीज़ से पहले post-training प्रक्रिया पर ध्यान केंद्रित कर रहा है। इसमें यूज़र फ़ीडबैक के आधार पर मॉडल के जवाब बेहतर करना और इंटरैक्शन का टोन समायोजित करना शामिल है
• डेटा की कमी की समस्या हल करने के लिए कंपनियां प्रकाशकों के साथ समझौते कर डेटा प्राप्त कर रही हैं, या विशेषज्ञों से डेटा लेबलिंग करवा रही हैं
• synthetic data का उपयोग भी बढ़ रहा है, लेकिन अनोखा और उच्च गुणवत्ता वाला डेटा हासिल करने में अब भी सीमाएं बनी हुई हैं

AI scaling laws पर सवाल

• AI उद्योग अब तक इस scaling laws धारणा पर निर्भर रहा है कि बड़े मॉडल और अधिक डेटा से प्रदर्शन बेहतर होगा, लेकिन हाल के नतीजे इस पर संदेह पैदा कर रहे हैं
• Anthropic के CEO Dario Amodei का कहना है कि डेटा की कमी समस्या पैदा कर सकती है, लेकिन वे इसे पार करने का रास्ता खोज लेने को लेकर आशावादी हैं

लागत और प्रदर्शन के बीच संतुलन की समस्या

• AI विकास लागत तेज़ी से बढ़ने के साथ, अगर नए मॉडल अपेक्षा के अनुसार प्रदर्शन नहीं बढ़ाते, तो ऊंची लागत बड़ी समस्या बन जाती है
• OpenAI और Anthropic बड़े मॉडल की बजाय AI agent जैसे नए use case पर फोकस शिफ्ट कर रहे हैं
  • agent यूज़र की ओर से ईमेल भेजने या फ्लाइट बुक करने जैसे काम कर सकता है
• OpenAI के CEO Sam Altman ने कहा कि computing resources के उपयोग को लेकर कठिन फैसले लेने पड़ रहे हैं
  • उन्होंने Reddit AMA में कहा, "हम शानदार नए मॉडल जारी करते रहेंगे, लेकिन अगली बड़ी breakthrough agent होगी"

निष्कर्ष

• प्रमुख AI कंपनियां लगातार अधिक computing power और डेटा का उपयोग कर रही हैं, लेकिन नतीजे ठहरे हुए हैं
• तकनीकी सीमाओं और डेटा की कमी की समस्या से निपटने के लिए वे नए approaches और use case खोज रही हैं
• आगे AI विकास की दिशा मॉडल के आकार से अधिक वास्तविक उपयोग के मामलों पर केंद्रित होने की संभावना बढ़ रही है

[kandk]

आख़िरकार बात यही है कि इसमें बहुत ज़्यादा पैसा लगता है.
व्यक्तिगत रूप से, मेरा मानना है कि इसमें दिमाग़ में मौजूद neurons की संख्या जितनी upside है.

[GN⁺]

Hacker News टिप्पणियाँ

• यह सवाल उठाया गया है कि क्या LLM (बड़े भाषा मॉडल) आधारित वैल्यू देने के सभी विकल्प अब खत्म हो चुके हैं। एक टीम का नेतृत्व करने वाले व्यक्ति का मानना है कि अभी बहुत लंबा रास्ता बाकी है

  • वे मुख्य रूप से GPT-4o और Claude 3.5 मॉडल का उपयोग करते हैं, और तकनीकी निवेश तथा LLM के संयोजन से नए applications की संभावनाएँ लगातार सामने आ रही हैं
  • उदाहरण के लिए, इंसानों द्वारा क्यूरेट किए गए knowledge graph और LLM को मिलाकर ऐसे "expert bots" बनाए जा सकते हैं जो business context को समझें और टीम के सहकर्मी की तरह व्यवहार करें
  • यदि prediction और simulation capabilities जोड़ दी जाएँ, तो LLM उचित code changes बना सकता है और उन्हें अपने आप review तथा iterate कर सकता है
  • यह तर्क दिया गया कि model improvements के पीछे भागने से ज़्यादा महत्वपूर्ण है कि मौजूदा intelligence का बेहतर उपयोग किया जाए

• engineering क्षेत्र में पिछले 3 वर्षों से transformer models की pre-training और post-training को scale करने पर ध्यान दिया गया है

  • अब एक नए paradigm के रूप में multimodal training और robots सहित embodied agents पर ध्यान जा रहा है
  • OpenAI, Google, और Anthropic भी robot research में निवेश कर रहे हैं

• ChatGPT की code generation capability वेब पर मौजूदा code से मिलती-जुलती चीज़ें खोज सकती है

  • LLM search और copy/paste functionality देता है, और सामान्य समस्याओं के समाधान के लिए यह काफी है
  • लेकिन सिर्फ LLM से ही AGI नहीं आएगा
  • LLM के लिए confidence indicator की ज़रूरत है, और यह मौजूदा LLM की तुलना में कहीं अधिक उपयोगी होगा

• यह अच्छी बात है कि AI की प्रगति data limits तक पहुँच गई है, क्योंकि इससे दबाव बेहतर model architecture विकसित करने की दिशा में जा रहा है

  • AI researchers बेहतर models खोज रहे हैं

• AI के दीवार से टकरा जाने जैसी नकारात्मक headlines वैसी ही लगती हैं जैसी इंटरनेट के शुरुआती दिनों में दिखाई देती थीं

  • उनका मानना है कि 10 साल बाद AI जीवन के हर पहलू से गहराई से जुड़ चुका होगा

• मौजूदा technologies पहले ही उद्योगों में बड़ा बदलाव ला चुकी हैं, और AI तथा इंसानों के hybrid model की ओर बदलाव में समय लगेगा

• OpenAI का नवीनतम model उम्मीदों पर खरा नहीं उतरा, लेकिन training data के आकार के साथ यह रैखिक रूप से बढ़ सकता है

• यह सवाल भी उठा कि क्या AI software खरीदकर उसमें ऐसी functionality जोड़ी जा सकती है जो users को दस्तावेज़ खुद पढ़ने और app के नए versions लिखने में मदद करे