Keras के संस्थापक François Chollet के अनुसार generative AI की मौजूदा स्थिति

LLM को अभी बहुत लंबा रास्ता तय करना है

• LLM मूल रूप से सिर्फ बहुत-सी जानकारी याद रखकर ज़रूरत पड़ने पर निकालकर इस्तेमाल करने तक सीमित हैं, इसलिए यह नहीं कहा जा सकता कि इनके पास सचमुच इंसान-स्तर की बुद्धिमत्ता है। असली इंसान-स्तर की बुद्धिमत्ता वह है जो बहुत सीमित training data के आधार पर भी उसे generalize कर सके और पहली बार सामने आई स्थिति में भी समस्या हल कर सके।
• कुत्ते और बिल्ली में फ़र्क करने के लिए इंसान को बस कुछ तस्वीरें देखनी पड़ती हैं, लेकिन CNN model को 25,000 तस्वीरों की ज़रूरत होती है। मानव मस्तिष्क AI की तुलना में बेहद कम training data के साथ भी बहुत तेज़ और सटीक तरीके से वस्तुओं को वर्गीकृत कर सकता है।
• अगर कोई व्यक्ति वही गणित का सवाल हल करे लेकिन सिद्धांत समझे बिना, सिर्फ पहले मिलते-जुलते सवाल हल करने के अनुभव के आधार पर उस समय उपयुक्त formula याद करके जवाब दे, तो इसे असली बुद्धिमत्ता कहना कठिन है; यह बस अच्छी search क्षमता है। रटकर 100 अंक लाने वाले और सिद्धांत समझकर 100 अंक लाने वाले व्यक्ति में फर्क करना चाहिए।
• आज के LLM का scale बढ़ने पर performance बेहतर होना और फिर भी hallucination करना, दोनों की वजह यही है। training बढ़ाने से ऐसे formula की संख्या बढ़ जाती है जिन्हें वे निकालकर इस्तेमाल कर सकते हैं, इसलिए वे अधिक स्थितियों से निपट पाते हैं; लेकिन जब वे सही formula नहीं ढूँढ पाते या गलत formula चुन लेते हैं, तब hallucination होता है।
• लेकिन formula याद करके समस्या हल करना सिर्फ AI तक सीमित नहीं है; इंसान भी अक्सर ऐसा ही करते हैं। वास्तव में कुछ गिने-चुने लोगों को छोड़कर अधिकांश लोग याद किए हुए formula को अलग-अलग परिस्थितियों में लागू करते हुए जीवन बिताते हैं। फिर भी यहाँ AI और इंसान के बीच एक अंतर है।
• मौजूदा AI सतही search करता है, जबकि इंसान एक विचार से दूसरे विचार तक जुड़ती हुई सोच के ज़रिए गहरी search कर सकता है।
• जिसे हम "बुद्धिमत्ता" कहते हैं, उसे आगे इन तीन स्तरों में बाँटा जा सकता है।

1. घटनाओं को देखकर सिद्धांत समझना और उसे व्यापक दायरे में लागू करना (प्रतिभाशाली)
2. पहले से सीखे गए कई patterns को गहराई से देखकर सबसे उपयुक्त pattern का उपयोग करना (सामान्य व्यक्ति)
3. पहले से सीखे गए कई patterns को सतही तौर पर देखकर जो सबसे जल्दी मिल जाए उसका उपयोग करना (आज के LLM)

• मौजूदा LLM इस समय तीसरे स्तर पर हैं। अगर वे पहले स्तर तक पहुँच जाएँ तो सबसे अच्छा होगा, और कम-से-कम दूसरे स्तर तक तो पहुँचना ही होगा ताकि हम जिस AGI (Artificial General Intelligence) की बात करते हैं, वहाँ तक पहुँचा जा सके।

10 लाख डॉलर इनाम वाला ARC Prize

• सचमुच इंसान-स्तर की बुद्धिमत्ता है या नहीं, इसका मूल्यांकन करने के लिए एक test method विकसित किया गया, और इसी के आधार पर 10 लाख डॉलर इनाम वाली प्रतियोगिता ARC Prize बनाई गई। (https://www.kaggle.com/competitions/arc-prize-2024)
• प्रतियोगिता की आधिकारिक वेबसाइट (https://arcprize.org/) पर इन puzzles को हल करके देखा जा सकता है। इंसानों के लिए यह लगभग IQ test जितनी कठिनाई के हैं, फिर भी AI अभी इन्हें अच्छी तरह हल नहीं कर पाता।

उपलब्धियाँ साझा करने से प्रगति तेज़ होती है

• OpenAI ने जानकारी साझा न करने वाली संस्कृति को पूरे उद्योग में फैलाया, जिसके कारण AGI का आगमन कम-से-कम 5 से 10 साल तक टल गया।
• AGI बनाने के लिए कई तरह के प्रयासों की ज़रूरत है, लेकिन OpenAI के ध्यान खींच लेने से उद्योग के मानव और भौतिक संसाधन लगभग पूरी तरह LLM बनाने वाली जगहों पर ही केंद्रित हो गए हैं।
• इसका अनिवार्य परिणाम यह है कि दूसरे research क्षेत्रों में समर्थन कम हो जाता है और वहाँ उपलब्धियाँ धीमी पड़ जाती हैं।
• इतना ही नहीं, पहले के विपरीत OpenAI अब paper प्रकाशित करने पर भी तकनीकी details साझा नहीं करता, इसलिए उद्योग के दूसरे researchers के लिए उन papers के आधार पर आगे का research करना कठिन हो जाता है।
• OpenAI के आने से पहले तक Attention is all you need जैसे papers के माध्यम से अलग-अलग संस्थानों के researchers संगठन की परवाह किए बिना सहयोग करते थे, और इससे AI का तेज़ विकास संभव हुआ। लेकिन OpenAI ने अपनी खोजों को उद्योग के साथ साझा न करने की संस्कृति फैलाई, जिससे पूरे क्षेत्र की प्रगति बाधित हो रही है।
• उम्मीद है कि ARC Prize प्रतियोगिता के ज़रिए researchers फिर से सक्रिय रूप से उपलब्धियाँ साझा करेंगे और उद्योग की प्रगति दोबारा तेज़ होगी।

[readiz]

लगता है कि o1 मॉडल 2 के करीब पहुंच गया है।

[seanlee10]

हाँ, मैं भी ऐसा ही सोचता हूँ।