ARC Prize: ओपन AGI के लिए ₹15 करोड़+ की प्रतियोगिता
(arcprize.org)- ARC Prize एक लगभग 10 लाख डॉलर ($1m) से अधिक की प्रतियोगिता है, जिसका लक्ष्य ऐसे प्रतिभागी हैं जो ARC-AGI evaluation को पार करें और अपना solution open source में जारी करें
- मूल चिंता यह है कि आधुनिक LLM, training data के high-dimensional patterns को आसपास के context में लागू करने वाले memorization engine जैसे हैं, और नई स्थितियों में नया reasoning पैदा नहीं कर पाते
- ARC-AGI का SOTA score 2019 में 20% था और अभी 34% पर ही है, जिससे पता चलता है कि इंसान और बच्चे जिन tasks को जल्दी सीख लेते हैं, वे आधुनिक AI के लिए अब भी कठिन हैं
- GPT-4 और Gemini technical reports द्वारा मुख्य details सार्वजनिक न करने से frontier AGI research बंद होती जा रही है, और आलोचना यह भी है कि LLM-केंद्रित investment ने नए architectures और algorithms पर research interest घटा दिया है
- ARC Prize की कोशिश है कि ज्यादा researchers खुले तौर पर AGI progress को measure करें, और ARC-AGI solve करने की प्रक्रिया में general intelligence के काम करने के तरीके के बारे में नई सीख मिले
ARC Prize की शर्तें
- ARC Prize open AGI development के लक्ष्य वाली 10 लाख डॉलर से अधिक की प्रतियोगिता है
- मुख्य शर्त ARC-AGI evaluation को पार करना और उसके solution को open source में जारी करना है
- आयोजक Mike Knoop और François Chollet हैं, और Infinite Monkey तथा Lab42 इसमें साथ हैं
Memorization और general intelligence की सीमा
- आधुनिक AI, खासकर LLM, training data में मौजूद high-dimensional patterns को याद रखने और उन्हें नजदीकी context में लागू करने में मजबूत हैं
- सतह पर दिखने वाली reasoning क्षमता भी reasoning patterns को याद करके समान context में लागू करने जैसी है, और चिंता यह है कि वे नई स्थितियों में नया reasoning generate नहीं कर पाते
- MMLU, GSM8K, ImageNet, GLUE जैसे memorization-आधारित benchmarks में अधिक training data के जरिए performance “खरीदी” जा सकती है
- General intelligence नई skills को कुशलता से acquire करने की क्षमता है, और केवल memorization से general intelligence तक पहुंचना कठिन है
- माना जाता है कि सिर्फ scale बढ़ाने से LLM के लिए नई skills सीखना कठिन है, और test time पर सीख सकने वाले नए architectures या algorithms की जरूरत है
Game AI ने generalization की सीमा दिखाई
- Poker, chess, Go आदि में इंसानों को हराने वाले AI systems काफी पहले से मौजूद हैं
- किसी एक game में सफल होने के लिए trained system को दूसरे game के लिए सीधे re-train नहीं किया जा सकता था, और researchers को हर game के लिए नया system फिर से design और build करना पड़ता था
- इस स्थिति को generalization failure के रूप में देखा जाता है
- यह क्षमता न हो तो AI loop में मौजूद इंसान की general intelligence से लगातार सीमित रहेगा
ARC-AGI क्या क्षमता measure करना चाहता है
- ARC-AGI, François Chollet के paper On the Measure of Intelligence में पेश किया गया evaluation है
- यह evaluation उन systems की general intelligence measure करना चाहता है जो नई skills को कुशलता से acquire करते हैं और नए, open-ended problems solve करते हैं
- 2019 में ARC-AGI का SOTA highest score 20% था, और अभी 34% है
- इंसान और बच्चे tasks को जल्दी सीख सकते हैं, लेकिन आधुनिक AI के लिए ARC-AGI अब भी बहुत कठिन है
- कई AI benchmarks memorization ability test करते हैं, इसलिए वे human-level performance पर जल्दी saturate हो जाते हैं
- ARC-AGI को memorization का विरोध करने के लिए design किया गया है, और यह सबसे बड़े foundation Transformer models तथा ARC-AGI के लिए specialized AI systems, दोनों के लिए कठिन evaluation बना हुआ है
- माना जाता है कि ARC-AGI solution, arbitrary prior knowledge sets से programs के perfect और stable generalization वाला नया programming paradigm खोल सकता है
बंद होती frontier AI research
- GPT-4 release के बाद frontier AGI progress को closed-source धारा में बदलता हुआ माना जा रहा है
- GPT-4 technical report में technical details नहीं थीं, और OpenAI ने पहला कारण “competition” बताया था
- Google की Gemini technical report में भी long context window से जुड़ी frontier innovations की technical details नहीं थीं
- LLM ने नए architectures और नए algorithms पर research interest का बड़ा हिस्सा अपनी ओर खींच लिया
- 2023 में non-general AI companies में 20 अरब डॉलर से अधिक लगाए गए, और DeepMind के कई frontier researchers को OpenAI से compete करने के लिए Gemini पर reassign किया गया
Transformer इतिहास सार्वजनिक research की भूमिका दिखाता है
- Transformer architecture machine translation research की धारा में कई studies के जमा होने से सामने आया
- 2014 में Sutskever आदि ने Google में RNN और CNN का उपयोग करते हुए Seq2Seq Learning प्रकाशित किया
- 2016 में Bahdanau आदि ने input के अलग-अलग हिस्सों को consider करके output predict करने के लिए attention concept को लोकप्रिय बनाया
- 2017 में Vaswani आदि ने Attention Is All You Need में RNN और CNN को हटाकर architecture optimize किया और नए scale expansion को संभव बनाया
- 2018 में Radford आदि ने Transformer architecture के ऊपर frontier scale पर GPT-2 बनाया और emergent capabilities दिखाईं
- यह प्रवाह दिखाता है कि अलग-अलग labs और teams के researchers अपने results सार्वजनिक करते हैं, और दूसरे researchers उन पर आगे निर्माण करते हैं—यही science की प्रक्रिया है
लक्ष्य और भागीदारी के रास्ते
- ARC Prize के तीन लक्ष्य हैं
- frontier AGI research में भाग लेने वालों की संख्या बढ़ाना
- AGI progress measure करने के लिए objective standard को लोकप्रिय बनाना
- ARC-AGI को solve करना और intelligence की nature के बारे में नई सीख हासिल करना
- Competition format और prize details ARC Prize 2024 पर देखे जा सकते हैं
- ARC-AGI solve करना शुरू करने का तरीका guide में देखा जा सकता है
- ARC-AGI general intelligence को कैसे measure करता है, यह ARC-AGI page पर देखा जा सकता है
- Progress और SOTA solutions के updates X/Twitter, YouTube, Email, Discord पर मिलते हैं
1 टिप्पणियां
Hacker News की रायें
मैं Simon Strandgaard हूँ और मैंने ARCathon 2022 में 3 और ARCathon 2023 में 8 टास्क हल किए थे
लोग ARC टास्क कैसे हल करते हैं, इसका डेटा इकट्ठा कर रहा हूँ, और अब तक 4100 interaction records जमा किए हैं (https://github.com/neoneye/ARC-Interactive-History-Dataset)
ARC-AGI के अलावा भी ARC जैसे datasets हैं, और आप उन्हें मेरे editor में आज़मा सकते हैं (https://neoneye.github.io/arc/)
interaction records को replay करने पर दिखता है कि हर व्यक्ति का approach अलग होता है। यह प्रति interaction 100ms पर replay किया गया है, असल में लोग इतनी तेज़ी से हल नहीं करते
https://www.youtube.com/watch?v=vQt7UZsYooQ
जब मैं ARC टास्क हाथ से हल करता हूँ, तो यह ऐसा दिखता है, और यह भी दिखता है कि यह काफ़ी धीमा है
https://www.youtube.com/watch?v=PRdFLRpC6dk
अजीब बात यह है कि किसी खास ARC टास्क के लिए solver implement करने का तरीका puzzle को हाथ से हल करने के तरीके से काफ़ी अलग होता है। हर तरह के edge cases संभालने पड़ते हैं
ARC Prize टीम को बहुत धन्यवाद
यह सच में शानदार है। François की इस intuition से सहमत हूँ कि मौजूदा बहुत ज़्यादा data खाने वाला training paradigm न तो अच्छी तरह generalize करता है और न ही sustainable है
इंसान को बिल्ली और कुत्ते में फर्क करने के लिए 10,000 examples की ज़रूरत नहीं होती, और आज computer ऐसा कर पाते हैं इसकी मुख्य वजह यह है कि उनके पास लाखों examples हैं
इसलिए knowledge को ऐसे ज़्यादा कठिन domains में transfer करना मुश्किल हो सकता है जहाँ data महँगा, दुर्लभ और synthesize करना कठिन हो
एक आलोचना करूँ तो, इस test का ज़्यादातर हिस्सा game theory के नज़रिए से complete information पर reasoning करता दिखता है। लेकिन हमारे सामने आने वाली कई ज़्यादा कठिन समस्याओं में hidden information होती है
Poker और negotiation, incomplete information वाली स्थितियों में problem solving के उदाहरण हैं, और social situations को सहजता से navigate करना भी hidden information से जुड़ी समस्याएँ मांगता है
इंसान जो सचमुच दिलचस्प काम कर सकता है उनमें से एक है game rules लेकर strategy बना देना। Go या chess को self-learn करने वाले algorithms हैं, लेकिन वही self-play algorithm hidden information वाले games पर काम नहीं करता
किसी general intelligence system में ऐसी स्थितियों के लिए general-purpose problem solver synthesize करने की क्षमता भी होनी चाहिए
10,000 तक न सही, लेकिन मुझे लगता है यह संख्या सैकड़ों, शायद हज़ारों के पैमाने की थी
बच्चे पूछकर confirm करते हैं कि उनका guess सही है या नहीं। 50 बार पढ़ी हुई किताब फिर से पढ़ते हुए भी वे तस्वीर में कुत्ते की ओर इशारा करके “कुत्ता?” पूछते हैं, और विकास का यह चरण काफ़ी लंबे समय तक चलता है
expected label और object match न करें तो वे नाराज़ भी हो जाते हैं। उदाहरण के लिए, मेरा बेटा तब सच में गुस्सा हो जाता है जब कोई रंग गलत बोलता है
छोटे बच्चों को जानबूझकर गलत नाम लगाने वाला खेल भी पसंद आता है। मछली की ओर इशारा करके “क्या शानदार llama है!” कहें तो बच्चा इतना मज़ा लेकर हँसता है कि लोटपोट हो जाता है
मानव मस्तिष्क का विकास बहुत धीमा है[1], और linear time की समझ भी काफ़ी देर तक मौजूद नहीं होती। तीन साल की उम्र में भी सब कुछ कल, आज या कल में से ही कोई एक होता है
बच्चे कई senses से information इकट्ठा करते हैं, दिन में 12–14 घंटे अविश्वसनीय गति से data collect करते हैं, फिर 10–12 घंटे आराम करके उस information को process करते हैं
[1] आप देख सकते हैं कि बच्चा पहले यह खोजता है कि उसका दायाँ पैर है, और कुछ दिन बाद उसे पता चलता है कि बायाँ पैर भी है। खड़ा होना सीखता बच्चा टेबल के नीचे सिर कुछ बार टकराने के बाद “मेरे ऊपर” की sense बनाता है। बच्चों का “जल्दी” सीखना ज़्यादा इस अर्थ में है कि कई सालों तक उनके पास इसके अलावा करने को कुछ नहीं होता
दूसरे शब्दों में, LLM बहुत कमजोर prior knowledge के साथ लगभग शुरुआत से pre-train होते हैं, लेकिन मानव मस्तिष्क में बेहद मजबूत prior knowledge पहले से loaded होता है
उदाहरण के लिए, अगर बस इतना बताया जाए कि “कुत्ते जानवरों को track करते हैं और लंबे समय तक पीछा करके उन्हें थका कर शिकार करते हैं, जबकि बिल्लियाँ मौके की ताक में रहती हैं और stealth व agility से हमला करती हैं,” तो जिसने कभी कुत्ता या बिल्ली न देखा हो, वह दोनों जानवरों को देखकर adaptation के रूपों के आधार पर शायद सही पहचान कर ले
AI के लिए यह एक दिलचस्प test हो सकता है, लेकिन इसे evaluation के रूप में कैसे structure किया जाए, यह मुझे ठीक से नहीं पता
ARC का विचार वाकई अच्छा है, लेकिन समस्याएं abstract reasoning की तुलना में spatial world knowledge बहुत ज़्यादा मांगती हुई लगती हैं
इनमें आकृतियों का एक-दूसरे पर overlap करना, एक-दूसरे को contain करना, टुकड़ों को काटकर फिर से जोड़ना, और नियमित geometric shapes से noise हटाना जैसी चीज़ें हैं
इन्हें “core knowledge” कहा जा सकता है, लेकिन मुझे ये “human visual processing के लिए intuitive चीज़ों” के ज्यादा करीब लगती हैं
क्या कोई बुद्धिमान लेकिन दृष्टिबाधित व्यक्ति इन समस्याओं को हल कर पाएगा?
हमें यह चिंता इसलिए नहीं है कि शायद 800 से ज्यादा examples चाहिए होंगे क्योंकि abstract reasoning बहुत कठिन है, बल्कि इसलिए कि ये समस्याएं ऐसी spatial knowledge मांगती हैं, जिसे एक बुद्धिमान इंसान 800 से कहीं ज्यादा training examples से सीखता है
अगर यह test उस domain का प्रतिनिधित्व करता है जिसमें इंसान AI से कहीं बेहतर हैं, तो यह उपयोगी test है। AI कई domains में इंसानों से स्पष्ट रूप से कम सक्षम है, फिर भी मौजूदा tests को अच्छी तरह पास कर रहा है, इसलिए ऐसे tests की और जरूरत है
Unlimited data पर pre-training की अनुमति होनी चाहिए। आसानी से उपलब्ध data से test tasks पर generalize करना ही तो इंसान करते हैं
अगर रंगों को tactile sensations में translate कर दिया जाए, तो मुझे पूरा भरोसा है कि दृष्टिबाधित लोग भी इसे हल कर सकते हैं। दृष्टिबाधित लोग भी spatial relationships समझते हैं
अगर AGI को कम-से-कम human-level के रूप में define करें, तो AGI को भी अधिक examples देखे बिना इतना तो हल कर ही पाना चाहिए
solution में किस तरह का knowledge या experience embed किया जा सकता है, इस पर कोई rule नहीं दिखता
project का लक्ष्य मुझे पसंद है। common sense बनाने की कोशिश करने वाले पुराने reasoning engines को देखना अच्छा रहेगा। Cyc और OpenMind इसके examples हैं
इस paper के section 2 में AGI goals की list भी मददगार हो सकती है
https://arxiv.org/pdf/2308.04445
brain function का overview पढ़ते समय यह भी दिखा कि कई regions hippocampus से जुड़े हैं। hippocampus शायद sensory-neutral concepts को store करने और external world का internal model या approximate model बनाने, दोनों काम कर सकता है
पहला काम कई senses के जरिए concepts को जोड़ने में मदद करता है, और दूसरा possibilities की कल्पना कर उनका मूल्यांकन करने और iterate करने के दौरान planning में मदद करता है
AGI में ऐसी hippocampus जैसी qualities और Cyc paper में बताई गई qualities होनी चाहिए, ऐसा लगता है। कौन-सी structure theoretically या छोटे scale पर ऐसा कर सकती है, यह test किया जा सकता है
उसे केवल एक तरह के sensory input से भी बंधा नहीं होना चाहिए। कम-से-कम दो तरह के inputs होने चाहिए, और उसे उन चीजों के आधार पर act कर पाना चाहिए जो केवल एक में हों या दोनों में हों
बच्चे भी visual-spatial data पर बहुत बड़ी मात्रा में unsupervised learning करते हैं। खेल के जरिए उन्हें reinforcement learning मिलती है और parents से supervised learning भी। realistic benchmark हो तो शायद इसी तरह GB-scale pre-training की जरूरत पड़ सकती है
उदाहरण के लिए, एक-दूसरे को contain करने वाली आकृतियों को देखें। अगर दो देश एक ही territory पर दावा करते हैं, तो मानो set X है जो Y को contain करता है और set Z है जो Y को contain करता है
अगर common overlap 3D हो और एक चीज़ दूसरी के ऊपर हो, तो इसे इस तरह बढ़ाया जा सकता है कि X में -Y शामिल है और Z में Y शामिल है। जैसे खड़े होने की जगह के आधार पर सिर्फ ऊपर वाली चीज़ दिखती है और दोनों नहीं दिख सकते, वैसे ही कहा जा सकता है कि X और Z एक साथ exist नहीं कर सकते। इसलिए अगर X है तो -Y है, और अगर Z है तो Y है
जब हम अपनी language को ध्यान से देखते हैं, तो पता चलता है कि पूरी तरह abstract चीजों को समझाने के लिए भी हम spatial relationships का कितना इस्तेमाल करते हैं। उदाहरण के लिए हम collapsing hegemonic economy कह सकते हैं, जिसमें एक-दूसरे के ऊपर जमा चीजें गायब होकर वहीं लौट जाती हैं जहां से वे आई थीं—ऐसा expression है
आखिरकार हम time और space में होने वाली चीजों के बारे में ही reason कर रहे होते हैं
और space, vision के समान नहीं है। दृष्टिबाधा होने पर भी spatially reason करना पड़ता है। क्योंकि तथ्यों का कोई भी set spacetime के भीतर के तथ्यों का set ही होता है
history समझने के लिए space में मौजूद लोगों, अलग-अलग दूरी पर रहने वाले लोगों, धरती के विभिन्न locations पर physical processes से goods का production और उनका physical exchange समझना पड़ता है
battle समझने के लिए यह समझना पड़ता है कि armies physically कैसे deployed हैं, supply movement कैसे काम करता है, weather conditions क्या हैं, weapons और उनके physical forms वास्तव में क्या संभव बनाते हैं
यहां तक कि artificial intelligence में सबसे बड़ी progress रहे LLM आखिर करते क्या हैं? tokens को multi-dimensional space में encode करते हैं
spatial relationships बस एक और logical relationship हैं, और AGI को relationships analyze करके problem हल करने वाला algorithm मौके पर ही generate कर पाना चाहिए
इंसानों में कई biases हो सकते हैं, इसका मतलब यह नहीं कि वे biases हर intelligence में inherent हैं
यह दावा कि यह टेस्ट इंसानों के लिए आसान है, थोड़ा संदिग्ध लगा, इसलिए मैंने थोड़ा खोजा। Melanie Mitchell, Chollet के थ्रेड में शामिल हुई थीं, और उन्होंने संबंधित टेस्ट ConceptARC पोस्ट किया था
उसमें यह सवाल उठाया गया है कि Chollet का टेस्ट सच में आसान है या नहीं। “AI रिसर्च में ARC के उपयोगी होने की एक सीमा यह है कि यह बहुत कठिन हो सकता है। Chollet के corpus में कई tasks इंसानों के लिए भी कठिन हैं, और पूरा corpus मशीनों के लिए इतना कठिन हो सकता है कि core knowledge acquisition में वास्तविक प्रगति दिखाई ही न दे”
ConceptARC को आसान बनाने के लिए design किया गया था, लेकिन अपने ही participants में से करीब 15% को इसलिए filter करना पड़ा कि वे “कम से कम दो tasks हल नहीं कर पाए, या खाली explanation/बेतुकी explanation दी”
इस filtering के बाद भी ConceptARC ने मुख्य प्रश्नों में इंसानों की failure rate लगभग 10–15% और पाई, यानी “AGI” को टेस्ट करने के लिए बनाए गए सरलतर प्रश्नों में भी 25–30% लोग उन्हें हल नहीं कर पाए
ConceptARC के मुख्य results में CG4, filtered humans से काफी कम निकला, और यह IQ=85 वाले [Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10... टेस्ट result से भी मेल खाता है
Chollet और Mitchell इंसानी groups को stratify करके IQ का अनुमान लगा सकते हैं, फिर Mensa measurements से तुलना कर सकते हैं, और देख सकते हैं कि उदाहरण के लिए Claude3@IQ=100, average human के ARC score से कैसे map होता है
[ConceptArc]https://arxiv.org/pdf/2305.07141
“इंसान underlying program का अनुमान लगा सके और नए test input examples के लिए सही test output बना सके; प्रति participant औसतन 84% tasks हल हुए”
या तो मैं अपनी सोच से कहीं ज्यादा बेवकूफ हूँ, या test validation बेहतर होना चाहिए
अगर उस बात को ज्यों का त्यों मानें, तो अगर मौजूदा models में से कोई भी average human के आधे score तक नहीं पहुंचता, तो यह साफ है कि यह test कोई महत्वपूर्ण फर्क measure कर रहा है
इस पर असहमति हो सकती है कि ARC problems, compose किए जा सकने वाले सभी abstract programs का representative sample हैं या नहीं, लेकिन ज्यादातर LLM भी आखिरकार human data पर ही train होते हैं
competition के उद्देश्य से मैं सहमत हूँ, लेकिन AGI race में पहले ही tens of billions of dollars invest हो चुके हैं और आगे इससे कहीं ज्यादा पैसा लगने वाला है, इसे देखते हुए 1 million dollar prize थोड़ा कम लगता है
AGI का impact कम से कम trillions में मापा जाएगा। अंततः reward AGI research को नहीं, बल्कि latest public LLM release को test parameters के हिसाब से सबसे अच्छी तरह fine-tune करने को मिल सकता है
public से communicate करने का platform भी बदलना बेहतर होगा। x.com links अब account बनाए बिना access नहीं किए जा सकते
इस prize का मुख्य लक्ष्य public awareness बढ़ाना है कि हम AGI के कितने करीब हैं, या फिलहाल कितने दूर हैं: https://arcprize.org/leaderboard
उम्मीद है कि यह समझ ज्यादा prospective AI researchers को नए ideas की research की ओर ले जाएगी
solve करने के लिए problem set के रूप में मुझे ARC बहुत पसंद है। data sparse है और लागू हो सकने वाले rules लगभग infinite हैं, इसलिए यह existing machine learning problem sets से कहीं ज्यादा कठिन हो जाता है
हालांकि मैं इससे सहमत नहीं हूँ कि यह problem AGI को represent करती है। यह existing machine learning success cases से अलग बस एक dataset है, और approaches कुल मिलाकर पहले जैसी ही हैं
सच में कोई नया breakthrough, यानी AGI, इस problem set को हल कर सकता है, लेकिन इस problem set को हल करना AGI का guaranteed indicator है, ऐसा मैं नहीं मानता
यह सच में दिलचस्प है और मुझे पसंद है, लेकिन करीब दर्जन भर examples देखकर मेरी intuition है कि यह problem कठिन तो है, पर इतनी आसान भी है कि popular होने पर एक साल के भीतर या उससे पहले human-level के करीब results आ सकते हैं, और फिर भी यह AGI तक नहीं पहुंचेगा
मुख्य बात लगता है सही operators वाली पर्याप्त general transformation technique language ढूंढना है। और इस language में किसी problem के सभी examples generate करने वाला information-theoretic sense में बहुत छोटा program खोजने के लिए heuristics चाहिए
अगर जल्द ही 34% result में बड़ा सुधार नहीं हुआ तो मुझे बहुत आश्चर्य होगा, और अगर यह general intelligence में transfer हो गया तो भी मुझे आश्चर्य होगा। खासकर जब मैं आज AI जिन topics के लिए इस्तेमाल करता हूँ और जहां यह अभी भी कम पड़ता है, उन्हें सोचता हूँ
मूल रूप से मेरी intuition है कि यह AI में एक और chess या Go जैसी problem बनेगी। फिर भी research topic के रूप में इसका मूल्य निश्चित रूप से है, और इससे निकल सकने वाली value 1 million dollars से काफी ज्यादा हो सकती है
मुझे नहीं लगता कि इस task में अच्छा करना असली AGI का कोई सबूत है। उदाहरण के लिए, नई mathematical proof लिखना, ऐसा insightful सवाल पूछना जिसके बारे में किसी ने सोचा न हो, self-learning को खुद direct करना, और अपना source code पढ़ पाने जैसी क्षमताओं से यह अलग है
“AGI को मापने वाला एकमात्र evaluation” कहना अतिशयोक्ति है। यह बस ऐसी समस्याएँ हैं जो LLM नहीं कर पाते, इसका मतलब यह नहीं कि यह artificial general intelligence का अच्छा पैमाना है
कुछ समस्याएँ हल करके देखने के बाद मुझे जिज्ञासा हुई कि problem generator में कितने अलग-अलग transformation rules होंगे। बहुत ज़्यादा नहीं लगते
इसलिए समस्या को इस तरह बाँटा जा सकता है: data से transformation rules का set निकालना और फिर उसे नई problem पर लागू करना
पहला हिस्सा कठिन है और feature extraction की समस्या है। transformations लगता है सख्ती से लागू होते हैं, इसलिए transformation rules मिल जाएँ और सभी input examples से मेल खाने वाला rule चुन लिया जाए, तो application अपने-आप सरल होना चाहिए
LLM जिस तरह feature extraction और usage को मिलाकर करते हैं, उसके बजाय explicit feature extraction की ज़रूरत लगती है। क्या किसी ने test cases से rules का set extract करके देखा है?
मूल Kaggle competition के कुछ top solutions ने ऐसे transformations से बनी domain-specific language का इस्तेमाल किया था। वह 4 साल पहले की बात है। [1]
उस रास्ते की दिक्कत यह है कि tasks program generator का इस्तेमाल नहीं करते। rule set कुछ भी हो सकता है जो इंसान सोच सके। यह “सबसे बड़ा object blue हो जाता है” जैसा सरल हो सकता है, लेकिन कहीं ज़्यादा जटिल भी हो सकता है
ऊपर से test set private है, इसलिए उस पर train या extract नहीं किया जा सकता। उसमें ऐसे rules भी हैं जो public set में नहीं हैं
[1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
François Chollet का original paper बेहद insightful है, और यह बात मुझे हमेशा हैरान करती है कि इस पर ज़्यादा लोग बात नहीं करते
इसका कुछ हिस्सा काफी technical है, लेकिन high level पर “general intelligence का मतलब क्या है?” इस सवाल का मैंने जो सबसे अच्छा जवाब देखा है, वही है
दुनिया के बारे में explicit और implicit prior knowledge को ध्यान में रखने के बाद intelligence को learning efficiency के रूप में define करें, तो यह समझना कहीं आसान हो जाता है कि human intelligence इतनी प्रभावशाली क्यों है
Dwarkesh ने अभी-अभी François Chollet के साथ interview publish किया है। वह original post के लेखक के partner हैं
मैंने अभी सिर्फ कुछ मिनट सुने हैं, लेकिन LLM की limitations पर उनके विचार और सुनने में मेरी काफी दिलचस्पी है
https://youtu.be/UakqL6Pj9xo