ARC पुरस्कार – ओपन AGI प्रगति के लिए 10 लाख डॉलर से अधिक की प्रतियोगिता

 (arcprize.org)
1 पॉइंट द्वारा GN⁺ 2024-06-12 | 1 टिप्पणियां | WhatsApp पर शेयर करें

AGI की प्रगति रुक गई है। नए आइडिया की ज़रूरत है

ARC Prize की घोषणा

  • ARC Prize: ओपन AGI प्रगति के लिए 10 लाख डॉलर से अधिक की पुरस्कार प्रतियोगिता
  • लक्ष्य: नए आइडिया के ज़रिए AGI प्रगति को तेज़ करना और ARC-AGI मूल्यांकन को हल करना

बुद्धिमत्ता बनाम रटकर याद करना

  • आधुनिक AI: मुख्य रूप से उच्च-आयामी पैटर्न को याद करके उन्हें मिलती-जुलती परिस्थितियों में लागू करता है
  • समस्या: नई परिस्थितियों में नया तर्क पैदा नहीं कर पाता
  • सामान्य बुद्धिमत्ता: नए कौशल को कुशलता से हासिल करने की क्षमता
  • ज़रूरत: नई architecture या algorithm की आवश्यकता है

LLM की सीमाएँ

  • मौजूदा AI सिस्टम: किसी खास गेम में इंसानों को हरा सकते हैं, लेकिन दूसरे गेम में स्विच नहीं कर पाते
  • generalization की विफलता: AI नई परिस्थितियों के मुताबिक खुद को ढाल नहीं पाता

ARC-AGI

  • परिचय: François Chollet के पेपर "On the Measure of Intelligence" में प्रस्तुत
  • लक्ष्य: ऐसे सिस्टम का मूल्यांकन करना जो नए कौशल कुशलता से सीख सकें और नई समस्याएँ हल कर सकें
  • मौजूदा स्थिति: इंसान 85%~100% स्कोर करते हैं, जबकि AI केवल 34% तक पहुँचता है

ओपन सोर्स AGI प्रगति

  • समस्या: GPT-4 के बाद AGI रिसर्च अधिक बंद स्वरूप की हो गई है
  • इतिहास: LLM का विकास कई शोधकर्ताओं के सहयोग का परिणाम रहा है
  • ज़रूरत: नए आइडिया को बढ़ावा देने के लिए open source ज़रूरी है

ARC Prize के लक्ष्य

  • रिसर्च भागीदारी बढ़ाना: AGI रिसर्च में भाग लेने वाले लोगों की संख्या बढ़ाना
  • AGI प्रगति का मापन: AGI प्रगति को वस्तुनिष्ठ रूप से मापने के तरीकों को लोकप्रिय बनाना
  • ARC-AGI हल करना: ARC-AGI मूल्यांकन को हल करना और बुद्धिमत्ता की प्रकृति के बारे में कुछ नया सीखना

शुरुआत करें

  • भाग लेने का तरीका: कोई भी भाग ले सकता है, नए आइडिया कहीं से भी आ सकते हैं
  • जानकारी: ARC Prize 2024 के फ़ॉर्मैट और पुरस्कार विवरण उपलब्ध कराए जाते हैं

GN⁺ की राय

  • ओपन सोर्स का महत्व: open source नवाचार को बढ़ावा देने और छोटी AI कंपनियों व बड़ी AI कंपनियों के बीच की खाई कम करने में महत्वपूर्ण है
  • नए आइडिया की ज़रूरत: मौजूदा AI रिसर्च में नए आइडिया की कमी है, और यह AGI प्रगति को धीमा करती है
  • नियमन की समस्या: गलत धारणाओं के कारण AI रिसर्च पर नियमन कड़ा हो सकता है
  • प्रतियोगिता के फ़ायदे: ARC Prize जैसी प्रतियोगिताएँ शोधकर्ताओं को प्रेरित कर सकती हैं और नए आइडिया को बढ़ावा दे सकती हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-06-12
Hacker News टिप्पणियाँ

  • Simon Strandgaard ने ARCathon 2022 और 2023 में भाग लिया और क्रमशः 3 और 8 कार्य हल किए। वे इस बात का डेटा इकट्ठा कर रहे हैं कि इंसान ARC कार्यों को कैसे हल करते हैं, और अब तक 4100 interaction records जुटा चुके हैं। वे विभिन्न ARC-जैसे datasets भी उपलब्ध करा रहे हैं.

  • यह राय कि मौजूदा data-centric learning paradigm generalize नहीं करता और sustainable नहीं है। इंसान हजारों examples के बिना भी बिल्ली और कुत्ते में फर्क कर सकते हैं, लेकिन कंप्यूटर को लाखों examples चाहिए होते हैं। जिन क्षेत्रों में data दुर्लभ है, वहाँ knowledge transfer मुश्किल हो सकता है.

  • ARC समस्याओं के लिए काफी spatial world knowledge की ज़रूरत होती है, और abstract reasoning की तुलना में इनमें ऐसे तत्व अधिक हैं जो मानव visual processing के लिए intuitive हैं। Visual pattern recognition की महत्वपूर्ण भूमिका है.

  • यह दावा कि ARC test इंसानों के लिए भी कठिन है। ConceptARC test में 25-30% इंसान साधारण सवाल हल नहीं कर पाते। इससे ARC की उपयोगिता सीमित हो सकती है.

  • यह जिज्ञासा कि क्या प्रतियोगिता के unrestricted version के लिए leaderboard है। वे GPT-4 का प्रदर्शन देखना चाहते हैं.

  • यह राय कि AGI research के लिए 10 लाख डॉलर का इनाम बहुत कम है। AGI का प्रभाव कम से कम खरबों डॉलर में मापा जाएगा, और मौजूदा इनाम शायद सिर्फ नवीनतम public LLM release को fine-tune करने तक सीमित रह जाए.

  • यह राय कि किसी खास puzzle के लिए कई valid answers हो सकते हैं। उदाहरण में अपेक्षित दूरी को ठीक-ठीक जानना संभव नहीं है.

  • यह राय कि ARC tasks का लक्ष्य visual pattern recognition है, लेकिन यही intelligence की एकमात्र परिभाषा नहीं हो सकती। Human-AI collaborative intelligence महत्वपूर्ण है, और समस्या को multi-attribute goal optimization के रूप में पुनर्गठित किया जाना चाहिए.

  • François Chollet का paper बेहद insightful है और general intelligence की परिभाषा पर सबसे अच्छा उत्तर देता है। Learning efficiency के आधार पर intelligence को परिभाषित करना यह समझने में मदद करता है कि मानव बुद्धिमत्ता इतनी प्रभावशाली क्यों है.

  • यह राय कि ARC problem set मौजूदा ML problem sets की तुलना में कहीं अधिक कठिन है, लेकिन AGI का प्रतिनिधित्व नहीं करता। यह सिर्फ एक नया dataset है, जबकि approach मौजूदा तरीकों जैसी ही है। AGI इस समस्या को हल कर सकता है, लेकिन समस्या हल कर लेना AGI की गारंटी देने वाला metric नहीं है.