AGI मूल्यांकन प्रक्रिया और विजेताओं के चयन में सामने आई असंगतियाँ

 (kaggle.com)
1 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Kaggle·Google DeepMind के AGI benchmark hackathon के नतीजे घोषित होने के बाद, प्रतिभागियों ने 1st place MEDLEY-BENCH की score calculation और reproducibility समस्याओं को आधार बनाकर judging process सार्वजनिक करने और पुनर्समीक्षा की मांग की
  • MEDLEY-BENCH ने निष्कर्ष निकाला कि model size बढ़ने पर सिर्फ़ ‘evaluation’ सुधरता है और ‘control’ ठहर जाता है, लेकिन आलोचकों ने पलटकर कहा कि दोनों metrics लगभग साथ-साथ बढ़ते हैं और base measurements में भी ρ=0.79~0.94 का उच्च correlation दिखता है
  • Code review में बिना justification या ablation study के 33 manual weights, सत्यापित न किए गए 30 LLM judging criteria, low confidence को उलटा मानने वाली logic, और अलग-अलग claims को एक ही ID देकर जोड़ने वाला data generation तरीका सामने आया
  • MEDLEY-BENCH·GAUGE·Metaproteus में execution trace के बिना सिर्फ़ single score देखा जा सकता है, और LearningBench भी इतना जटिल है कि individual case verify करने में घंटों लग सकते हैं; इसलिए प्रतिभागियों ने पूरे leaderboard और criterion-wise evaluation results की मांग की
  • Kaggle ने जवाब दिया कि लगभग 20 human judges ने सभी विजेता entries का कम-से-कम 2 लोगों द्वारा, और कुछ का 3~4 लोगों द्वारा स्वतंत्र मूल्यांकन किया, तथा judging period भी 1.5 महीने से बढ़ाकर 3 महीने किया गया; लेकिन entry-wise scores और detailed selection process सार्वजनिक नहीं किया

हैकाथॉन की संरचना और विजेता परिणाम

  • Kaggle और Google DeepMind ने rote reproduction से आगे बढ़कर frontier models की reasoning·action·judgment का मूल्यांकन करने के लिए Measuring Progress Toward AGI: Cognitive Abilities hackathon संयुक्त रूप से आयोजित किया
    • 5 cognitive tracks में 1,000 से अधिक teams ने benchmarks जमा किए
    • 4 grand prizes में से प्रत्येक के लिए $25,000, और 10 track winners में से प्रत्येक के लिए $10,000 निर्धारित किए गए

4 grand prize विजेता

  • MEDLEY-BENCH यह जाँचता है कि social pressure के तहत model अपनी uncertainty को पहचानता है या नहीं, गलत pressure के सामने अपनी मौजूदा मान्यता बनाए रखता है या नहीं, और वैध counterevidence मिलने पर अपनी मान्यता संशोधित करता है या नहीं
  • LearningBench pretraining knowledge नहीं, बल्कि एक ही conversation के भीतर पहली बार देखे गए text-based system के rules सीखने वाली inference-time learning को मापता है
  • GAUGE problem difficulty prediction, confidence के साथ solving, और game-theoretic reward के आधार पर submission या abstention तक पहुँचने वाली 3-stage metacognitive staircase का उपयोग करता है
    • एक frontier model ने 270 items में accuracy और calibration दोनों में सबसे अच्छा प्रदर्शन किया, लेकिन उसने एक बार भी abstain नहीं किया, जिससे दिखा कि monitoring ability और behavioral control अलग हो सकते हैं
  • Metaproteus world knowledge नहीं, बल्कि यह मापता है कि model अपने output distribution और sampling tendencies को कितना जानता है
    • Word association outputs बनाने के बाद, model का एक नया instance अपनी ही responses का अनुमान लगाता है, और confidently दिए गए outputs को कम आँकने वाली विफलता तथा जो शब्द वह बनाता ही नहीं उन्हें भी ज़्यादा approve करने वाली विफलता में अंतर करता है

5 cognitive track विजेता

  • Executive function

    • Turn Bench जानबूझकर सरल rules वाले turn-based game के माध्यम से planning·execution·working memory·inhibition·adaptive flexibility को अलग-अलग मापता है
    • यह परस्पर विरोधी demands वाले variant games के ज़रिये वास्तविक cognitive flexibility और किसी खास स्थिति पर संयोग से फिट बैठने वाले behavioral defaults में फर्क करता है
    • यह executive function को model size के साथ साथ बढ़ने वाली single ability नहीं, बल्कि context-dependent profile के रूप में देखता है
    • SecureExec-Bench incident response और credential handling जैसे security-sensitive environments में मापता है कि model adversarial manipulation झेलते हुए security procedures बनाए रख सकता है या नहीं

  • Learning

    • GrammarGym cognitive psychology की artificial grammar learning पर आधारित है और यह परखता है कि model meaning से अलग नई synthetic rules हासिल कर सकता है या नहीं
    • चूँकि grammar हर बार नई बनाई जाती है, इसलिए memorized knowledge पर निर्भर हुए बिना learning ability को परखा जा सकता है
    • EphLangBench हर session में keywords·operators·infix·prefix·postfix notation को randomize करके एक programming language बनाता है
    • Model सिर्फ़ in-context specification पढ़कर नई grammar सीखता है, algorithmic problems हल करता है, और कई turns में compiler feedback के आधार पर errors सुधारता है
    • 10 models और 200 problems में pass rate 7~89% तक फैला, जो HumanEval की तुलना में कहीं बड़ा performance gap दिखाता है

  • Metacognition

    • ESFP Benchmark यह मापता है कि model expert opinion convey करने वाले रवैये और खुद reasoning करने वाले रवैये के बीच switch कर सकता है या नहीं
    • अलग-अलग models में ‘tool’ और ‘agent’ mode switching की क्षमता बहुत भिन्न थी, और instruction tuning मॉडल्स को autonomous self-expression दबाकर tool role की ओर ले जाती है
    • Metacognitive Calibration Benchmark सीमित clinical assessment-style information के आधार पर hypothesis बनाना, evidence और speculation में फर्क करना, और जानकारी कम होने पर अतिरिक्त जानकारी की ज़रूरत पहचानना—इन सबको साथ में परखता है

  • Social cognition

    • HedgeDecode यह मापता है कि model euphemistic या face-saving तरीके से अप्रत्यक्ष रूप से व्यक्त इरादों को समझता है या नहीं, और user की protective phrasing को उजागर किए बिना socially appropriate प्रतिक्रिया देता है या नहीं
    • AdvisorBench यह परखता है कि कम literacy style में संवाद करने वाले users को AI कम गुणवत्ता वाली सलाह देता है या नहीं
    • यह मापता है कि सलाह की quality·depth·actionability communication style के अनुसार घटती है या नहीं

  • Attention

    • RIAC अलग से मापता है कि साफ़ sentences से values निकालने वाला model repeated distractor tokens से घिरने पर विफल हो जाता है—यानी repetition-induced attentional collapse
    • ABC text और visual दोनों में interference के तहत selective attention का मूल्यांकन करता है, और feature-sensitive attention तथा Gestalt psychology-आधारित structure-sensitive attention में फर्क करता है
    • 15 models और 2,160 cases की जाँच में पाया गया कि explicit local features सही पहचानने वाले models भी सही group·region·structural unit पहचानने की ज़रूरत पड़ने पर विफल हो सकते हैं

MEDLEY-BENCH के परिणामों की व्याख्या पर विवाद

  • Thomas Werkmeister ने आलोचना की कि grand prize winner MEDLEY-BENCH announced judging criteria—quality·defensibility·clarity·novelty—को पूरा नहीं करता
  • Kaggle Benchmarks SDK के model comparison screen में सिर्फ़ single score दिखता है, इसलिए data collection process या conversation execution traces की जाँच करना कठिन है
  • पहले परिणाम की व्याख्या यह है कि model size बढ़ने पर orange ‘evaluation’ metric बढ़ता है जबकि blue ‘control’ metric flat रहता है, लेकिन आलोचकों का कहना है कि दोनों lines और बाकी measurements एक ही trend दिखाती हैं
    • Gemma series में तो graph के आधार पर control, evaluation से अधिक सुधरता हुआ भी दिखता है—ऐसी आपत्ति भी उठी
    • supplementary paper base measurements के बीच ρ=0.79~0.94 correlation रिपोर्ट करता है
  • MEDLEY-BENCH ने निष्कर्ष निकाला कि standard LLM training, control की तुलना में evaluation ability को प्राथमिकता देती है, लेकिन दूसरे हिस्से में evaluation को 4 base abilities में अपेक्षाकृत सबसे कमजोर ability की तरह पेश किया गया, जिस पर internal contradiction की आलोचना हुई
  • अगर चारों abilities लगभग साथ चलती हैं, तो यह भी अस्पष्ट है कि क्या वे वास्तव में अलग-अलग abilities को अलग माप रही हैं

Score calculation और data generation की समस्याएँ

  • अतिरिक्त code review में पता चला कि score combination में कुल 33 manual weights इस्तेमाल हुए
    • T1·T2·T3 calculation में 24, T2 के private-vs-social delta calculation में 8, और MMS balance factor aggregation में 1 weight उपयोग हुआ
    • हर weight के लिए न तो justification दिया गया, न ablation study
  • T3 में 10 LLM judging categories के लिए 3-3 करके कुल 30 one-line cognitive criteria इस्तेमाल हुए, लेकिन यह जाँचा नहीं गया कि वे intended abilities को वास्तव में पकड़ते हैं या नहीं
  • Prompt low confidence को उस claim के विरोध के रूप में treat करता है
    • आलोचकों का कहना है कि कोई claim अस्थायी रूप से सही लगने पर भी उस पर low confidence हो सकता है, और विरोध करना, उसके उलटे proposition पर confidence रखने जैसा नहीं है
  • क्योंकि हर model अपने-आप claim 1~5 लिखता है, इसलिए एक ही case और एक ही claim ID होने पर भी claim_text अलग हो जाने की समस्या पाई गई
    • KA_CR_001 के C4 में SQL injection, internal auth और VPN, allowlist की case handling, और future maintenance risk जैसी अलग-अलग बातें assign थीं
    • कुछ models में claim_text null था या उन्होंने 5 से कम claims बनाए
  • अलग-अलग claims की confidence को एक ही ID पर जोड़कर median confidence, majority stance, और stance distribution बनाया गया, फिर उसे Step B Social prompt में भेजा गया
    • इसके बाद model अपनी शुरुआती 1~5 claims से अलग सामग्री वाले दूसरे models के विचार पाकर अपनी मूल claims संशोधित करता है
    • उसके बाद manual weights और LLM judging लागू होने से अंतिम metric की validity पर भरोसा करना कठिन है—ऐसी आलोचना सामने आई
  • आलोचकों का मानना है कि छोटे units पर validate करते हुए scale up करना चाहिए था, और 30 LLM judging criteria में से सिर्फ़ एक को भी गहराई से जाँचा जाता, तो उपयोगी परिणाम मिल सकते थे

Reproducibility और judging transparency की मांग

  • प्रतिभागियों के लिए विजेता entries के दावों को सीधे verify करने के लिए सार्वजनिक सामग्री पर्याप्त नहीं है
    • MEDLEY-BENCH का REPRODUCING.md repository में मौजूद न होने वाले results/ folder की ओर इशारा करता है, इसलिए code और JSON को reverse-trace करके result generation process समझनी पड़ती है
    • LearningBench grand prize entries में SDK उपयोग के लिहाज़ से सबसे बेहतर है, लेकिन gated_dual_signal_binding_assoc_learning जैसे किसी एक game case को इंसान द्वारा verify करने में घंटों लग सकते हैं
    • GAUGE ने लगभग 200 cases उपयोग करने की बात कही, लेकिन benchmark screen पर सिर्फ़ एक single run दिखता है
    • Metaproteus में भी benchmark page पर सिर्फ़ single score है, इसलिए word elicitation और measurement method तुरंत जाँचना मुश्किल है
  • 1,000 से अधिक teams अपनी कमियाँ समझ सकें, इसके लिए निम्न सामग्री सार्वजनिक करने की मांग जारी रही
    • सभी submissions का score leaderboard
    • कम-से-कम winners के evaluation scores
    • वास्तविक judging में महत्वपूर्ण रूप से लागू किए गए factors
    • criterion-wise scores और submission-wise feedback
    • tie handling और technical disqualification जैसे pre-eligibility filters
  • एक प्रतिभागी द्वारा उद्धृत official evaluation weights के अनुसार dataset quality और task design 50%, writing quality 20%, और novelty·insight·discriminative power 30% थे
  • ATLAS submission के लेखक ने कहा कि उनके पास 540 games, 6 learning types, 3 difficulty levels, programmatic answer keys, और failure-mode diagnostics थे; उन्होंने पूछा कि किन detailed criteria में उनकी entry, winner entries से कम आँकी गई
    • उन्होंने सवाल उठाया कि क्या artificial grammar और one-off language जैसे paradigms की novelty को discriminative power से ज़्यादा महत्व दिया गया
    • उन्होंने यह भी सार्वजनिक करने की मांग की कि staff-only model runs सिर्फ़ technical verification के लिए थे या final judging में भी शामिल किए गए
  • Staff model runs की जाँच करने वाले एक प्रतिभागी ने 5 tracks के benchmark links 680 में से Claude Fable 5 या OpenAI o3 runs दिखने वाले items की संख्या 30 बताई
    • यह जाँच agent AI से लिखी गई थी, और model runs का judging purpose होना प्रतिभागी का inference था

Evaluation scope और physical intelligence

  • एक अन्य प्रतिभागी का मानना था कि विजेता entries मुख्यतः inference-time learning, metacognition, executive function, attention, और social reasoning को text·game-theoretic·procedural generation environments में मापती हैं
  • उनका आकलन था कि force vector·torque·biomechanics·kinematics·material properties या real-world physical execution traces से निकलने वाले causal relations से जुड़ी physical intelligence benchmark विजेता entries में ढूँढना कठिन है
  • उन्होंने भविष्य में motion·force·biomechanics·material interaction·real-world sensor information को स्वीकार करने वाली dedicated multimodal evaluation pipeline बनाने का प्रस्ताव रखा
  • यह मांग भी उठी कि “reasoning, acting, and judging” जैसी व्यापक AGI अभिव्यक्ति को वास्तविक 5 cognitive tracks और prompt-response-केंद्रित evaluation structure की scope के साथ मेल कराया जाए

Kaggle का जवाब और बचे हुए मुद्दे

  • Kaggle ने बताया कि यह hackathon Google DeepMind के साथ संयुक्त रूप से आयोजित किया गया था और दोनों संगठनों से लगभग 20 judges शामिल थे
  • Hackathon 16 अप्रैल को समाप्त हुआ था, और मूल योजना के अनुसार 31 मई तक 1.5 महीने judging होनी थी, लेकिन इसे 13 जुलाई तक अतिरिक्त 1.5 महीने बढ़ाया गया
  • सभी विजेता entries की समीक्षा कम-से-कम 2 human judges ने की, और कुछ का 3~4 लोगों ने evaluation criteria के अनुसार स्वतंत्र रूप से scoring किया
  • Kaggle का कहना है कि qualitative submissions का मूल्यांकन करने वाले hackathon में human subjectivity मौजूद रहती है, लेकिन कई independent judges के कारण bias की संभावना कम हुई
  • उसने स्पष्ट किया कि judging को लापरवाही से LLM पर नहीं छोड़ा गया था, लेकिन मांगे गए full leaderboard, criterion-wise scores, और individual judging records जवाब में शामिल नहीं थे

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News की राय

  • AI उपयोगी है, लेकिन बहुत से लोग सोचने का काम पूरी तरह उसे सौंपकर उसके जवाबों को आँख मूंदकर मान लेते हैं
    Kaggle ने भी submissions के मूल्यांकन में AI का इस्तेमाल करते हुए बिना सामान्य समझ वाली जाँच के नतीजों को स्वीकार कर लिया होगा, ऐसा काफ़ी संभव लगता है

    • सोचने का काम outsource करने की जड़ में "तेज़ी से आगे बढ़ो" वाला दबाव भी बड़ा कारण है
      पूंजी तुरंत नतीजे चाहती है, इसलिए पढ़ने, समझने और सोचने का समय नहीं दिया जाता
    • मैं टीम को AI/LLM का उपयोग करके उसकी संभावनाएँ और सीमाएँ समझने के लिए कहता हूँ, लेकिन 20 items में से आधे बेतुकी AI-generated user stories की समीक्षा करते-करते थक गया हूँ
      LLM Mr. Meeseeks जैसा उपयोगी tool है, भगवान नहीं, इसलिए उसके output को कम से कम एक बार देख तो लेना चाहिए
    • यह भी संभव है कि prompt injection का इस्तेमाल करके AI से खुद को विजेता घोषित कराया गया हो
    • अगर आप मनचाहा जवाब माँगें तो वह वही दे देता है, इसलिए जब किसी क्षेत्र की लगभग कोई समझ न हो तो AI का इस्तेमाल आसान लगता है
      उल्टा, अगर आप उस क्षेत्र को अच्छी तरह जानते हों तो खराब और गलत जवाब तुरंत दिखने लगते हैं; यही Gell-Mann AI effect का काम करना है
    • लोग पहले से ही सोचने का काम TV reporters, धर्म, राजनीतिक दलों वगैरह को सौंपना पसंद करते रहे हैं, और उसके मुकाबले AI को सौंपना बेहतर लगता है

  • पक्का नहीं कि बात इसी प्रतियोगिता की है, लेकिन लगता है AI ने fair hackathon को लगभग खत्म कर दिया है
    ऊपर से सब ठीक दिखता है, लेकिन हर project का code AI बनाता है, AI ही जज करता है, और जिस project में prompt injection करके खुद को winner कहा गया हो वह सच में जीत भी जाता है
    पहले यह इंसानी skills की प्रतिस्पर्धा थी, अब यह ideas की प्रतिस्पर्धा बन गई है, और अंत में insider ही ज़्यादा जीतते हैं

    • hackathon तो AI से पहले भी unfair थे। यह बात https://news.ycombinator.com/item?id=48468766 में भी देखी जा सकती है
      समाधान है बिना prize money वाले hackathon आयोजित करना और उनमें भाग लेना। मकसद जीतना नहीं, बल्कि कुछ शानदार बनाना, पेश करना और मज़ा लेना होना चाहिए
      बल्कि AI की वजह से तेज़ prototyping संभव हुई है, इसलिए hackathon बेहतर भी हो सकते हैं
    • मैं वह ठोस उदाहरण देखना चाहूँगा जिसमें किसी project ने खुद को winner घोषित करने के लिए prompt injection किया और सच में जीत गया
    • अच्छा लगता है कि मैं hackathon में नहीं फँसा; मैं अपनी निजी making activity को competition के मकसद से बाँधना नहीं चाहता
      नौकरी में मुझे पसंद का काम करके पैसे मिलते हैं, लेकिन अब हाल में मुझसे वही काम computer से करवाने को कहा जा रहा है
    • कम से कम वास्तविक prize money वाले hackathon तो बहुत पहले ही मर चुके हैं
    • खुद को winner घोषित कराने के लिए prompt injection का विचार चतुर है, लेकिन यह बहुत हतोत्साहित करने वाली हकीकत है
      अच्छा होता अगर manual hackathon और AI hackathon अलग-अलग होते, लेकिन games की तरह cheating मज़ा बिगाड़ देती है

  • AI submissions और AI judges सुनने में AI स्वर्ग में बनी आदर्श जोड़ी जैसे लगते हैं

    • Slavoj Žižek के अंदाज़ में कहें तो यह वैसा है जैसे dildo को masturbation machine में लगाकर हमारी जगह उसे sex करने देना
    • AI द्वारा लिखा गया PR अगर AI ही review करे, तो वह भी यही स्थिति है

  • लोग Kaggle के शुरुआती दिनों से ही brute-force तरीके से प्रतियोगिताएँ जीतते आए हैं, और उतने ही समय से इसकी शिकायत भी करते आए हैं
    machine learning मूल रूप से automatic feature selection और hyperparameter tuning के ज़रिए computer से model बनवाने का क्षेत्र है, और Kaggle के ज़्यादातर models पहले से ही black box थे
    Netflix Prize का winning model भी इसी वजह से असली service में इस्तेमाल नहीं हुआ, इसलिए LLM से black-box code बनवाना पुरानी प्रथा से बहुत अलग नहीं है

  • मुझे लगा था Kaggle बस संदिग्ध CSV files डाउनलोड करने की site है, जैसे Bolivia की सालाना bean consumption
    पता नहीं वह कभी original research या साफ़ स्रोत वाले data देने वाली कोई authoritative जगह रही भी है या नहीं; इस बार बस 25,000 dollars की prize राशि अलग दिखती है

  • मैं Nick हूँ, Kaggle Benchmarks का product manager, और इस AGI hackathon का co-host और judge भी
    यह प्रतियोगिता Kaggle और Google DeepMind ने मिलकर आयोजित की थी, दोनों पक्षों से लगभग 20 लोगों ने जजिंग की, और 16 अप्रैल को समाप्ति के बाद मूल योजना 31 मई तक 1.5 महीने में समीक्षा पूरी करने की थी, लेकिन प्रतिभागियों का सही मूल्यांकन करने के लिए इसे 13 जुलाई तक और 1.5 महीने बढ़ाया गया
    सभी winning entries की कम से कम 2 लोगों ने, और कुछ की 3-4 human judges ने, page पर प्रकाशित rubric के आधार पर स्वतंत्र रूप से समीक्षा और scoring की
    qualitative submissions की जजिंग में human subjectivity ज़रूर आती है, लेकिन objective criteria और कई independent reviews से bias कम करने की कोशिश की गई; नतीजों पर असहमति हो सकती है, पर जजिंग लापरवाही से LLM को नहीं सौंपी गई थी

    • मूल लेखक द्वारा दिया गया objective evidence किसी neutral observer को काफ़ी निर्णायक लगता है; फिर इसका सीधा जवाब क्यों नहीं दिया जा रहा, यह सवाल है
    • यह कैसे verify किया गया कि सभी winning entries को सच में human judges ने देखा था?
      नतीजे उस व्याख्या से अलग दिखाई देते हैं

  • Kaggle के लिए यह एक अच्छी meta lesson होनी चाहिए
    objective metrics की ओर hill-climbing optimization करने में AI बहुत अच्छा है, लेकिन लापरवाही से LLM को judge की तरह rely करने पर नतीजे अच्छे नहीं आते

    • Kaggle के winning solutions बहुत कम ही ऐसे होते हैं जो किसी team द्वारा लंबे समय तक चलाए जा सकने वाले engineering solutions बनें
      objective target पर model performance को maximize करना पूरे problem का सिर्फ़ एक छोटा हिस्सा है

  • इधर-उधर लगी टिप्पणियों को देखें तो “तो फिर इसकी जगह किसे जीतना चाहिए था?” यह सवाल वाजिब है
    हो सकता है कि सभी submissions एक जैसी रही हों, या दूसरी submissions इससे भी खराब रही हों, इसलिए runner-up और अच्छे submissions को जानना ज़रूरी है ताकि अगर धोखाधड़ी या कर्तव्य-लापरवाही साबित हो जाए तो पुरस्कार रद्द करके किसी और प्रतिभागी को दिया जा सके
    यह भी संभव है कि त्रुटियाँ और अतिशयोक्ति AI-generated output नहीं बल्कि इंसानी गलती रही हों; अगर ऐसा है, तो निंदा की तीव्रता कुछ कम हो सकती है

    • एक इंसान के दिमाग में उमड़ते हुए पूरे AI कचरे पर गंभीरता से विचार करने की ऊर्जा नहीं होती, और यह किसी नश्वर के बस की बात नहीं
      “विशेषज्ञ LLM उत्तरों को अधिक पसंद करते हैं” जैसी studies में भी, कुछ ही उत्तर देखें तो इंसानी जवाब बेहतर लगते हैं, लेकिन अगर 50 जवाब review करने हों तो आलोचनात्मक ढंग से पढ़ने के बजाय धाराप्रवाह वाक्यों या सतही तथ्यों की मात्रा के आधार पर फैसला करने की संभावना बढ़ जाती है
      यहाँ भी लगता है कि judges ने 20-पेज का arXiv पेपर वास्तव में पढ़े बिना ही अंक दे दिए; पेशेवर रूप से उनसे जवाबदेही माँगी जा सकती है, लेकिन भावनात्मक रूप से उन पर दया आती है
    • अगर यह व्याख्या सही है और सभी submissions का स्तर ऐसा ही था, तो किसी को भी विजेता नहीं होना चाहिए था
      सबको disqualify कर देना चाहिए था, और आयोजकों को लंबे समय तक आईने में देखकर अपने आप पर विचार करना चाहिए था

  • यह दुखद है कि arXiv और कभी गंभीर माने जाने वाले Kaggle जैसे स्थान self-promotion के साधन की तरह इस्तेमाल हो रहे हैं
    AI lab में नौकरी पाने की इच्छा समझ में आती है, लेकिन सार्वजनिक जगहों पर घटिया generated material उड़ेलना उन जगहों के मूल उद्देश्य को ही नुकसान पहुँचाता है

    • arXiv को self-promotion के लिए इस्तेमाल करना और Kaggle को industry में प्रवेश के stepping stone की तरह लेना पहले से होता आया है; यह कोई हाल की घटना नहीं है

  • “विजेता submission में स्पष्ट रूप से मूल्य है और उसमें बहुत मेहनत लगी है, इसलिए कुछ विरोधाभासों या गलतियों की चिंता मत करो और परिणाम स्वीकार कर लो” जैसी प्रतिक्रिया हैरतअंगेज़ ढंग से प्रभावशाली है
    आखिरकार इसका मतलब यही है कि hallucination से बना घटिया output भी अगर कुछ मूल्य रखता है, तो उसकी जीत को वैसे ही मान लिया जाए

    • पिछले लगभग 100 वर्षों से science fiction ने AI को एक अस्पष्ट लेकिन सार्वभौमिक “logic” पर आधारित ऐसी उच्च बुद्धि के रूप में चित्रित किया है जिसमें घमंड, घृणा, ईर्ष्या, इच्छा जैसी मानवीय खामियाँ नहीं होतीं
      अब यह साफ हो चुका है कि वह एक निराधार धारणा थी, लेकिन तब तक अरबों लोगों को मशीनों पर कभी संदेह न करने के लिए प्रशिक्षित किया जा चुका है
    • वास्तविकता से मेल न खाने वाली इंसानी बेहूदा माँगों से ही engineers पहले से काफी थके हुए हैं
      जब खुल्लमखुल्ला घटिया generated material का मूल्यांकन कोई दूसरी घटिया generated material करे, और आलोचकों को ऐसे पेश किया जाए जैसे वे हार न मानने वाले नाराज़ लोग हों, तब तर्कसंगत बातचीत ही असंभव हो जाती है
      प्रतिभागी ने सद्भावना से बहुत समय लगाकर स्पष्ट रूप से समझाया और यह भी ध्यान रखा कि शायद उससे कुछ छूट गया हो, लेकिन अगर बिना सोचे-समझे सांख्यिकीय कचरा फेंकने वाले लोगों को बार-बार ऐसे judges से इनाम मिलता रहे जो दोनों में फर्क ही न कर सकें, तो लोग जल्दी थककर चले जाएँगे
      कार्यस्थल, corporate documents, सामाजिक संबंधों और social media में यह रवैया बढ़ रहा है, और मैं उन लोगों और गतिविधियों के साथ समय बिताना चाहता हूँ जो सचमुच सोचते हैं, मानसिक अनुशासन रखते हैं और जीवन में मददगार हैं
      घटिया generated material को सहन करने वाले समुदायों पर मैं अपना समय और ध्यान नहीं लगाऊँगा, और अगर संवाद सद्भावना से नहीं होगा तो उदारता दिखाने की भी कोई वजह नहीं है
      Kaggle, open source contributors और content creators के लिए मैं विश्वास तोड़ने की सिर्फ एक ही गलती स्वीकार करूँगा; अधीनस्थ कर्मचारियों को नैतिक कारणों से कई मौके दूँगा, लेकिन पहले प्रबंधन की जिम्मेदारी निभाते हुए; और senior leadership को भी सिर्फ एक मौका दूँगा
      विश्वास कीमती है, इसलिए हमें एक-दूसरे को जवाबदेह ठहराना चाहिए, और अगर इस प्रक्रिया में रिश्ते टूट जाएँ तो उसे भी स्वीकार करना पड़ेगा
    • “बस कुछ value दे दो, वही काफी है” वाला रवैया बर्दाश्त नहीं होता
      उन चहेती कंपनियों के लिए उपयोगी मूर्ख बनने से बचना चाहिए जिन्हें कुछ निवेशक खुलेआम बाजार पर कब्ज़ा करने और सबके व्यवसायों और नौकरियों को खत्म करने के लिए बढ़ावा दे रहे हैं