क्या सब कुछ झूठ की ओर बढ़ रहा है

 (aphyr.com)
2 पॉइंट द्वारा GN⁺ 23 일 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • आज जिसे AI कहा जाता है, वह वास्तव में जटिल machine learning (ML) systems हैं, जिनकी संरचना text·image·audio को सांख्यिकीय रूप से पूरा करने पर आधारित है
  • LLM एक ऐसी मशीन है जो improvisation की तरह ‘विश्वसनीय झूठ’ गढ़ती है, और “मुझे नहीं पता” कहने से बचते हुए काल्पनिक तथ्य बना देती है
  • लोग इसे एक सचेत अस्तित्व समझ बैठते हैं, लेकिन मॉडल की self-explanation और reasoning process महज़ काल्पनिक कथाएँ हैं
  • LLM उन्नत समस्याएँ हल करते हुए भी सरल कार्यों में विफल होने वाला असमान प्रदर्शन दिखाते हैं, जो भरोसेमंद न होने वाली सीमाओं को उजागर करता है
  • इस असंतुलन और अनिश्चितता के बीच ML एक ऐसी तकनीक बन चुकी है जो मानव समाज को मूल रूप से अजीब ढंग से बदल रही है

प्रस्तावना

  • Asimov और Clarke की SF दुनिया को देखकर बड़े हुए लोगों ने बुद्धिमान मशीनों के आगमन की आशावादी कल्पना की थी, लेकिन Turing test के ढह जाने जैसी वास्तविकता ने निराशा पैदा की
  • 2019 में एक बड़े cloud कंपनी ने LLM training hardware की घोषणा की थी, तब यह चिंता उठी कि deep learning का प्रसार spam और propaganda के नए रूप पैदा कर सकता है
  • यह लेख AI विमर्श के नकारात्मक पक्ष को टटोलता है, और पूर्ण विश्लेषण के बजाय जोखिमों और संभावनाओं की रूपरेखा दिखाने की कोशिश के रूप में बना है
  • “AI” शब्द अत्यधिक व्यापक है, इसलिए ध्यान ML और LLM केंद्रित ठोस चर्चा पर रखा गया है
  • कुछ भविष्यवाणियाँ पहले ही सच हो चुकी हैं, और कुछ अब भी अनिश्चित और विचित्र क्षेत्र में बनी हुई हैं

“AI” क्या है

  • आज जिसे “AI” कहा जाता है, वह जटिल machine learning (ML) तकनीकों का समूह है, जो text·image·audio·video जैसे token vectors को पहचानने, बदलने और उत्पन्न करने वाले systems हैं
  • LLM (Large Language Model) प्राकृतिक भाषा को संभालते हैं, और input string के सांख्यिकीय रूप से संभावित completion का अनुमान लगाकर काम करते हैं
  • मॉडल को web pages, pirated books और music सहित बड़े data corpus पर train किया जाता है, और training के बाद कम-लागत inference के जरिए बार-बार इस्तेमाल किया जा सकता है
  • मॉडल समय बीतने पर खुद से नहीं सीखते; उन्हें केवल operator tuning या retraining के माध्यम से ही अपडेट किया जाता है
  • conversational models की “memory” वास्तव में पिछली बातचीत के सारांश को input में शामिल करने वाली एक संरचनात्मक तकनीक है

वास्तविकता की fan fiction

  • LLM improv मशीन की तरह काम करते हैं, और दिए गए context को “हाँ, और फिर...” की तरह आगे बढ़ाने वाला ‘yes-and’ pattern दिखाते हैं
  • इसके कारण वे तथ्यों से असंबंधित लेकिन विश्वसनीय लगने वाले वाक्य बना देते हैं, satire या context को गलत समझते हैं और गलत जानकारी गढ़ते हैं
  • इंसान ऐसी output को किसी सचेत अस्तित्व की वास्तविक अभिव्यक्ति समझने की भूल आसानी से कर सकता है
  • चूँकि LLM हर input पर कुछ न कुछ output बनाते हैं, इसलिए उनमें “मुझे नहीं पता” कहने से बचकर झूठ गढ़ने की प्रवृत्ति होती है
  • ऐसे झूठ किसी इरादतन कर्म का परिणाम नहीं होते, बल्कि मानव और मशीन की अंतःक्रिया से बने सामाजिक-तकनीकी उत्पाद के रूप में उभरते हैं

अविश्वसनीय वक्ता

  • लोग LLM से “तुमने ऐसा क्यों किया” जैसी self-explanation माँगते हैं, लेकिन मॉडल में self-awareness की क्षमता नहीं होती
  • LLM केवल पिछली बातचीत और corpus पर आधारित probabilistic completion उत्पन्न करते हैं, और अपने बारे में दी गई व्याख्या भी काल्पनिक कहानी के रूप में बनती है
  • “reasoning” model भी अपनी सोच की प्रक्रिया को कथात्मक रूप में गढ़ने के तरीके से काम करते हैं
  • Anthropic के शोध के अनुसार Claude के reasoning log का अधिकांश हिस्सा गलत था, और “thinking” जैसी status message भी एक काल्पनिक प्रस्तुति भर है

मॉडल स्मार्ट हैं

  • पिछले कुछ महीनों में यह धारणा फैली है कि LLM की क्षमताओं में तेज़ सुधार हुआ है
  • कुछ engineers ने बताया कि Claude या Codex जटिल programming tasks को एक ही बार में हल कर देते हैं
  • कई क्षेत्रों में diet planning, construction specification review, 3D visualization, self-evaluation writing जैसे व्यावहारिक उपयोग हो रहे हैं
  • AlphaFold की protein folding prediction और medical image interpretation जैसे क्षेत्रों में भी उच्च प्रदर्शन दिखा है
  • English writing style, image और music जैसे क्षेत्रों में इंसान और मशीन के बीच फर्क करना लगातार कठिन होता जा रहा है, हालांकि video generation अभी भी सीमित है

मॉडल मूर्ख हैं

  • साथ ही LLM को बुनियादी गलतियाँ बार-बार दोहराने वाले ‘मूर्ख’ systems के रूप में भी देखा जाता है
  • उदाहरण के लिए Gemini 3D model rendering में geometry और materials को बार-बार गलत संभालता है, और Claude बेअर्थ JavaScript visualization code बना देता है
  • ChatGPT साधारण color correction request तक सही से पूरी नहीं कर पाता, और उपयोगकर्ता की sexual orientation के बारे में गलत दावे करने लगता है
  • ऐसे मामले दर्ज हुए हैं जहाँ LLM ने गलत data से graph बनाए, smart home control में विफलता दिखाई, या financial loss का कारण बने
  • Google की AI summary feature में करीब 10% error rate देखा गया, और “expert-level intelligence” का दावा बढ़ा-चढ़ाकर पेश किया गया भ्रम माना गया

ऊबड़-खाबड़ सीमाएँ

  • इंसान आम तौर पर अपनी क्षमता की सीमा का अनुमान लगा सकता है, लेकिन ML systems का प्रदर्शन अनियमित और अप्रत्याशित होता है
  • LLM उन्नत गणित हल कर लेते हैं लेकिन सरल भाषा-सम्बंधी समस्याओं में असफल हो जाते हैं, और भौतिक commonsense से रहित व्याख्याएँ देते हैं
  • इस असंतुलन को ‘jagged technology frontier’ कहा जाता है, जो मानव क्षमताओं के वितरण से अलग असतत रूप लेता है
  • ML training data या context window पर निर्भर करता है, इसलिए उन कार्यों में कमजोर पड़ता है जिनमें implicit knowledge चाहिए
  • humanoid robots या embodied knowledge की जरूरत वाले क्षेत्र अभी भी काफी दूर हैं

सुधार हो रहा है, या नहीं

  • शोधकर्ता अब तक transformer models की सफलता के कारण को भी स्पष्ट रूप से नहीं समझते
  • 2017 के शोधपत्र Attention is All You Need के बाद कई तरह की संरचनाएँ आज़माई गईं, लेकिन सिर्फ parameters बढ़ाने वाला तरीका अब भी सबसे प्रभावी बना हुआ है
  • training cost और parameter count में तेज़ बढ़ोतरी के बावजूद performance improvement धीमा पड़ रहा है, और यह दृष्टिभ्रम है या वास्तविक सीमा, यह स्पष्ट नहीं है
  • भले ही ML अब आगे बहुत न सुधरे, वह पहले ही समाज, राजनीति, कला और अर्थव्यवस्था पर गहरा प्रभाव डाल चुका है
  • नतीजतन ML एक ऐसी तकनीक है जो मानव जीवन को मूल रूप से अजीब ढंग से बदल रही है, और आगे की दिशा “अजीब तरीके से आगे बढ़ने” की पूरी संभावना रखती है

शब्दावली टिप्पणी

  • “AI” बहुत व्यापक शब्द है, इसलिए इसे ML या LLM के रूप में अधिक सटीक बनाया गया है
  • “generative AI” में recognition tasks शामिल नहीं होते, इसलिए इसे अधूरा पद माना गया है
  • LLM अपने बारे में झूठ क्यों बोलते दिखते हैं, इसका कारण AI पर मानव कथाएँ और training data का प्रभाव है
  • “मॉडल मूर्ख हैं” इस दावे के जवाब में कुछ लोग कहते हैं कि समस्या prompt या model selection की है, लेकिन यह भी पुष्टि हुई है कि नवीनतम commercial models में भी वही गलतियाँ दोहराई जाती हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 23 일 전
Hacker News की राय

  • मुझे अक्सर लगता है कि आज की स्थिति औद्योगिक क्रांति के दौर से मिलती-जुलती है
    औद्योगिक क्रांति से पहले प्राकृतिक संसाधनों को लगभग असीम माना जाता था, और कम दक्षता के कारण उन्हें पूरी तरह समाप्त कर पाना संभव नहीं था। लेकिन मशीनों के आने के बाद कुछ लोगों के लिए पृथ्वी के किसी हिस्से को पूरी तरह खपा देना संभव हो गया, और उसके परिणामस्वरूप मालिकाना हक और कानूनी व्यवस्था की ज़रूरत पड़ी
    अब हम सूचना क्रांति के युग में हैं, और AI डिजिटल क्षेत्र में वही भूमिका निभा रहा है। एक कंपनी AI को प्रशिक्षित करके अनगिनत रचनाकारों के कार्यों का औद्योगिक पैमाने पर पुनः उपयोग कर रही है। इससे रचनाकारों और उपभोक्ताओं के बीच का संतुलन टूट रहा है
    ऐसी दुनिया में जहाँ लेखक का लिखा ChatGPT में समा जाता है और मूल पाठ भुला दिया जाता है, कौन लगातार कंटेंट बनाता रहेगा—यह सवाल उठता है। अभी यह कुछ डिकेन्स-युग के लंदन जैसा लगता है, जहाँ समाज और कानून के बराबरी पर आने से पहले एक कठिन दौर से गुजरना पड़ेगा

    • “प्रकृति असीम थी” यह बात वास्तव में सही नहीं है। लौह युग के शुरुआती समय से ही वन क्षय की समस्या थी, और खेती, चराई और वन प्रबंधन के बीच तनाव हज़ारों वर्षों से चला आ रहा है
    • कई लोगों ने ऐसा ही सोचा है। मौजूदा पोप Leo XIV ने औद्योगिक क्रांति के समय के पोप Leo XIII से प्रेरित होकर अपना नाम चुना, और उनके द्वारा जारी किए गए परिपत्र Rerum novarum का हवाला देते हुए AI युग की सामाजिक ज़िम्मेदारी का उल्लेख किया। संबंधित लेख: Vatican News
    • मैं लिखता सिर्फ पैसों के लिए नहीं हूँ। इसकी वजह सृजन की इच्छा और दुनिया को थोड़ा-सा भी बदलने की चाह है। अगर ChatGPT मेरे लेखन से सीखकर किसी की मदद कर सके, तो वह अपने-आप में अर्थपूर्ण है। ज़रूरी नहीं कि हर कोई मेरे विचारों से सहमत हो, लेकिन मैं इसे सकारात्मक रूप में देखता हूँ
    • मैं तो उल्टा सोचता हूँ। अब सृजन हर किसी के लिए उपलब्ध एक डिजिटल सार्वजनिक संपत्ति बन चुका है। AI ने रचना को स्वचालित कर दिया है, इसलिए किसी एक रचनाकार के एकाधिकार का कारण नहीं बचता। open source आखिरकार AI कंपनियों की जगह लेगा, और अगर नहीं लेता, तो इसे सार्वजनिक उपयोगिता के रूप में राष्ट्रीयकरण कर देना चाहिए। तकनीक की प्रकृति के कारण डिजिटल स्वामित्व की अवधारणा का अंत तय है
    • औद्योगिक क्रांति से पहले भी लोग पानी और नदी के उपयोग के अधिकार को लेकर लड़ते थे। उदाहरण के लिए Umma–Lagash war 4000 साल पुराने जल विवाद का मामला है

  • “Attention is All You Need” के बाद विकास सिर्फ पैरामीटर बढ़ाने से नहीं हुआ, बल्कि Mixture-of-Experts, Sparse Attention, Mamba/Gated Linear Attention जैसी जटिल संरचनाओं तक पहुँचा है। इसे सिर्फ “कम्प्यूट बढ़ाते जाओ” वाली Bitter Lesson की व्याख्या मानना गलत है

    • लेखक ने शुरू में ही कहा था, “मैं ML विशेषज्ञ नहीं हूँ”, और यह लेख पिछले 10 वर्षों के विचारों को समेटने वाला एक निबंध है। “यह Bitter Lesson का एक रूप हो सकता है” जैसी अभिव्यक्ति सिर्फ सोचने के लिए एक संकेत थी। लेख का उद्देश्य तकनीकी शुद्धता से ज़्यादा विचार को उकसाना है
    • मैंने भी Qwen 3 से Qwen 3.5 पर स्विच किया, और पैरामीटर कम होने के बावजूद प्रदर्शन बहुत बेहतर था। Gated DeltaNet और TurboQuant जैसी algorithmic innovations की वजह से memory efficiency बढ़ी और context length भी लंबी हुई। आखिरकार संरचनात्मक नवाचार ही मुख्य बात है
    • GPT-3(175B) के बाद GPT-4 को 1.8 ट्रिलियन पैरामीटर का माना जाता है। यह कहना कि “5 साल पहले से पैरामीटर बढ़ना रुक गया” गलत है
    • मुझे जिज्ञासा है कि क्या Mamba वास्तव में बड़े पैमाने के मॉडलों में इस्तेमाल हो रहा है। जहाँ तक मुझे पता है, अभी उसकी efficient implementation की कमी है। और “training बहुत अधिक sophisticated हो गई है” इस बात का ठोस मतलब क्या है, यह भी जानना चाहूँगा
    • Transformer कोई जादू नहीं है। वह बस LSTM, RNN, CNN से कहीं अधिक efficient था। हाल में ऐसे मॉडल भी आए हैं जो reasoning token का उपयोग करके अपनी सोचने की प्रक्रिया आउटपुट करते हैं। यह परिपूर्ण नहीं है, लेकिन अभी तक यही सबसे अच्छा काम करने वाला तरीका है

  • मौजूदा मॉडल लगभग सारे सार्वजनिक डेटा पर पहले ही ट्रेन हो चुके हैं। अगर copyright restrictions और सख्त होती हैं, तो training data की कमी की समस्या आ सकती है। “Attention is All You Need” स्तर की कोई नई क्रांतिकारी खोज न हुई, तो लगता है कि हम performance improvement की सीमा के करीब पहुँच रहे हैं

    • फिर भी शोधकर्ता लगातार नए विचार आज़मा रहे हैं। 5~10 साल के भीतर कोई breakthrough आ सकता है। हालाँकि तब तक लागत का बोझ बड़ा रहेगा
    • गणित या software जैसे क्षेत्रों में synthetic data generation संभव है, इसलिए वहाँ बंधन कम है। यह AlphaGo Zero की तरह self-verifying learning वाला क्षेत्र है
    • सच तो यह है कि आज की प्रगति भी “डेटा को बहुत ज़्यादा बढ़ाकर देखें” वाले प्रयोग से ही शुरू हुई थी। उसके बाद post-training चरण में भिन्नता उभर रही है
    • कुछ कंपनियाँ लोगों को नौकरी पर रखकर high-quality tokens बनवा रही हैं, और उनके आधार पर synthetic data तैयार करके फिर से training में इस्तेमाल कर रही हैं

  • “LLM अभी रचनात्मक नहीं हैं” कहना बहुत सरल बना देना है। text-based समस्याओं में वे पहले से तार्किक निष्कर्ष निकाल सकते हैं, और image तथा UI क्षेत्र भी तेज़ी से आगे बढ़ रहे हैं

    • मुख्य बात यह है कि LLM विचार को ‘समझते’ नहीं हैं। reasoning सिर्फ एक feedback loop है, असली सोच नहीं। इस सीमा को तकनीकी रूप से पार किया जा सकता है या नहीं, इस पर आशावाद और निराशावाद दोनों मौजूद हैं
    • मेरे लिए तो LLM कभी-कभी ऐसे विचार भी देते हैं जो मैंने पहले कभी नहीं देखे। लेकिन यह मानवता के समग्र मानक से नया है या नहीं, इसका मुझे भरोसा नहीं
    • यह लेख “LLM बेवकूफ हैं” ऐसा दावा नहीं करता, बल्कि यह कहता है कि चतुराई और मूर्खता की सीमा जटिल और अप्रत्याशित है
    • भले ही LLM तार्किक समस्याएँ हल कर लें, training data में मौजूद न रहे तरीकों से समस्या पर पहुँचना अभी भी कठिन है
    • image generation भी तेज़ी से आगे बढ़ रही है। उदाहरण के लिए GenAI Showdown जैसे प्रोजेक्ट में यह देखा जा सकता है

  • मैं लोगों को अक्सर समझाता हूँ कि LLM के अंदर चेतना या स्वायत्तता जैसी कोई चीज़ नहीं है। आज का ‘AI’ शब्द बहुत अतिशयोक्तिपूर्ण अर्थ में इस्तेमाल हो रहा है

    • तो फिर अगर उसमें ‘चेतना’ या ‘स्वायत्तता’ होनी हो, तो उसकी आंतरिक संरचना कैसी अलग होनी चाहिए—यह जानने की जिज्ञासा है
    • दरअसल ‘AI’ 1950 के दशक से मौजूद एक शैक्षणिक शब्द है। मूल रूप से यह मानव सोच की नकल करने की कोशिश थी, लेकिन अब इसका अर्थ सिर्फ बुद्धिमान गणनात्मक प्रणाली रह गया है। आम लोग अब भी इसे मानवीय अर्थ में लेते हैं, इसलिए भ्रम पैदा होता है
    • मैं तो मानता हूँ कि ‘AI’ शब्द ठीक है। मशीन बस बुद्धि का कृत्रिम निष्पादन कर रही है। गणित और तर्क की तरह यह भी अंततः यांत्रिक प्रक्रिया ही है। जैसे transistor तर्क को चलाते हैं, वैसे ही token prediction भी स्वाभाविक है
    • यह भी संदेह है कि क्या हमारे पास यह विश्वास करने का कोई ठोस आधार है कि मानव मस्तिष्क LLM से मूलतः किसी बिल्कुल अलग तरीके से काम करता है

  • LLM को भौतिकी के सवाल गलत हल करते देखकर मुझे हँसी आई। सच तो यह है कि भौतिक विज्ञानी भी अक्सर अवास्तविक मान्यताओं से शुरू करते हैं। “घर्षण-रहित गोलाकार छत” जैसे मज़ाक यूँ ही नहीं हैं

    • यही विज्ञान का सामान्य तरीका है। पहले सरल मॉडल से एक अनुमान लिया जाता है, फिर उसके ऊपर जटिल वास्तविकता जोड़ी जाती है

  • अभी यह कहना कठिन है कि इसने Turing test पास कर लिया है। बातचीत लंबी होने पर context टूटने लगता है, और neuroplasticity जैसी मानवीय विशेषताओं का simulation करने में इसकी सीमाएँ हैं

    • एक समय ऐसा लगा था कि यह पास कर चुका है, लेकिन अब ज़्यादातर लोग LLM की विशिष्ट बोलने की शैली पहचान सकते हैं। हालाँकि मॉडल को जानबूझकर अधिक विनम्र और विस्तारपूर्ण बनाया जाता है, इसलिए पूरी तरह सीधी तुलना कठिन है
    • Turing test शुरू से ही कोई पास/फेल परीक्षा नहीं था
    • आजकल “LLM ने Turing test तोड़ दिया” जैसी बातें फैल रही हैं, लेकिन वास्तव में अगर परीक्षक को नवीनतम तकनीक की जानकारी हो इस शर्त को जोड़ा जाए, तो इन्हें अब भी आसानी से पहचाना जा सकता है
    • लेकिन अगर कसौटी इतनी सख्त हो, तो मानव भी ध्यान की कमी के कारण असफल हो सकता है
    • अब तक मैंने जितने LLM देखे हैं, उनमें अच्छा लिखने वाला एक भी मॉडल नहीं है। कभी सच में बातचीत का आनंद देने वाला मॉडल आएगा या नहीं, यह जानने की उत्सुकता है

  • मूल लेख का शीर्षक “The Future of Everything is Lies, I Guess” सामग्री से मेल नहीं खाता था, इसलिए उसे बदला गया। वास्तव में वह एक संतुलित लेख था, और HN guidelines के अनुसार clickbait शीर्षक को सुधारा गया

    • यह बदलाव अच्छा निर्णय था। लेख में जिस “झूठ” की बात है, वह hallucination नहीं, बल्कि वह घटना है जब मॉडल से पूछा जाए “तुमने ऐसा जवाब क्यों दिया” और वह बेतुका नया कारण गढ़ दे। इंसान भी ऐसी गलती करते हैं
    • मुझे लगता है कि curatation की वजह से शीर्षक बहुत बेहतर हो गया
    • मूल शीर्षक क्लिक खींचने के लिए अच्छा था, लेकिन सामग्री का सही प्रतिनिधित्व नहीं करता था

  • चेतना पर चर्चा में अधिक विनम्रता होनी चाहिए। जब मानव चेतना ही परिभाषित नहीं है, तो LLM की चेतना पर निर्णायक बात नहीं की जा सकती

    • चेतना के कुछ सिद्धांत LLM को बाहर रखते हैं, जबकि कुछ संभावनाएँ खुली छोड़ते हैं। यह बिना निश्चित उत्तर वाला क्षेत्र है
    • कुछ लोग LLM की पूजा silicon idol की तरह करते हैं। वे मानते हैं कि जो उन्होंने बनाया है उसे पूरी तरह समझते हैं, लेकिन साथ ही यह भी सोचते हैं कि उसके भीतर रहस्यमय बुद्धि का सार छिपा है। ऐसा रवैया अतीत के उन रसायनविदों जैसा लगता है जो सोना बनाने की कोशिश करते थे

  • लेख के उत्तरार्ध में कहा गया कि “AI पूरे समाज को बदल देगा”, लेकिन इस भाग में उससे अधिक LLM की सीमाओं पर ध्यान दिया गया लगता है

    • दरअसल यह लेख 10-भागों की श्रृंखला की भूमिका है। आगे के भागों में राजनीति, कला, अर्थव्यवस्था, मानवीय संबंध जैसे विभिन्न विषय लिए जाएँगे
    • अभी तो उल्टा “LLM परिपूर्ण नहीं हैं” यह बात बार-बार ज़ोर देकर कहने का समय है, क्योंकि दुनिया AI को हर समस्या का万能 समाधान समझने लगी है।