LLM आपकी Dunning-Kruger effect को ताकत देने वाला स्टेरॉयड है

• Large Language Model (LLM) के साथ बातचीत उपयोगकर्ताओं में आत्मविश्वास के भ्रम को बढ़ाती है, जिससे उन्हें लगता है कि वे वास्तविकता से अधिक जानते हैं
• बातचीत के बाद उपयोगकर्ता अक्सर गलत जानकारी पर भी आश्वस्त रहने की स्थिति में रह जाते हैं, और इसमें मनोवैज्ञानिक लत जैसी प्रवृत्ति होती है जो बार-बार उपयोग को बढ़ावा देती है
• LLM विचारों का विस्तार करते हैं और सोच को amplify करते हैं, लेकिन साथ ही आत्म-छल को मजबूत करने वाले उपकरण की तरह भी काम कर सकते हैं
• तकनीकी रूप से यह statistical inference और बड़े पैमाने के training resources पर आधारित अपेक्षाकृत सरल संरचना है, लेकिन इसका सामाजिक प्रभाव बहुत बड़ा है
• इन मॉडलों को knowledge engine नहीं बल्कि ‘confidence engine’ के रूप में समझना चाहिए, और ये मानव सोच व भाषा-उपयोग के तरीके में बुनियादी बदलाव ला रहे हैं

---

आत्मविश्वास के भ्रम और LLM का मनोवैज्ञानिक प्रभाव

• Bertrand Russell के “The Triumph of Stupidity” उद्धरण के माध्यम से अज्ञानजन्य आत्मविश्वास और बौद्धिक संशय के बीच का विरोधाभास सामने रखा गया है
  • Russell ने कहा था, “दुनिया की समस्या यह है कि मूर्ख लोग आत्मविश्वास से भरे होते हैं, और बुद्धिमान लोग संदेह से”
• LLM के साथ संवाद में उपयोगकर्ता गलत जानकारी पर भी भरोसा कर लेने की प्रवृत्ति दिखाते हैं
  • जब ChatGPT किसी बात पर “अच्छा आइडिया” कहता है, तो कई बार वह वास्तव में अच्छा नहीं होता
• लेखक बताता है कि LLM के साथ interaction के बाद उसे अक्सर ज्ञान बढ़ जाने का भ्रम महसूस होता है
  • जानकारी गलत होने का एहसास होने पर भी, आत्मविश्वास से मिलने वाले सुख के कारण वह इसका बार-बार उपयोग करने लगता है
• इस तरह का अनुभव मनोवैज्ञानिक लत जैसा रूप ले सकता है, और उपयोगकर्ता विचारों को विकसित करते समय LLM पर निर्भर होने लगते हैं
  • रोज़मर्रा की स्थितियों में भी LLM से पूछने की इच्छा होने लगती है (“बैग खो जाने पर ChatGPT से पूछने का खयाल आता है”)

सोच के विस्तार और आत्म-छल की दोधारी प्रकृति

• LLM को सोच को amplify करने वाले दर्पण की तरह बताया गया है
  • यह उपयोगकर्ता के विचारों को कई दिशाओं में फैलाता है और कभी-कभी दिलचस्प नतीजे देता है
• लेकिन यह amplification दोधारी तलवार है: यह अच्छे विचारों को विकसित कर सकता है, पर गलत सोच को भी मजबूत कर सकता है
  • LLM धाराप्रवाह और अधिकारपूर्ण लहजे में त्रुटियों को पेश कर मनोवैज्ञानिक जाल बना देता है

तकनीकी संरचना और रुचि का असंतुलन

• लेखक LLM को “उबाऊ तकनीक” मानता है
  • मूल रूप से यह एक probabilistic black box है, और training सांख्यिकीय अनुमान की पुनरावृत्ति है
• हाल की software और hardware innovations मौजूद हैं, लेकिन LLM-विशिष्ट innovation सीमित बताई गई है
  • इसे इस तरह कहा गया है कि “शायद असली innovation यह थी कि इसमें भारी पूंजी लगाकर इसे विशाल पैमाने पर train किया गया”
  • RLHF (reinforcement learning from human feedback) को एक संभावित अपवादात्मक innovation के रूप में उल्लेख किया गया है

सामाजिक और भाषाई बदलाव का प्रभाव

• LLM की असली दिलचस्पी तकनीक से ज्यादा उसके सामाजिक प्रभाव में है
  • इसे शिक्षा, श्रम और पूरे समाज में बड़े बदलाव के पूर्वसंकेत के रूप में देखा गया है
• भाषा मानव पहचान का केंद्रीय तत्व है, और जैसे ही मशीनें भाषा के क्षेत्र में दाखिल हुईं, बदलाव शुरू हो गया
  • इस बदलाव का स्वभाव अभी पूरी तरह स्पष्ट नहीं है, लेकिन “बदलाव की लहर चल पड़ी है” जैसी अनुभूति मौजूद है

knowledge engine नहीं, confidence engine

• LLM को ज्ञान देने वाले इंजन नहीं बल्कि आत्मविश्वास पैदा करने वाले इंजन के रूप में देखना चाहिए
  • इसे निकट और मध्यम अवधि के भविष्य की मुख्य विशेषता को समझाने वाली अवधारणा के रूप में प्रस्तुत किया गया है
• मानव सोच और भाषा-उपयोग के तरीके मशीन-आधारित आत्मविश्वास-निर्माण तंत्र के साथ जुड़कर नए सामाजिक पैटर्न बना रहे हैं

[xguru]

AI ‘Dunning-Kruger effect’ को एक service के रूप में उपलब्ध कराता है

[GN⁺]

Hacker News राय

• मैं जब भी LLM का इस्तेमाल करता हूँ, उल्टा मुझे लगता है कि मैं और बेवकूफ़ होता जा रहा हूँ
  यह अपने दम पर पढ़कर हासिल किया गया ज्ञान नहीं, बल्कि उस पर टिके रहने का एहसास ज़्यादा देता है, इसलिए आत्मविश्वास घटता है
  किताबों या शोध-पत्रों की तरह कई स्रोतों को cross-check करने की आदत है, इसलिए LLM के जवाब बस एक औसत जैसे लगते हैं

  • अगर LLM का बहुत ज़्यादा इस्तेमाल करो तो सच में दिमाग बंद पड़ने जैसा लगता है। जैसे कोई repetitive game बहुत देर तक खेलने पर सुन्नपन आ जाता है
  • पहले स्कूल में अक्सर सुनते थे, “Wikipedia पर जैसा है वैसा मत मानो, source चेक करो”
    लेकिन अब लोग Wikipedia को लगभग अंतिम सत्य की तरह quote करते हैं। लगता है समय के साथ LLM के साथ भी ऐसा ही होगा
  • हमारी कंपनी एक open source product चलाती है, और बहुत सी queries आती हैं जहाँ लोग chatbot द्वारा बनाई गई configuration को ज्यों का त्यों follow करते हैं और फिर वह काम नहीं करती
    यहाँ तक कि लोग API down होने की शिकायत करते हैं, जबकि असल में chatbot ने endpoint ही गढ़ लिया होता है
  • मैं भी LLM की वजह से काम जल्दी ख़त्म कर लेता हूँ, लेकिन उससे नकली सा एहसास होता है, जैसे यह सच में मेरा किया हुआ काम नहीं है
    आख़िरकार खुद ढूँढने और experiment करने की कोशिश कम हो जाती है। शायद सिर्फ़ अनुशासित लोग ही इस tool का सच में सही इस्तेमाल कर पाएँगे
  • AI का जवाब ग़लत न भी हो, तब भी उसमें कहीं न कहीं ढीलापन सा महसूस होता है। भरोसा कम बनता है

• LLM कुछ-कुछ Bill Bryson की किताबों जैसा है—सुनने में काफ़ी plausible और authoritative, लेकिन जिन क्षेत्रों को आप सच में जानते हैं, वहाँ उसमें ग़लतियाँ बहुत दिखती हैं
  फिर भी हम अगला सवाल पूछते समय उसी से उम्मीद लगा लेते हैं

  • मैं LLM को सीखने की शुरुआत की तरह इस्तेमाल करता हूँ। इससे परफेक्ट जवाब की उम्मीद नहीं रहती, लेकिन नए terms और concepts जल्दी पकड़ में आ जाते हैं
    उदाहरण के लिए, मैं 1990 Miata में एक switch लगाना चाहता था, और LLM की वजह से पहली बार relay और DPDT switch के concepts समझे
    circuit diagram ग़लत था, लेकिन किस दिशा में पढ़ना है, यह समझने में मदद मिली
  • मुझे नहीं लगता कि यह तुलना पूरी तरह fair है। जिन विषयों को हम अच्छी तरह जानते हैं, उन्हीं पर हम ज़्यादा कठिन सवाल पूछते हैं, इसलिए LLM का ज़्यादा ग़लत होना स्वाभाविक है
    इसके उलट, जिन क्षेत्रों के बारे में हमें कुछ नहीं पता, वहाँ basic level का जवाब भी काफ़ी impressive लगता है
  • मैंने उपन्यास के एक पात्र की motivations समझने के लिए ChatGPT से पूछा था, लेकिन उसमें तथ्यात्मक ग़लतियाँ काफ़ी थीं
    जिसे जानकारी न हो उसे वह काफ़ी believable लगेगा, लेकिन अगर ग़लत जानकारी के ऊपर सोच बनाई जाए तो आख़िर में और विकृत नतीजा निकलता है
    बातचीत यहाँ देख सकते हैं
  • Bill Bryson का ज़िक्र करना बहुत मज़ेदार है
  • मैं Bryson की किताबें पढ़ना चाहता था, लेकिन यह जानने की उत्सुकता है कि ख़ास तौर पर कौन-से हिस्से ग़लत हैं

• कॉलेज के दिनों में lectures सुनते समय भी कुछ ऐसा ही लगता था
  क्लास के दौरान सब समझ में आ गया लगता था, लेकिन जब खुद सवाल हल करने बैठो तो पता चलता था कि बहुत कुछ छूटा हुआ है

  • इस semester मेरे ज़्यादातर students ने शायद assignments LLM से करवाई हैं
    code में class context झलकता नहीं, इसलिए errors आते हैं, और आख़िर में मुझे ही वह हिस्सा ठीक करना पड़ता है
  • सीखने में recognition आसान होता है, लेकिन recall मुश्किल—समस्या यही है
    बिना मेहनत के सीखो तो ज़्यादा सीखा हुआ महसूस होता है, लेकिन असल में ऐसा नहीं होता
  • चिंता इस बात की है कि आज के college students उस ‘मेहनत’ की जगह LLM का इस्तेमाल कर रहे हैं
  • experts को भी ऐसी ही दिक्कत होती है। आम लोगों के लिए explanation को सरल बनाओ, तो कई बार उल्टा झूठा ठहरा दिया जाता है
  • detail की कमी होना और पूरे आत्मविश्वास से ग़लत होना—ये दोनों अलग बातें हैं
    जैसे Claude ने कहा कि मेरी building foundation ख़तरे में है, लेकिन असली inspector ने हँसते हुए कहा कि कोई समस्या ही नहीं है

• math·physics subreddit पर भी अक्सर ऐसे posts आते हैं कि ChatGPT के साथ मिलकर physics की unified theory बना ली
  पहले भी ऐसे लोग थे, लेकिन LLM के बाद उनकी संख्या बहुत बढ़ गई है

  • यहाँ तक कि Uber के पूर्व CEO ने भी कुछ ऐसा ही बर्ताव किया था
    संबंधित लेख: Gizmodo लिंक

• LLM को पढ़ने का अनुभव कुछ-कुछ अख़बार पढ़ने जैसा है
  जिन विषयों के बारे में जानकारी नहीं होती, उनमें लगता है बहुत कुछ सीख लिया, लेकिन जिन विषयों को जानते हो वहाँ तुरंत पता चल जाता है कि यह उल्टा-सीधा है
  इसलिए चिंता होती है कि जिन topics के बारे में मैं नहीं जानता, उनमें यह कितना ग़लत होगा

  • इसे ही Gell-Mann amnesia effect कहते हैं
    Wikipedia विवरण
  • सच कहें तो अब सिर्फ़ अख़बार नहीं, किताबों पर भरोसा करना भी मुश्किल हो गया है
    कोई भी publish कर सकता है, और अब वीडियो में भी हेरफेर आसान हो गया है
    आख़िर में सबसे अहम चीज़ है sources को परखने की क्षमता

• जैसे मैं किसी इंसान से मिली जानकारी पर source और reliability filter लगाता हूँ, वैसे ही ChatGPT के साथ भी करता हूँ
  जवाब सुनने के बाद ‘ज्ञान मिल गया’ से ज़्यादा यह महसूस होता है कि खोजने की दिशा मिल गई

  • इस पर सवाल आया कि वह “खोज की शुरुआत” कब सचमुच ज्ञान में बदली, ऐसे उदाहरण जानने में दिलचस्पी होगी
  • इससे “default to null” concept याद आता है
    यानी किसी ऐसी पंक्ति को न समझ पाने पर यह मानना कि ‘ज़रूरी नहीं कि मुझे ही न पता हो, text ख़ुद भी बेमानी हो सकता है’
  • समस्या यह है कि इंसानी याददाश्त तथ्य से पहले संदर्भ भूल जाती है
    आख़िरकार समय के साथ ग़लत जानकारी भी हमारी worldview में घुल-मिल जाती है

• LLM के भविष्य पर पक्का दावा करने का दिखावा करने वाली बातें बहुत ज़्यादा हैं
  लेकिन इतिहास देखें तो quantity ने quality को बदलने के कई उदाहरण दिए हैं
  chess engine, Google Search, Wikipedia—ये सब साधारण सिद्धांतों से शुरू हुए, लेकिन data के scale ने innovation पैदा किया
  LLM भी बस साधारण matrix multiplication है, लेकिन शायद ‘meat’ जिस तरह सोचता है, वैसी कोई नई intelligence भी उभर सकती है

  • लेकिन अभी भी Wikipedia का political bias या xkcd 978 में बताई गई सूक्ष्म चालाकी जैसी समस्याएँ मौजूद हैं
  • अगर “thinking meat” वाली कहानी नहीं जानते, तो यह लेख पढ़ना अच्छा रहेगा
  • जैसे पहले लोग मानते थे कि मांस से मक्खियाँ पैदा होती हैं, वैसे ही शायद किसी दिन यह भ्रम भी टूटे कि मांस सोच पैदा करता है

• “LLM knowledge engine नहीं, confidence engine है” — यह बात असरदार लगी
  जब किसी technical problem पर वह कहता है “यह known issue है”, तो तसल्ली मिलती है कि मैं बेवकूफ़ नहीं हूँ, समस्या सच में मुश्किल है
  उदाहरण के लिए, मैं WebStorm में debugger के default tab को बदलना चाहता था, और AI ने कहा कि “ऐसा करने का तरीका नहीं है”, जिससे मेरा समय बच गया

  • लेकिन AI अक्सर इसी तरह झूठा आत्मविश्वास भी दे देता है
    मैं अगर कोई मनगढ़ंत समस्या भी पूछूँ, तो वह “हाँ, यह known issue है” कहकर काफ़ी भरोसेमंद ढंग से बहका सकता है

• मैं LLM का इस्तेमाल authority के source की तरह नहीं, बल्कि सोच के दर्पण की तरह करता हूँ
  अपने विचार समझाते-समझाते मैं खुद अपनी उलझन या तर्क की खामी पकड़ लेता हूँ
  भाषा स्वभाव से ही अनिश्चित है, और LLM उस अनिश्चितता को statistics के रूप में सामने लाता है
  इसलिए अगर आलोचनात्मक नज़र से देखें, तो यह उल्टा सोच को परिष्कृत करने का tool बन सकता है
  आख़िर में यह मानना ज़रूरी है कि न इंसान पूर्ण है न AI, और किसी अजनबी की तरह संदेह के साथ उसे लेना चाहिए

• “LLM ज्ञान नहीं, आत्मविश्वास बनाता है” — इस बात से सहमत हूँ
  भले परफेक्ट न हो, लेकिन यक़ीन के साथ अमल करने का रवैया कभी-कभी बेहतर नतीजे देता है
  खासकर उन लोगों के लिए जो ज़रूरत से ज़्यादा सतर्क रहते हैं, आत्मविश्वास खुद productivity की कुंजी हो सकता है

  • लेकिन आत्मविश्वास एक सामाजिक हथियार भी है
    बिना आधार का यक़ीन भी दूसरों को भरोसेमंद लग सकता है, और अगर यह बार-बार हो तो इंसान विनम्रता और झिझक सीखने लगता है
    इसी वजह से academic attitude कई बार self-limiting भी बन जाता है