AI की सलाह लेने पर सटीकता एक-तिहाई रह जाती है और आत्मविश्वास दोगुने से ज़्यादा बढ़ जाता है

 (thenextweb.com)
2 पॉइंट द्वारा GN⁺ 1 일 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • AI सलाह का उपयोग करने वाले प्रतिभागियों में “मालूम नहीं” कहने की दर 44% से घटकर 3% रह गई, और सटीकता 27% से गिरकर 9% हो गई, जबकि आत्मविश्वास 30% से बढ़कर 76% हो गया
  • शोधकर्ताओं ने उचित tool delegation से इसे अलग पहचानने के लिए फिल्म के दृश्य विवरण जैसे ऐसे सवाल चुने जिनमें AI अक्सर गलती करता है, और जानबूझकर Step 3.5 Flash का उपयोग किया, जो आम तौर पर गलत जवाब देता है
  • कुछ प्रतिभागी अकेले होते तो सही जवाब दे सकते थे, लेकिन AI से पूछने के बाद गलत विकल्प चुन बैठे, जिससे यह पुष्टि हुई कि गलत AI सलाह पहले से मौजूद निर्णय क्षमता को भी नुकसान पहुँचा सकती है
  • आर्थिक इनाम देने पर “मालूम नहीं” वाले जवाब 8% तक और सटीकता 16% तक सुधरी, लेकिन AI का उपयोग न करने वाली baseline 44% और 27% से अब भी काफी कम रही
  • सिर्फ यह तथ्य कि AI का उपयोग किया जा सकता है, अपनी जानकारी की सीमाओं को पहचानने की आदत को कमजोर कर सकता है, इसलिए critical thinking विकसित कर रहे बच्चों और छात्रों के लिए यह खास चिंता का विषय है

AI सलाह का निर्णय और आत्मविश्वास पर असर

  • फ्रांस और इटली की 3 यूनिवर्सिटी के शोध ने मापा कि AI सलाह तक पहुंच होने पर निर्णय रोकने, सटीकता और आत्मविश्वास में क्या बदलाव आता है
    • “मालूम नहीं” कहने की दर 44% से घटकर 3% हो गई
    • सटीकता 27% से गिरकर 9% हो गई
    • आत्मविश्वास 30% से बढ़कर 76% हो गया
  • इस शोध में University of Milano-Bicocca के Valerio Capraro, École Normale Supérieure की Chiara Marcoccia, और Sapienza University of Rome के Walter Quattrociocchi शामिल थे
  • सवाल फिल्मों के दृश्य विवरण पर आधारित थे, जैसे 《Bend It Like Beckham》 में टीम यूनिफॉर्म का रंग, जिन पर AI मॉडल आम तौर पर असफल रहते हैं
  • जानबूझकर Step 3.5 Flash का उपयोग किया गया, जो ऐसे सवालों पर अक्सर गलत होता है, ताकि यह साफ किया जा सके कि निर्णय क्षमता में गिरावट किसी भरोसेमंद tool को तर्कसंगत रूप से सौंपने का नतीजा नहीं थी
  • कुछ प्रतिभागियों ने उन सवालों में भी, जिनका वे खुद सही जवाब दे सकते थे, AI से पूछने के बाद गलत उत्तर चुन लिया
  • आर्थिक इनाम ने नतीजों में कुछ सुधार किया, लेकिन AI न होने वाली स्थिति की baseline तक नहीं पहुंचा
    • “मालूम नहीं” वाले जवाब 3% से बढ़कर 8% हुए, लेकिन baseline 44% से कम रहे
    • सटीकता 9% से बढ़कर 16% हुई, लेकिन baseline 27% तक नहीं पहुंची

cognitive surrender और शिक्षा संबंधी चिंता

  • Wharton के शोधकर्ताओं ने उस घटना को 인지적 항복(cognitive surrender) नाम दिया, जिसमें लोग गलत AI उत्तरों को 80% की दर से स्वीकार करते हैं और AI के बिना काम करने वालों की तुलना में अधिक आत्मविश्वास दिखाते हैं
  • इस बार के नतीजों में सिर्फ गलत AI उत्तरों पर भरोसा करने की बात नहीं है, बल्कि AI की उपलब्धता मात्र ही यह पहचानने की आदत को दबा देती है कि व्यक्ति क्या नहीं जानता
  • Capraro ने ज़ोर देकर कहा कि “मालूम नहीं” कह पाने की क्षमता इंसानों के लिए महत्वपूर्ण है, क्योंकि यह अपनी जानकारी की सीमाओं को पहचानने से जुड़ी है
  • critical thinking क्षमता विकसित होने से पहले AI सिस्टम के साथ बड़े हो रहे बच्चे खास चिंता का विषय हैं
  • Google के AI search overhaul ने links की जगह आत्मविश्वास से भरे AI-generated summaries रख दी हैं, और Common Sense Media ने इस design को छात्रों के लिए “अस्वीकार्य जोखिम” बताया है
  • अगर लोग लगातार ऐसे AI products का उपयोग करते रहेंगे जो जवाब देने के लिए बने हैं और “मालूम नहीं” नहीं कहते, तो इंसान भी वही व्यवहार सीख सकते हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 1 일 전
Hacker News की राय

  • यह शोध काफ़ी कमज़ोर है। PDF पर लगे इस कमेंट ने सही कहा है कि प्रयोग की गई चीज़ों में AI systems के लिए कोई भी विशिष्ट तत्व था ही नहीं
    शोधकर्ताओं ने प्रतिभागियों को एक ऐसा LLM दिया जिसके बारे में उन्हें पता था कि वह कुछ खास सवालों पर गलत जवाब देता है, और फिर उसी सवालों को ऐसी शर्त में पूछा जहाँ भरोसा न हो तो जवाब न देना भी स्वीकार्य था
    यह वैसा ही है जैसे किसी अनजान विषय की ऐसी textbook दे दी जाए जिसमें कुछ तथ्य गलत हों, और फिर उसी textbook की गलत बातों पर परीक्षा ली जाए। ऐसे में प्रतिभागियों के जवाब देने की संभावना भी बढ़ेगी और गलत जवाब देने की भी
    मुझे इस बात में काफ़ी दिलचस्पी है कि चापलूसी की प्रवृत्ति या cognitive helplessness जैसी चीज़ें आधुनिक LLMs के सीखने और आत्मविश्वास पर क्या असर डालती हैं, लेकिन इस शोध ने ऐसे किसी तत्व की जाँच ही नहीं की, और LLM को गलतियों वाली textbook से बदल दें तो भी experiment design लगभग वही रहेगा

    • शीर्षक कहता है, “AI advice ने लोगों की accuracy को 3 गुना घटा दिया,” लेकिन लोगों की accuracy आँकने के लिए पहले इस्तेमाल किए गए AI की अपनी accuracy जाननी होगी। अगर AI को तर्कसंगत अपेक्षा से बहुत खराब स्तर तक सीमित किया गया था, तो न इंसानों को दोष दिया जा सकता है न AI को; यह ऐसा है जैसे किसी expert से झूठ बुलवाकर फिर निष्कर्ष निकालना कि “experts की बात सुनने से accuracy घटती है”
      बेहतर शीर्षक शायद यह होता: “बहुत inaccurate AI ने लोगों को कम accurate बना दिया,” लेकिन तब स्वाभाविक अगला सवाल होता, “तो ठीक-ठाक accurate AI का क्या?”
    • सिर्फ़ इसलिए कि textbook से भी वही नतीजा आ सकता है, यह ज़रूरी नहीं कि शोध का निष्कर्ष अर्थहीन हो जाए। मुख्य बात यह है कि अगर अधिकारिक दिखने वाला लेकिन गलत tool किसी non-expert domain में दे दिया जाए, तो लोग जवाब गलत होने पर भी “मुझे नहीं पता” कहने की क्षमता खोने लगते हैं
      जैसे अगर आप गलत जवाब नहीं चाहते तो कर्मचारियों के लिए खराब textbook नहीं खरीदेंगे, वैसे ही जिन क्षेत्रों की उन्हें समझ नहीं है वहाँ AI देना भी टालना पड़ सकता है
      और textbook में जवाब ढूँढना, LLM से पूछने की तुलना में, कहीं ज़्यादा झंझट वाला काम है, इसलिए उसका असर शायद कम हो। अगर जवाब देना अनिवार्य न हो, तो कम ही लोग बेवजह textbook खंगालेंगे, और अगर कवर पर लिखा हो “इसमें गलत जवाब हो सकते हैं,” तो और भी कम
    • इसे textbook से अलग न मानना भी संभव है, लेकिन वास्तविक दुनिया में textbook का ऐसा इस्तेमाल कम होता है, जबकि LLM का वास्तव में इसी तरह इस्तेमाल बहुत बार होता है
    • डराने वाली बात यह है कि लोग ऐसे क्षेत्रों में यह पहचान ही नहीं पाते कि AI advice खराब है, इसलिए वे पूरे आत्मविश्वास के साथ दी गई बकवास सलाह को आसानी से मान सकते हैं
      सोचता हूँ, कितनी बार manager experts से पूछे बिना AI की सलाह दोहराते होंगे, या सिर्फ़ इसलिए expert पर शक करते होंगे कि AI ने कुछ और कहा। AI कभी सही भी हो सकता है, लेकिन जब वह गलत हो तो उसे सुधारना बेहद कठिन है
    • शोध अपने आप में ठीक है। लेख और मूल शीर्षक ने उससे आगे के निष्कर्ष ठोक दिए, और यह विडंबना है कि TNW का लेख 100% AI-generated चीज़ जैसा लगता है

  • advice/जानकारी वाले subreddits की quality, AI के इस्तेमाल से बुरी तरह गिर गई है। सवाल पूछने वाला किसी ऐसे व्यक्ति का जवाब चाहता है जो खुद जानता हो, लेकिन बहुत से लोग सवाल को ChatGPT में डालकर उसका आउटपुट ऐसे पोस्ट कर देते हैं मानो वह उनकी अपनी समझ और insight हो
    शोध की quality कैसी है, यह नहीं जानता, लेकिन Reddit जैसी आधी-हक़ीक़त वाली जगह में यह phenomenon साफ़ दिखता है। बात सिर्फ़ “मुझे नहीं पता” न कह पाने की नहीं है; लोग जानकार दिखने का मौका सक्रिय रूप से ढूँढते फिरते हैं

    • 2022 से पहले की पोस्टें और वीडियो, परमाणु बम युग से पहले बने low-background steel जैसी सूचना-संपत्ति हैं। सब कुछ कीमती नहीं है, लेकिन अब हालत यह है कि experts की जानकारीपूर्ण पोस्टों में भी AI का असर इतना व्यापक हो चुका है कि वे महत्वपूर्ण बन गई हैं
      मेरा तरीका है लगातार मूल स्रोत और साक्ष्य जाँचना, लेकिन इसमें बहुत समय और मेहनत लगती है, और शुरुआत में यह चुनना भी मुश्किल होता है कि पहले क्या verify किया जाए
    • अगर आप जवाब दें, “जब तुमने इसे खुद लिखने की मेहनत भी नहीं की, तो मैं इसे पढ़ने की मेहनत भी नहीं करूँगा,” तो लोग बहुत भड़क जाते हैं, और कभी-कभी यह समझाने के लिए कि आप गलत क्यों हैं, AI से लिखवाकर जवाब भी भेजते हैं
      “ChatGPT में xyz डालो” कह देना, या किसी structured document का link भेज देना, उससे बेहतर है। लेकिन अगर कोई बस output copy-paste कर दे, तो उसने इस प्रक्रिया में कोई मूल्य नहीं जोड़ा
    • जो लोग बातचीत के प्रस्ताव को समझे बिना तुरंत “उसे search क्यों नहीं कर लेते?” कहकर बात ख़त्म कर देते हैं, उनसे अब मैं दोस्ती नहीं रखता
      IMDB या DIY videos से जानकारी मिल सकती है, लेकिन असल में चाहिए context वाली व्याख्या और local advice। जो लोग मुझे जानते हैं, उन्हें यह भी पता होता है कि मेरे लिए क्या आसान है और क्या मुश्किल, इसलिए वे बता सकते हैं कि कौन-सी फ़िल्म या trick मेरे लिए ठीक नहीं होगी, या किस दुकान पर जाना चाहिए
    • जिन advice/जानकारी subreddits को मैं पहले देखता था, उनमें से ज़्यादातर AI से पहले ही घटिया पोस्टों के बोझ तले खराब हो चुके थे, और कुछ जिनको मैं अब भी subscribe करता हूँ, वे हैरानी से ठीक-ठाक हैं
      असली बात हमेशा सक्रिय moderators रहे हैं जो भारी समय और ध्यान लगाते हैं। जब low-quality पोस्ट डालने वाले users एक सीमा पार कर जाते हैं, तो अच्छे users चले जाते हैं और फिर वापसी संभव नहीं रहती
    • HN पर भी मैंने कई बार ऐसे जवाब देखे हैं: “मुझे नहीं पता, लेकिन CrapGPT में डाला तो उसने यह कहा।” ऐसा जवाब पोस्ट करने से पहले लोगों को खुद से पूछना चाहिए कि सवाल पूछने वाला अगर AI खुद इस्तेमाल करता, तो उसकी तुलना में उन्होंने कौन-सा अतिरिक्त मूल्य जोड़ा

  • AI निराशावाद के नज़रिए से देखें तो, भले ही AI अधिक स्मार्ट हो जाए, वह लगातार यूज़र को खुश करने की कोशिश करेगा, और लोग खासकर उन क्षेत्रों में जहाँ उनकी समझ कम है, मूर्खतापूर्ण विचारों को और अधिक आत्मविश्वास के साथ मजबूत करने के लिए इसका इस्तेमाल करेंगे
    तकनीकी रूप से इसका समाधान संभव हो तब भी, लोग ऐसा मॉडल नहीं चाहेंगे जो उनसे कहे कि वे गलत हैं; वे अधिक संभावना से ऐसे धाराप्रवाह झूठ को चुनेंगे जो उनकी मान्यताओं को मजबूत करे
    अभिव्यक्ति की स्वतंत्रता आपको यह सोचने पर मजबूर करती है कि आप गलत हो सकते हैं, लेकिन संगठन की स्वतंत्रता इससे बचने देती है। AI इंटरनेट के सांत्वनादायक echo chamber को ऐसी विशालता तक बढ़ाएगा जिसकी कल्पना करना कठिन है

    • Henry Petroski ने 《To Engineer is Human》 में समझाया कि calculator के calculator-युग में आने से structural engineers की संख्यात्मक समझ कमजोर हुई, उन्होंने अपनी क्षमता की सीमा के करीब काम करने की कोशिश की, और कंप्यूटर गणनाओं की जाँच करने की क्षमता भी घट गई
      वह समय था जब कंप्यूटर इंसानों से कई orders of magnitude तेज़ी से गणना करने लगे थे, और Hartford Civic Center collapse को कंप्यूटर output पर अंधविश्वास करने की विफलता के रूप में लिया गया। सौभाग्य से कोई मौत नहीं हुई
      यह कुछ हद तक चुना हुआ उदाहरण लग सकता है, लेकिन “सटीकता कम, आत्मविश्वास अधिक” के इस संयोजन से यह दुर्घटना याद आई। चिंता है कि क्या नई तकनीक का सही उपयोग तभी स्थापित होगा जब नागरिकों की मौतें हों या कानूनी जवाबदेही पैदा हो; कम से कम हम 1) इसे safety-critical systems में न इस्तेमाल करने और 2) experts को algorithm से replace न करने से शुरुआत कर सकते हैं
      https://www.engr.psu.edu/ae/thesis/failures/MKP/failures/fai...
    • हाल के समय में AI कम अनुकूलनशील दिख रहा है, और चापलूसी प्रवृत्ति एक व्यापक रूप से ज्ञात समस्या है, इसलिए AI कंपनियाँ भी इसे ठीक कर रही हैं। OpenAI ने जब GPT-4o को बंद किया था, तब जैसा दिखा, इसे नापसंद करने वाले लोग भी स्पष्ट रूप से मौजूद हैं
      लेकिन जो लोग AI से वास्तविक काम कराते हैं और इसके लिए काफी पैसा देते हैं, वे ग्राहक के सामने गलत होने से बेहतर AI से यह सुनना पसंद करेंगे कि वे गलत हैं
      सही उत्तर देते हुए भी निर्देशों का पालन करना पड़ता है, इसलिए इसे हल करना आसान नहीं है और संतुलन चाहिए। अधिक स्मार्ट मॉडल के सही होने की संभावना अधिक होती है, इसलिए वे आम तौर पर उन छोटे मॉडलों से बेहतर होते हैं जो पहले यह मान लेते हैं कि यूज़र सही है और फिर hallucination जारी रखते हैं
    • इंसानों के साथ इंटरैक्ट करने वाले AI का व्यवहार आखिरकार राजस्व कमाने के आधार पर तय होगा। यूज़र को असहज करना या उनसे असहमति जताना आम तौर पर पसंदीदा बिज़नेस रणनीति नहीं होती
      हालाँकि, अगर यूज़र आसानी से यह चुन सकें कि AI उनकी सोच या दिए गए input का कितना विरोध करे, तो यह दिलचस्प होगा
    • मुझे LLM की ज़रूरत नहीं पड़ती और मौलिक काम में यह ज़्यादा मदद भी नहीं करता, इसलिए मैं इसका लगभग इस्तेमाल नहीं करता; अगर मेरे आसपास के लोग AI की वजह से बहुत ज़्यादा कुंद हो जाएँ, तो उल्टा मुझे खुशी होगी। इससे मेरी ज़िंदगी में सफल होना और आसान हो जाएगा
    • बहुत से लोग पहले से ही असुविधाजनक सच की बजाय आरामदायक झूठ को पसंद करते आए हैं

  • अगर सही retrieval-augmented generation (RAG) पाइपलाइन या web search न हो, तो वह अधिकतम आत्मविश्वास के साथ hallucination देने के अलावा क्या कर सकता है
    अगर उन्होंने ऐसे ठीक से aligned top-tier model के साथ प्रयोग किया होता जो token probability कम होने पर जवाब देने से इनकार कर दे, तो यह अधिक दिलचस्प होता। मौजूदा प्रयोग सिर्फ यह साबित करता है कि लोग chat UI में दिखाए गए अच्छी तरह लिखे गए पाठ पर भरोसा करने की प्रवृत्ति रखते हैं

  • जो लोग अब भी सच को महत्व देते हैं, उनके लिए Richard Feynman की यह बात एक मार्गदर्शक हो सकती है। “मेरे पास यह लाभ है कि मैंने जाना है कि किसी चीज़ को सचमुच जानना कितना कठिन है, प्रयोगों की कितनी सावधानी से जाँच करनी पड़ती है, और गलती करना तथा खुद को धोखा देना कितना आसान है…”
    https://www.youtube.com/watch?v=tWr39Q9vBgo

    • कम से कम एक, और शायद कई YouTube accounts AI से बने निम्न-गुणवत्ता वाले Feynman वीडियो बना रहे हैं, इसलिए सावधान रहना चाहिए। सिर्फ इसलिए भरोसा नहीं करना चाहिए कि सामग्री मौजूदा भयावह दौर से पहले की लगती है

  • शोध की reward structure यह थी कि सही उत्तर पर $0.10 दिया जाता था, गलत उत्तर पर $0.10 काटा जाता था, और उत्तर देने से इनकार करने पर कोई बदलाव नहीं होता था
    यह नहीं लिखा था कि प्रतिभागियों को वास्तव में पैसा मिला या नहीं, और अगर अंतिम balance नकारात्मक हो तो क्या उन्हें घाटा भरना पड़ता था
    प्रभाव अपने आप में वास्तविक लगता है, लेकिन शायद डेटा जितना बड़ा नहीं होगा। अगर दाँव पर कहीं ज़्यादा बड़ी रकम होती, तो common sense ज़्यादा मज़बूती से काम करता

  • यह अच्छा है कि शोध की ओर ध्यान दिलाया गया, लेकिन source links में से कोई भी सीधे उद्धृत शोध तक नहीं जाता और वे अपने डोमेन या Business Insider पर ले जाते हैं

    • मूल पाठ https://osf.io/preprints/psyarxiv/5y6m4_v1 है
      Marcoccia, C. आदि, 《AI Advice Suppresses People’s Willingness to Say “I Don’t Know”, Even When the Advice Is Wrong and Accuracy Is Incentivized》, PsyArXiv, 15 जुलाई 2026

  • मैं जानना चाहता हूँ कि क्या AI वास्तव में सिर्फ गलत उत्तर तक पहुँच वाले माहौल की तुलना में कोई ठोस अंतर पैदा करता है
    अगर search results ही सवाल का गलत जवाब दें, तो क्या वही परिणाम आता है; AI की अपनी विशेषताएँ जैसे चापलूसी प्रवृत्ति या संवादात्मक इंटरैक्शन कितना असर डालते हैं; या फिर लोग बस पढ़ी हुई चीज़ों पर आसानी से भरोसा कर लेते हैं—यह जाँचना चाहिए

    • शोध https://osf.io/preprints/psyarxiv/5y6m4_v1 पर पढ़ा जा सकता है
      संक्षेप में, शोध ने गलत उत्तर देने वाले LLM chat interface और पहले से तैयार गलत उत्तरों तक पहुँच वाली शर्त—दोनों का अध्ययन किया, और दोनों प्रयोगों में समान परिणाम मिले

  • कुछ शिक्षक छात्रों से ChatGPT से assignment लिखवाने के बाद गलत हिस्सों की आलोचना करने को कहते हैं
    जहाँ सामान्यतः AI उत्तर को ज्यों का त्यों कॉपी करके जमा कर दिया जाता, वहाँ पहले AI उत्तर दिखाना और फिर समुदाय से यह चर्चा कराना कि उसमें क्या छूटा है, एक दिलचस्प तरीका हो सकता है

    • शिक्षा में लगातार वैज्ञानिक प्रमाण-आधारित दृष्टिकोण की माँग करनी चाहिए, और किसी के तात्कालिक शैक्षिक प्रयोगों पर बच्चों की शिक्षा बर्बाद नहीं करनी चाहिए। Bill Gates के साथ भी हम पहले ऐसा कुछ झेल चुके हैं