AI उत्तरों में गलतियाँ शामिल हो सकती हैं
(os2museum.com)- Google Search के AI Overview ने मौजूद ही नहीं करने वाले IBM PS/2 Model 280 के बारे में भरोसेमंद दिखने वाले स्पेसिफिकेशन गढ़ दिए, और उसी क्वेरी पर जवाब बार-बार बदलता रहा
- गलत जवाबों में Model 280 को ISA-आधारित 286 सिस्टम बताया गया, जिसमें 1987 लॉन्च, 1MB RAM, 640KB RAM, VGA, 1.44MB ड्राइव जैसी डिटेल्स आपस में मिलाई गईं
- कुछ जवाबों में कहा गया कि 286 सिस्टम को 128MB RAM तक बढ़ाया जा सकता है, लेकिन 286 की संरचनात्मक सीमा 16MB है, इसलिए जवाब के भीतर ही विरोधाभास दिखता है
- एक ही क्वेरी को कई बार दोहराने पर कभी-कभी सही जवाब भी मिलता है कि “Model 280, PS/2 सीरीज़ का कोई विशिष्ट मॉडल नहीं था”, लेकिन इसका अनुपात लगभग 10% ही रहा
- AI search summaries में जितनी ज्यादा डिटेल होती है, वे गैर-विशेषज्ञों को उतनी ज्यादा भरोसेमंद लग सकती हैं, इसलिए “AI responses may include mistakes” चेतावनी को हल्के में लेना मुश्किल है
मौजूद न रहने वाले PS/2 Model 280 का मामला
- 1992 के आसपास के IBM PS/2 Server सिस्टम को खोजने के लिए मॉडल नाम Google में डाला गया, लेकिन वास्तव में जिस मशीन को खोजा जा रहा था, वह कई 486 प्रोसेसर और Microchannel(MCA) इस्तेमाल करने वाला सिस्टम था
- सर्च रिज़ल्ट के AI Overview ने शुरू से ही लक्ष्य से अलग जवाब दिया
- PS/2 Model 280 को 286-आधारित सिस्टम की तरह समझाया
- Microchannel नहीं, बल्कि ISA-आधारित होने जैसा लिखा
- उसी क्वेरी को फिर चलाने पर भी सिर्फ जवाब की भाषा बदली, लेकिन Model 280 को ISA-आधारित 286 सिस्टम बताना जारी रहा
बार-बार पूछने पर बदलते नकली स्पेसिफिकेशन
- AI Overview ने क्वेरी दोहराने पर हर बार अलग-अलग स्पेसिफिकेशन दिए
- एक जवाब में कहा गया कि Model 280 में 1MB RAM है और इसे 6MB तक बढ़ाया जा सकता है
- दूसरे जवाब में बेस RAM को 640KB बताया गया
- 1.44MB ड्राइव और VGA graphics होने की बात बार-बार दोहराई गई
- एक और कोशिश में Model 280 को 128MB RAM तक expandable 286 सिस्टम बताया गया
- 286 की संरचनात्मक सीमा 16MB होने से यह विवरण तकनीकी रूप से गलत है
- AI Overview ने यह भी कहा कि Model 280, IBM personal computer लाइन में एक महत्वपूर्ण प्रगति था और उसने PS/2 को लोकप्रिय और भरोसेमंद platform के रूप में स्थापित करने में मदद की
मुख्य गलती: Model 280 था ही नहीं
- सबसे बड़ी समस्या यह थी कि PS/2 Model 280 नाम का मॉडल खुद अस्तित्व में ही नहीं था
- गलत मॉडल नंबर डालने पर भी Google AI ने पहली नज़र में भरोसेमंद लगने वाला विवरण बना दिया
- ऐसे जवाबों में डिटेल बहुत होती है और भाषा भी स्वाभाविक लगती है, इसलिए तथ्यहीन सामग्री भी आसानी से विश्वसनीय जानकारी जैसी दिख सकती है
कभी-कभार ही मिलने वाला सही जवाब
- एक ही क्वेरी को काफी बार दोहराने पर सही जवाब कभी-कभी सामने आता है
- “Model 280, PS/2 सीरीज़ का कोई विशिष्ट मॉडल नहीं था”
- यानी क्वेरी में ही गलती थी, इस आशय का जवाब मिलता है
- लेकिन दोहराई गई क्वेरी में सही जवाब लगभग 10% मामलों में ही मिला, जबकि बाकी ज्यादातर प्रयासों में AI ने बातें गढ़ीं
- hallucination वाले जवाब सिर्फ बेकार ही नहीं होते, गलत जवाब सही जवाब से भी ज्यादा “असली” लग सकता है
जब AI search summaries खतरनाक हो जाती हैं
- विशेषज्ञ जवाब के भीतर की असंगतियों को अपेक्षाकृत जल्दी पकड़ सकते हैं
- उदाहरण के लिए Wikipedia की List of IBM PS/2 Models देखकर पुष्टि की जा सकती है कि Model 280 मौजूद नहीं था
- गैर-विशेषज्ञों के लिए AI search summaries मददगार होने की संभावना जितनी ज्यादा है, गलत जवाब के झांसे में आने की संभावना भी उतनी ही बड़ी है
- हर बार अलग जवाब देने वाला और कभी-कभी ही सही होने वाला research assistant भरोसेमंद नहीं कहा जा सकता
- Google का “AI responses may include mistakes” संदेश कोई साधारण सावधानी सूचना नहीं है; AI-जनित summary वास्तविकता से कटी हुई पूरी तरह झूठी जानकारी भी हो सकती है
2 टिप्पणियां
मुझे लगता है कि LLM से सिर्फ़ summary करवाना बेहतर है। डेटा के source को ढूंढने और verify करने की प्रक्रिया ज़रूर आवश्यक है।
Hacker News की राय
Google Search का Gemini context और accuracy की परवाह किए बिना, search query का समर्थन करता हुआ दिखने वाला content मनमाने ढंग से गढ़ देता है। यह लगभग पूरी तरह confabulation जैसा है, और खुद करके देखें तो हैरान करने वाला है
जब आपको खोजा जा रहा result पहले से पता हो, तो memory aid के तौर पर काम आ सकता है, लेकिन अगर आप नहीं जानते, तो इस पर भरोसा करना बिल्कुल मुश्किल है
Google Veo का output भी ध्यान से देखें तो इसी तरह छेदों से भरा है, और output में reasoning शामिल होने का कोई निशान नहीं दिखता
Veo की हास्यास्पद गलती: https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
Tesla FSD के अजीब तरह से behave करने का मामला: https://electrek.co/2025/05/23/tesla-full-self-driving-veers...
Ben Evans भी जैसा कहते हैं, “यह बेहतर हो जाएगा” वाला वादा सीमित है, और आखिरकार खोखला वादा ही है
कल AI Overview ने, जब मैंने Berlin के एक concert hall में होने वाला memorial event खोजा, तो पहले ही दिवंगत हो चुके एक Italian musician का न होने वाला album पूरा का पूरा बना डाला
यानी उसने बस venue का नाम उठाया और दावा कर दिया कि वह उस artist की सबसे महत्वपूर्ण कृति है
मजेदार बात यह कि जब मैंने वह जवाब ChatGPT में paste किया, तो उसने AI Overview की गलती को बहुत तीखे और cynical अंदाज में काटा, जिससे हंसी आ गई
पुराने समय में यह कभी pass नहीं होता, लेकिन आजकल माहौल है कि चलो, इतना ठीक है
मुझे समझ नहीं आता कि हमें झूठे या inaccurate results क्यों स्वीकार करने चाहिए
Information hygiene पहले भी जरूरी थी, लेकिन आगे चलकर लगता है यह सचमुच essential skill बन जाएगी
[year] [manufacturer] [model] [feature]search किया। पुराने Google के लिए यह शायद बिल्कुल perfect search होती, लेकिन अब page का 90% गलत model, गलत year, यहां तक कि गलत manufacturer के बारे में AI sludge थाकिसी हद तक मददगार एक YouTube video तो था, लेकिन page के बिल्कुल नीचे जाकर ही एक बिल्कुल अलग car forum में पुराने-style Google search वाला जवाब मिला। CamaroZ28.com का शुक्रिया
मुझे पता है कि असल में उसके आसपास prison, Costco, कुछ rural houses, और खाली जगह के अलावा कुछ नहीं है
Search page के top पर पूरी तरह झूठा और fabricated कचरा भर देना देखकर हैरानी होती है
Employment law जैसे topics या दूसरे searches में भी यह अक्सर खराब information लौटाता है
अगर लोग सचमुच इस पर depend न करते, तो यह मजेदार होता
यह phenomenon सचमुच frustrating है। मैं LLM की probabilistic nature और limitations को समझता हूं, या कम से कम जानता हूं, लेकिन जब मैं पत्नी या दोस्तों को बताता हूं कि वे LLM का इस्तेमाल ऐसे कामों में गलत कर रहे हैं जिनके लिए यह fit नहीं है और भरोसेमंद नहीं है, तो वे बस हाथ झटककर मुझे AI cynic कहकर टाल देते हैं
वे अब भी LLM से calculations करवाते हैं, जैसे bill split करने जैसे काम सौंपते हैं, और factual data lookup के results को भी 100% भरोसेमंद और accurate मानते हैं
core बात यह है कि chatbot बहुत wide range के tasks कर सकता है, तो क्या ऐसी चीज के लिए बिल्कुल अलग app में context switch करने की वजह है?
लगता है दूसरे use cases में भी यह ज्यादा बार होगा, और आखिर में usability सब पर भारी पड़ती है
“AI responses may contain mistakes” जैसे साधारण disclaimer या ChatGPT के नीचे दिखने वाली “ChatGPT can make mistakes. Check important info” जैसी लाइनें अब साफ़ तौर पर नाकाफ़ी हैं
सच तो यह है कि कुछ खास क्षेत्रों में LLM hallucination की वजह से लोगों को नुकसान होने की खबरें कई सालों से आती रही हैं, फिर भी लोग लगातार फँस रहे हैं; इसलिए providers को, जब तक वे hallucination को पूरी तरह ठीक नहीं कर सकते, users को errors की संभावना के बारे में कहीं ज़्यादा सक्रिय रूप से शिक्षित करना चाहिए
friction बढ़े, तब भी यह ज़रूरी है
friction तो पहले से मौजूद है। AI कंपनियाँ और cloud providers सभी “censored models” चला रहे हैं, और हर layer पर और censorship जोड़ी जा रही है
यहाँ इससे बड़ी friction क्या होगी? और popups दिखाना?
अगर पहला विकल्प चुना, तो यह असल में model hosting business को खत्म करने जैसा होगा
कंपनियाँ models develop करके अंदरूनी तौर पर इस्तेमाल कर सकती हैं और कर्मचारियों को दे सकती हैं, लेकिन public API खत्म हो जाएगी
कंपनियाँ आपस में legally binding contracts के ज़रिए models का इस्तेमाल या license करेंगी, लेकिन आम जनता को legal risk कम करने वाली व्यवस्था के बिना access नहीं मिलेगा
कुछ साल बाद रवैया नरम पड़े तो कुछ कंपनियाँ boundaries push करना शुरू कर सकती हैं। जैसे legal approval process को automate करना या signup खोलना
Google Maps किसी अजीब मोहल्ले जैसी गलत जगह ले गया था, तब भी खबर बनी थी और PR crisis response करना पड़ा था
अब तो ऐसी एक disclaimer line लगा दो और बात खत्म
इन technologies को मिल रही जनमत की नरमी असंतुलित और निराशाजनक है
एक बार डँस जाने जितना असरदार disclaimer बनाना काफी मुश्किल लगता है
जैसे Anthropic CEO ने हाल में mass unemployment के बारे में कहा, वे कई बार इसी तरह बात कर चुके हैं
errors की संभावना पर ज़ोर देना और मानव श्रम को replace करने का वादा—ये दोनों साथ कैसे रह सकते हैं, समझ नहीं आता
language model को कुछ जानने के लिए नहीं, बल्कि कुछ कहने के लिए design किया गया है। इसलिए इसे knowledge model नहीं, language model कहा जाता है
पहले से generate हुए words दिए जाएँ तो यह अगला word इस आधार पर जोड़ता रहता है कि वह sequence कितना common है
हर बार जवाब अलग होने की वजह यह है कि next word चुनते समय pseudo-random number generator असर डालता है
model सबसे संभावित next words की probability distribution देखता है, और अगर
temperatureनाम की setting 0 हो तो random असर नहीं होता, इसलिए हमेशा सबसे संभावित next word, यानी top-1 MLE चुना जाता हैGUI में इसे वास्तव में 0 पर set नहीं किया जा सकता, क्योंकि ऐसा करने पर ऐसा output आता है जिसे हम “बहुत boring” कहेंगे
इसलिए model को IBM, PS/2, 80286 और 80486, CPU, 280, या उस specific model के बारे में कुछ पता नहीं है
एक जवाब से ऐसा लगता है कि model 280 मौजूद नहीं है; सोच रहा हूँ कि वह किसी अलग process से generate हुआ था, user feedback को reinforcement learning से incorporate करने के तरीके की वजह से था, या उसी random next-word selection में किस्मत से निकला result था
cloud UI temperature 0 की अनुमति इसलिए नहीं देते कि model कभी-कभी tokens की endless repetition में फँस जाता है, और आम लोग अगर यह देखें तो immersion टूट सकता है
Google लगता है कि knowledge देने को words देने में बदलने की गलती कर रहा है
हालांकि असली business, यानी ad revenue, के नजरिए से शायद कोई फर्क न हो
Google Search website पर “AI responses may contain mistakes” वाला कमजोर disclaimer छोटे अक्षरों में है, वह भी Show more button के पीछे छिपा हुआ
जब OpenAI ने ChatGPT launch किया था, तो मुझे computer science background न रखने वाले एक professor को समझाना पड़ा कि यह वह AI नहीं है जैसा लोग सोचते हैं, बल्कि फिलहाल AI जैसा दिखने वाला computational playfulness जैसा कुछ है
लेकिन यह playfulness homework cheating के लिए बेहद शानदार निकली
अगर quality या copyright की ज्यादा चिंता न हो, तो कई दूसरी तरह के कामों में भी इसे trick के तौर पर इस्तेमाल करना अच्छा है
अंदर क्या हो रहा है, इस पर “true Scotsman नहीं है” जैसी बहस करना बेमानी है
क्योंकि मानव मस्तिष्क अंदर क्या करता है, यह भी हम नहीं जानते
Gemini ऐसा लगता है जैसे उसे उन सवालों का जवाब देने के लिए tune किया गया है जो लोग आम तौर पर पूछते हैं, लेकिन अगर आप ज़्यादा पारंपरिक तरीके की search query डालें तो गढ़ी हुई बकवास निकलती है
मैंने कई लोगों को AI Overview को किसी oracle की तरह मानते देखा है
मुझे लगता है कि जो “सामान्य” लोग सीधे LLM इस्तेमाल नहीं करते, वे AI के साथ इसी तरह interact करते हैं
यह news trust की तरह उम्र के हिसाब से बंटा हुआ भी नहीं है; AI output पर भरोसा ज़्यादातर आबादी-समूहों में फैला लगता है
लगता है इंसान नाम की प्रजाति को बिना आधार के confident computer answers पसंद आते हैं
10 साल से ज़्यादा समय तक search page पर उसी जगह “page से लिया गया excerpt” UI होता था, और वह समझ में आता था
वह एक click बचा देता था, और अगर आप original site पर भरोसा करते थे और Google की excerpt निकालने की तकनीक पर भी कुछ हद तक भरोसा था, तो शक करने को बहुत कुछ नहीं था
उदाहरण के लिए, कोई सरल medical question search करने पर Mayo Clinic का excerpt आता, तो Mayo Clinic पर भरोसा होने के कारण वह काफी था
कभी-कभी मैं Google excerpt copy करके page पर जाता और
ctrl-fसे उसे खोजता भी थाGoogle प्रतिष्ठित sources चुनने में काफी अच्छा था, और excerpts भी हमेशा page के अंदर ऐसे मिलते थे कि context distort नहीं होता था, इसलिए भरोसा बनना स्वाभाविक था
समय के साथ वह system भरोसेमंद sources चुनने में खराब होता गया, शायद क्योंकि SEO ने उसे exploit कर लिया
लेकिन अब उस जगह AI Overview ने ले ली है
मैं AI के खिलाफ नहीं हूँ, लेकिन AI मूल रूप से “भरोसेमंद source से लिया गया, verify किया जा सकने वाला relevant excerpt milliseconds में दिखाना” से अलग है
अगर पहली कोशिश में पुष्टि नहीं मिलती, तो जब तक मनचाहा जवाब न आ जाए, question को अलग तरह से frame करते हैं
क्योंकि सब कुछ अविश्वसनीय और भ्रमित करने वाला SEO spam sludge बन गया है
AI Overview आने पर यह कितना और खराब होगा, सोचकर ही डर लगता है
क्या हम ऐसे दौर में जा रहे हैं जहाँ “printer कैसे काम करता है” search करने पर बताया जाएगा कि वह pulleys और ropes के system से बना है, और लोग उस पर आंख मूंदकर भरोसा करेंगे
जिन क्षेत्रों में मेरी दिलचस्पी है, उनमें दर्जनों searches में मैंने जिस scale की गलतियाँ देखीं, वे ठीक इसी स्तर की थीं, और सबने इससे कहीं ज़्यादा अजीब या सीधे-सीधे खतरनाक जवाबों के screenshots भी देखे होंगे
“AI responses में mistakes हो सकती हैं” वह सबसे महत्वपूर्ण एक वाक्य है जिसे मैं पूरी AI debate पर चिल्लाकर कहना चाहूँगा
energy और climate impact के साथ-साथ, AI ethics या AI safety discussions का central issue भी यही होना चाहिए
अगर यह hype बिना control के जारी रहा, तो हमें सबसे बड़ा नुकसान पहुँचाने वाली दो चीजें यही होंगी
लेकिन लोग इसे समझते नहीं और उसे सर्वशक्तिमान oracle की तरह treat करते हैं
आखिरकार यह एक statistical model है, इसलिए बंदर के Shakespeare की रचनाएँ पैदा कर देने की probability भी zero नहीं है
इसलिए Google ने search को बुनियादी तौर पर गलत दिशा में पकड़ लिया है। अब उसे results की accuracy की परवाह नहीं दिखती, बल्कि मुख्य रूप से quick answers और उनके नीचे sponsored links के bundle देने में दिलचस्पी लगती है
मैंने ऐसे screenshots भी देखे हैं जिनकी content किसी की जान ले सकती थी या उसे legal trouble में डाल सकती थी
अब लगता है यह “negative answer देने से बेहतर hallucination बनाना है” में evolve हो गया है
AI उस एक व्यक्ति जैसा है जो किसी भी topic पर जबरदस्त confidence के साथ कुछ भी बोल सकता है। इसलिए मुझे समझ नहीं आता कि bar conversation से ज़्यादा इस पर भरोसा क्यों किया जाए
AI में confidence की कमी दिखाने वाले cues नहीं होते, और traditional algorithms हमेशा सही answer देते हैं—ऐसा experience होने के कारण लोग machine output पर बहुत भरोसा करते हैं
critical नज़र से देखने वालों का प्रतिशत बहुत मामूली होगा
कई मायनों में हिम्मत चाहिए भी। John Ratzenberger से lawsuit झेलने का risk भी तो है
कुछ दिन पहले ChatGPT और Python code के साथ मेरा एक अनुभव हुआ
मैं Gunicorn की logger class modify करके कुछ URL paths filter करना चाहता था
यह हर request पर चलने वाला hot code path था, इसलिए मैंने कहा कि मैंने 3 solutions बनाए हैं और देखना चाहता हूँ कि कौन सबसे तेज है
मैंने
startswithइस्तेमाल करने वाली list+loop, compiled regex, और path tuple pass करने वालेstartswithकी तुलना कीChatGPT ने benchmark code और results बना दिए, और कहा कि regex solution Python standard library में सबसे अच्छा और तेज है
मुझे भरोसा नहीं हुआ, तो मैंने खुद benchmark चलाया; tuple version regex से 5 गुना से भी ज़्यादा तेज निकला
जब मैंने कहा कि result अलग है, तो उसने लगभग वैसे ही जवाब दिया: “अरे हाँ, correction के लिए धन्यवाद। tuple version वास्तव में सबसे तेज है!”
उसने benchmark code लिखने के कुछ मिनट बचा दिए, लेकिन जिन चीज़ों पर मैं 100% sure नहीं हूँ, उनके outputs पर मैं लगभग भरोसा नहीं करता