- Google AI Overview में यह गलत जानकारी दिखाई गई कि 'Dave Barry' की मृत्यु हो गई है
- वास्तव में Dave Barry जीवित हैं, फिर भी AI ने इस गलत जानकारी को कई बार दोहराया
- उपयोगकर्ता ने कई बार feedback जमा किया, लेकिन AI के साथ चैट और समस्या सुधार की प्रक्रिया में संतोषजनक समाधान नहीं मिला
- AI ने वास्तविक व्यक्ति की जानकारी को कन्फ्यूज़ कर दिया, किसी और के साथ मिला दिया, या बार-बार त्रुटियाँ पैदा कीं
- इस मामले से पता चलता है कि AI की अभी भी तथ्य-आधारित कामों में सीमाएँ हैं
परिचय
- Dave Barry को अपनी मौत की खबर 'Google' से पता चली
- Google पर अपना नाम ("Dave Barry") खोजने पर Google AI Overview नाम का एक summary feature दिखाई दिया
- यह feature AI की मदद से search results का सार दिखाता है, और हाल में कई users का ध्यान खींचने वाली service है
गलत मृत्यु जानकारी की पुष्टि
- Google AI Overview में Dave Barry की बुनियादी व्यक्तिगत जानकारी के साथ "People also ask" नाम की प्रश्न सूची थी
- उन प्रश्नों में यह बात शामिल थी कि Dave Barry की मृत्यु हो गई है, जबकि यह वास्तविकता में सच नहीं था
- Dave Barry को खुद के जीवित होने का भरोसा था, जिसमें कई medical professionals के आकलन भी शामिल थे
Google AI की feedback processing
- Dave Barry ने Google AI Overview की गलत जानकारी पर feedback जमा किया
- Google के automated system होने को देखते हुए उन्होंने यह उम्मीद नहीं की थी कि कार्रवाई तुरंत होगी
- लेकिन feedback जमा करने के बाद सवाल वाला हिस्सा तो बदल गया, पर सही विवरण गायब हो गया और उसकी जगह और भी गलत जानकारी आ गई, जो किसी दूसरे Dave Barry के बारे में थी
AI के साथ संवाद की समस्या
- Dave Barry ने यह फिर से बताने के लिए अतिरिक्त feedback शुरू किया कि AI उनकी स्थिति को गलत समझ रहा है
- इस प्रक्रिया में AI chatbot के साथ बातचीत ठीक से नहीं हुई, और AI अर्थ को सही तरह समझ नहीं पाया
- बार-बार समझाने के बावजूद AI समस्या को पहचान नहीं सका, और बातचीत ऐसी चलती रही मानो किसी मशीन से बात हो रही हो
बार-बार होने वाली त्रुटियाँ और अस्थायी समाधान
- अतिरिक्त feedback जमा करने के बाद Overview की सामग्री फिर बदली गई और मृत्यु वाली बात हट गई
- लेकिन फिर भी दूसरे हिस्सों में त्रुटियाँ थीं, जैसे किताबों के प्रकाशन की जानकारी और column writing career का इतिहास
- इसके बाद भी Overview फिर से उनकी मृत्यु दिखाने लगा, यानी जानकारी की सटीकता अस्थिर तरीके से बार-बार बदलती रही
- आखिरी बार जाँचने पर "कन्फ्यूजन है" जैसी व्याख्या के साथ Dave Barry को फिर जीवित दिखाया गया
निष्कर्ष और सीख
- इस अनुभव से पता चलता है कि AI बहुत शक्तिशाली tool है, लेकिन जहाँ सटीक तथ्य-जांच जरूरी हो वहाँ उस पर भरोसा करना मुश्किल है
- फिलहाल AI कम विश्वसनीयता वाले कामों, जैसे recommendation letters लिखना या policy drafts बनाना, के लिए अधिक उपयुक्त है; जबकि high precision वाले क्षेत्रों, जैसे aircraft operations, में यह उपयुक्त नहीं है
- अंततः यह AI की सीमाओं को दिखाता है और संकेत देता है कि भविष्य में इसका उपयोग करते समय सावधानी जरूरी है
सर्वेक्षण
- पाठकों के सामने यह सवाल रखा गया: "क्या आपको लगता है कि भविष्य में AI मानवता के लिए लाभकारी साबित होगा?"
- अंत में एक हल्के मजाक के साथ बात समाप्त होती है
1 टिप्पणियां
Hacker News की राय
हमारे इलाके में एक लोकप्रिय दुकान को Google Maps पर इस तरह संक्षेपित किया गया है
लिखा है कि एक जीवंत bar में drinks और po' boy sandwich मिलते हैं, और वहाँ jukebox, pool table, electronic darts हैं, लेकिन असल में न po' boy है, न jukebox (हालाँकि playlist शानदार है), न pool table और न electronic darts। drinks भी बस beer और कुछ canned products तक सीमित हैं, cocktail या mixed drink नहीं हैं
एक महीने पहले किसी ने निराश होकर 1-star की आलोचनात्मक review छोड़ी, क्योंकि वह pool या darts खेलने गया था और वहाँ कुछ भी नहीं था
साफ़ है कि दुकान के मालिक ने भी रिपोर्ट किया होगा, मैंने भी किया, और शायद दूसरे visitors ने भी किया होगा
फिर भी एक महीना बीत जाने पर भी वह ग़लत जानकारी अब भी वैसी की वैसी पड़ी है
सबसे आसान समाधान यह है कि सचमुच po' boy बेचना शुरू कर दें, और jukebox/pool table/electronic darts लगा दें
काश Google में दुनिया भर के लिए ऐसा कोई option होता कि “मुझे AI से बना हुआ साफ़-साफ़ दिखने वाला content बिल्कुल नहीं देखना” और उसे बंद किया जा सकता
शायद यह बहुत बड़ी अपेक्षा है
ऐसी ग़लत जानकारी की वजह से लोग सचमुच फ़ैसले लेते हैं (जैसे दुकान पर जाना), और फिर ग़लत reviews तक पोस्ट कर देते हैं
सोच रहा हूँ कि ऐसे मामले में हर्जाने का मुक़दमा किया जा सकता है या नहीं
या फिर बेहतर यह होगा कि बस Google से जानकारी हटवाई जाए
आजकल जब भी मैं car forums या Facebook groups जैसी जगहों पर लोगों की मदद करने की कोशिश करता हूँ, वे अक्सर “Google पर देखा गया screenshot” दिखाते हैं, और वह साफ़ तौर पर AI summary होती है
उदाहरण के लिए किसी feature X के होने का detailed वर्णन आता है, जबकि ऐसा feature कभी अस्तित्व में था ही नहीं
यह लगातार होता रहता है
ख़ासकर car-related online communities में यह बहुत बड़ी समस्या है
मुझे लगता है कि यह सिर्फ़ AI summary की समस्या नहीं, बल्कि Google की संरचनात्मक समस्या है
Google अक्सर ग़लत जानकारी दिखाता है, और आम तौर पर उसे ठीक कराने का कोई रास्ता लगभग नहीं होता
feedback forms वगैरह ज़्यादातर नज़रअंदाज़ कर दिए जाते हैं
Google Maps पर इसी तरह की समस्याओं में ग़लत जानकारी सुधारने के लिए मुझे सालों लड़ना पड़ा, और ज़्यादातर लोग Google Maps को परम सत्य मानते हैं
मुझे यह तक पक्का नहीं कि जानकारी बदलना वास्तव में मेरे feedback की वजह से हुआ था या नहीं
Google मानो firehose से पानी छोड़ने की तरह जानकारी उगलता रहता है
Google इतना बड़ा है कि ऐसी असंगतियों की उसे ज़्यादा परवाह नहीं, बल्कि लगता है कि चूँकि इससे उसके business model पर असर नहीं पड़ता, इसलिए वह परवाह ही नहीं करता
मुझे लगता है कि यह सच में AI summary की समस्या है
पहले सबसे ऊपर वही search result आता था जो user की query से सबसे ज़्यादा संबंधित होता था, और user click करके ख़ुद देख लेता था कि बात सही है या नहीं
अब AI summary हमेशा सबसे ऊपर आती है, और वह LLM बहुत तेज़ लेकिन बेवकूफ़ मॉडल है, इतना सस्ता कि हर webpage पर चलाया जा सकता है
यह साफ़ तौर पर एक product decision है, और गंभीर रूप से ग़लत फैसला है
उदाहरण के लिए "Suicide Squad" खोजने पर ऐसा नतीजा आता है
इस मामले में ग़लत जानकारी इसलिए दिखी क्योंकि AI summary ने दो अलग-अलग लोगों की जानकारी मिला दी
पारंपरिक search में webpages शायद अलग-अलग एक-एक व्यक्ति की जानकारी संभाल रहे होते
इसलिए यह समस्या उल्टा सिर्फ़ AI summary में पैदा हुई
Google के पास ख़ास तौर पर individual user level पर accuracy को प्राथमिकता देने की बहुत कम प्रेरणा है
content की भारी मात्रा के कारण “scale” का बहाना बनाकर अनदेखा करना भी उसके लिए आसान है
ग़लत जानकारी हो तो एक इलाज़ है
उसे Hacker News(HN) के main page पर पहुँचा दो
पहले Google से मेरी सबसे बड़ी शिकायत बस इतनी थी कि Java docs (class name search) में version 1.4 के docs, version 6 से ऊपर आ जाते थे
“AI ने लिखा कि Dave Barry 2016 में मर गया” वाली यह घटना दिलचस्प है; सोच रहा हूँ कि आगे जब उसकी और लिखाइयाँ index होंगी तो summary भी बदलेगी या नहीं
शायद कोई AI summary यह लिख दे: “Dave Barry 2016 में मर गया था, लेकिन वह अब भी उस तथ्य से इनकार कर रहा है”
अभी मुझे जो AI summary मिली, वह यह है
यहाँ तक कि AI कुछ ऐसा भी लिख सकता है जैसे “Dave Barry के 2016 में मरने की बात ज्ञात थी, लेकिन उनके जीवित होने का पता चलने पर विवाद खड़ा हो गया”
मुझे लगता है कि यह कुछ हद तक लोगों के नामों की uniqueness की समस्या भी है, इसलिए ऐसी ग़लतियाँ स्वाभाविक हैं
नाम डालते समय हमेशा “इसी नाम के और कौन लोग हैं?” जैसा बुनियादी सवाल दिखाना एक तरीका हो सकता है
इससे कई लोगों की जानकारी के मिश्रण की समस्या पूरी तरह हल नहीं होगी, लेकिन मेरा मानना है कि ज़्यादातर समस्याएँ किसी celebrity के साथ समान नाम होने से पैदा होती हैं
लगता है Google कुछ हद तक knowledge graph का उपयोग करता है, लेकिन LLM उस graph को कितना देखता है, यह जानने की उत्सुकता है
शायद वह graph और सामान्य Google search results दोनों को देखता है, और LLM (शायद Gemini Flash Lite जैसा कोई साधारण मॉडल) knowledge graph से celebrity को search-result जानकारी से ठीक से अलग नहीं कर पाता और सब मिला देता है
ख़ासकर तब, जब अलग-अलग क्षेत्रों में प्रसिद्धि के अलग स्तर वाले एक जैसे नाम हों
मैं भी एक personal knowledge graph app बनाते समय समझ रहा हूँ कि सिर्फ़ नाम (surname, given name) को entity ID की तरह इस्तेमाल करना कभी न कभी समस्या पैदा कर सकता है
मेरे मामले में यह निजी जानकारी व्यवस्थित करने के लिए है, इसलिए शायद किसी हद तक चल जाएगा, लेकिन email analysis में पहले से यह दिक्कत है कि मेरे अलग-अलग nicknames को एक ही व्यक्ति के रूप में सही से नहीं पहचाना जाता
यह “confusion” आख़िरकार इस बात से पैदा होती है कि मशीन यह नहीं समझती कि इंसानी नाम अद्वितीय singleton नहीं होते
एक सामाजिक आंदोलन के तहत मैं अपने सभी बच्चों का नाम Google रखने वाला हूँ (उन बच्चों का भी जिनके नाम पहले से हैं)
Dave Barry वाकई शानदार हैं
यह AI से पहले भी Google में अक्सर होने वाली एक क्लासिक समस्या रही है
मुझे निराशावादी लगता है कि यह बदलेगा, लेकिन फिर भी उम्मीद नहीं छोड़ूँगा
और trilobite के fossils बहुत प्यारे होते हैं
मेरे डेस्क पर भी एक असली fossil रखा है, और मेरे दोस्त ने उस पर चश्मा तक पहना दिया
वजह यह है कि उसके हिसाब से मैं पहले ही ‘डायनासोर-स्तर का बूढ़ा आदमी’ हूँ, लेकिन trilobite तो उससे भी पुराना है
https://www.trilobites.info/
हाल में मैंने Dutch Interior नाम के एक band का मामला देखा, जिसे Meta AI ने पूरी तरह मनगढ़ंत झूठे आरोपों से बदनाम कर दिया
AI ने गढ़ दिया कि वह band white supremacists और far-right extremists से जुड़ा है
https://youtube.com/shorts/eT96FbU_a9E?si=johS04spdVBYqyg3
https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for-europe-over-risks-of-using-algorithms/
2019 में Netherlands tax authority ने child-care benefit fraud पकड़ने के लिए self-learning AI से risk profiles बनाए थे, और इससे अनगिनत परिवार टूटे, foster care, bankruptcy, यहाँ तक कि suicide तक की नौबत आई
2021 में Netherlands data protection authority ने tax authority पर 2.75 million euro का जुर्माना भी लगाया
सरकार का ख़ुद को ही जुर्माना भरना, क्या ही “कमाल” की चाल है
यह हास्यास्पद स्थिति इतनी विचित्र है कि कमाल लगती है
कुछ वैसा ही जैसे “मैं SF writer Greg Egan हूँ, और मेरी कोई तस्वीर इंटरनेट पर नहीं है” वाला टेक्स्ट, और उसका निरर्थक रूप से इंटरनेट पर फैल जाना
https://www.gregegan.net/images/GregEgan.htm
मुझे लगता है Dave Barry पर कुछ summaries इसलिए पूरी तरह ग़लत नहीं थीं क्योंकि सचमुच एक दूसरे Dave Barry की मृत्यु हुई थी, जो उसी समय मरा था
तब सवाल उठता है कि यह Dave Barry अपने बारे में “क्या हुआ?” वाले सवाल का प्रतिनिधि उत्तर क्यों अधिक अधिकार से पाए
असल में उसके साथ कुछ नहीं हुआ, लेकिन उसी नाम वाले दूसरे व्यक्ति के साथ सचमुच कुछ हुआ था (मृत्यु)
अगर यह जानकारी Bostonian Dave Batty से जुड़ी जानकारी या links के बीच रखी हो, तो context साफ़ तौर पर स्थापित हो जाता है
इसलिए इस context में जानकारी ग़लत थी
“Dave Barry, humor writer और Pulitzer Prize winner, पिछले साल 20 नवंबर को मर गए...” या “Dave Barry(Bostonian)... 20 नवंबर को मर गए...” जैसे वाक्य देखते ही साफ़ हो जाता है कि जानकारी किसके बारे में है
भले context वाक्य के बाहर (embedding context) चला जाए, ऐसी अभिव्यक्तियों में विषय की पहचान महत्वपूर्ण भूमिका निभाती है
वास्तव में Google पर नाम search करने पर summary की संरचना Dave Barry(लेखक) की ओर इशारा करते हुए सबसे ऊपर आती है
संदर्भ के लिए, मैंने अभी search किया तो Dave Barry को जीवित बताया गया, लेकिन उसका आधार Dave Berry(संगीतकार) का Wikipedia लेख था
यह वाला version भी (जिसमें समान नाम वाले व्यक्ति की मृत्यु-जानकारी शामिल है) दूसरी AI summaries के साथ बारी-बारी से दिखाया जा सकता है
आदर्श समाधान Wikipedia की तरह स्पष्ट person-by-person disambiguation करना है
कहीं ऐसा तो नहीं कि दूसरा Dave Barry भी असल में ज़िंदा हो
“Dave Barry को क्या हुआ?” सेक्शन में activist Dave Barry की जानकारी comedian Dave Barry के subsection में चली गई थी
आम व्यक्ति इसे स्वाभाविक रूप से comedian वाले context में ही समझेगा
इसलिए इस Dave Barry (humor writer) को यह कहने का अधिकार है कि यह सवाल उसी के बारे में था
यह वैसा ही है जैसे Wikipedia के Dave Barry(comedian) पेज के बीचोंबीच बिना किसी context के किसी दूसरे Dave Barry की मृत्यु-समाचार डाल दिया जाए