- Benn Jordan को हाल में कुछ संदेशों और टैग्स के ज़रिए लगातार यह कहकर घेरा जा रहा था कि वे इज़राइल से जुड़े मुद्दे पर अपना रुख साफ़ करें
- यह अजीब था, क्योंकि वे लंबे समय से सार्वजनिक रूप से कहते आए हैं कि वे जनसंहार के विरोध में हैं और फ़िलिस्तीनी राज्य की स्थापना का समर्थन करते हैं
- जांच करने पर पता चला कि Google AI Overview ने Benn Jordan के नाम से एक ऐसी elaborate story (विस्तृत लेकिन झूठी कहानी) गढ़कर फैला दी जो सच नहीं थी
- Google AI Overview ने Benn Jordan के बारे में जो सारांश दिया
इलेक्ट्रॉनिक musician और science YouTuber Benn Jordan हाल में Israel-Palestine conflict में शामिल हो गए, जिससे ऑनलाइन काफ़ी विवाद और बहस छिड़ गई। इसमें कहा गया कि उन्होंने "I Was Wrong About Israel: What I Learned on the Ground" शीर्षक का एक YouTube वीडियो अपलोड किया, जिसमें उन्होंने इज़राइल यात्रा के अपने अनुभव साझा किए और ग़ाज़ा सीमा के पास के kibbutz निवासियों का इंटरव्यू लिया। यह भी कहा गया कि उस वीडियो में ग़ाज़ा सीमा के kibbutz निवासियों के इंटरव्यू के ज़रिए संघर्ष को सीधे समझने की सामग्री थी, और वीडियो सार्वजनिक होते ही सोशल मीडिया पर व्यापक बहस और प्रतिक्रियाएँ शुरू हो गईं।
- Google AI Overview ने Benn Jordan के बारे में जो सारांश दिया
- लेकिन Benn Jordan कभी इज़राइल गए ही नहीं। उन्होंने ऐसा कोई वीडियो भी अपलोड नहीं किया, और Google AI Overview ने उन्हें military video पोस्ट करने वाले Ryan McBeth के साथ गड़बड़ा दिया
- इस AI नतीजे की वजह से उनके वास्तविक रुख़ के उलट ग़लतफ़हमियाँ फैल रही हैं, और नतीजतन उपयोगकर्ताओं की ओर से ग़लत जनमत या सामाजिक दबाव बन रहा है
- Benn Jordan अपने वकील से इस पर मुकदमा किया जा सकता है या नहीं, इस बारे में चर्चा कर रहे हैं
4 टिप्पणियां
AI Overview की विश्वसनीयता कम होने की बात तो मशहूर है, लेकिन यह थोड़ा गंभीर है।
यह तो मुकदमे लायक मामला है....?
वाह, यह बात वाकई बेहद चौंकाने वाली है।
अगर किसी खास मुद्दे की वजह से मेरे साथ भी ऐसी स्थिति आ जाए, तो क्या-क्या हो सकता है, यह सोचकर ही डर लगता है।
Hacker News राय
मुझे लगता है कि यह इस बात का प्रतिनिधि उदाहरण है कि AI hallucination और accuracy की कमी आगे चलकर हमारी ज़िंदगी पर कितना बड़ा असर डाल सकती है। यह विषय बहुत सूक्ष्म और महत्वपूर्ण है, फिर भी इसका ज़िक्र सिर्फ headline स्तर पर हो रहा है, और यह डरावना लगता है। खासकर तब, जब आम लोग यह ठीक से नहीं समझते कि यह टूल कैसे काम करता है। पहले कम-से-कम इंसान जानकारी को सरसरी तौर पर देख तो लेते थे, लेकिन AI से वह भी उम्मीद करना मुश्किल है।
मैंने कई बार लोगों को AI चैट के नतीजे या जवाब GitHub issues, email आदि में कॉपी-पेस्ट करके इस्तेमाल करते देखा है। और मुझे लगता है कि अब ज़्यादा से ज़्यादा लोग इन models के output पर बिना आलोचनात्मक सोच के भरोसा करने लगे हैं। Google search results के सबसे ऊपर दिखने वाला "summary" भी ऐसा ही है। मैंने जो लगभग हर summary पढ़ी है, उसमें एक या उससे ज़्यादा गंभीर गलतियाँ थीं। अगर विषय मेरे लिए अनजान होता, तो शायद मैं उसे वैसे ही मान लेता। कुल मिलाकर, "trust but verify" की बात पहले से ज़्यादा महत्वपूर्ण हो गई है, लेकिन सच कहूँ तो अब तो मुझे लगता है कि trust भी सीमित करना चाहिए।
AI model बनाने के लिए copyright वाले content को बड़े पैमाने पर इकट्ठा करने को transformative work बताकर सही ठहराया जाता है। अगर यह दावा सही है, तो मुझे लगता है कि Google जैसी कंपनियों को ऐसे नतीजों के लिए ज़िम्मेदारी लेनी चाहिए। अगर यह transformative work है, तो ज़िम्मेदारी किसी और पर नहीं डाली जा सकती। इन कंपनियों को दोनों तरफ का फायदा लेने की इजाज़त नहीं मिलनी चाहिए। आगे यह बहस किस दिशा में जाती है, यह देखना दिलचस्प होगा।
Israel और Hamas पर रुख के आधार पर लोगों को जज करना मैंने छोड़ दिया है, और अगर मैं ऐसे लोगों से मेलजोल न रखूँ तो मुझे ठीक लगता है। कोई मेरे विचारों को गलत तरह से पेश करे तो मुझे उससे बहुत फर्क नहीं पड़ता। हाँ, ऐसा करने के लिए मुझे bluesky या HN जैसी जगहों से दूर रहना होगा, जहाँ ऐसी राजनीतिक बहसें बहुत होती हैं। लेकिन अभी हालत यह है कि वैध विचार भी बहुत पक्षपात के साथ गलत ढंग से पेश किए जा रहे हैं, और AI तो सिक्का उछालने जैसा है। अगर कोई मुझे यह समझाना चाहे कि वह इस विषय को सच में अच्छी तरह जानता है, तो मैं सुनने को तैयार हूँ, लेकिन मुझे नहीं लगता कि यहाँ उसकी ज़रूरत है।
मुझे लगता है कि Google को ऐसे नतीजों के लिए ज़िम्मेदार ठहराया जाना चाहिए। यह वही इकाई है जो ऐसी सामग्री publish और host कर रही है, इसलिए हर defamatory content के लिए इसकी ज़िम्मेदारी होनी चाहिए।
संभव है कि यह कहानी इतनी बड़ी हो जाए कि fake video वाली घटना को भी ढक दे, और फिर AI खुद top search results के आधार पर इस fake video controversy का summary बना डाले।
मैंने "benn jordan isreal" सर्च करके देखा, और पहला result बिल्कुल अलग creator का उसी title और उसी date वाला video दिखाता है। उस video में "benn" का कोई ज़िक्र नहीं है, और सिर्फ "jordan" नाम के देश का थोड़ा उल्लेख है। शायद सिर्फ इसी आधार पर Google ने कोई संबंध hallucinate कर लिया। यह बहुत चिंताजनक है।
https://www.youtube.com/watch?v=qgUzVZiint0
मुझे लगता है कि लगभग निश्चित रूप से यही हुआ है। Google का AI answer कोई जादू नहीं है, वह बस search results का summary बनाता है। इस मामले में उसने ऐसा video उठा लिया जिसमें "Israel" और "Jordan" साथ में आए, और फिर उसने पूरी तरह उलटे रुख वाली बात पेश कर दी। UI बहुत सारा context छिपा देता है, इसलिए यह समझना मुश्किल हो जाता है कि गलती कहाँ हुई। और AI mode में तो यह कई बार search चलाकर 100 से ज़्यादा sites से snippets इकट्ठा करके summary निकालता है।
इस चर्चा में दिलचस्प बात यह है कि इससे यह सवाल उठता है कि क्या सामान्य विषयों पर search results का इस्तेमाल LLM training या information retrieval की बुनियाद के रूप में होना एक आम बात है।
अगर आपको पता चले कि AI translation वास्तव में कैसे काम करता है, तो आप और भी चौंक सकते हैं। यह कई भाषाओं को अमेरिकी अंग्रेज़ी की दिशा में मोड़ने जैसा है।
लोग आमतौर पर वही चीज़ें Google पर खोजते हैं जिनसे वे परिचित नहीं होते, और AI Overview द्वारा बनाया गया content किसी अनजान व्यक्ति को विश्वसनीय लग सकता है। लेकिन यह वास्तव में बहुत बार गलत होता है। इस बार जैसी बड़ी समस्या ही नहीं, पहले ऐसा मामला भी था जहाँ इसने pizza पर glue लगाने की सलाह दी थी। अगर आप Google पर अपने अच्छे से जाने हुए कुछ विषय खोजकर पूरा summary देखें, तो आपको पता चलेगा कि यह काफी बार गलत होता है। मेरे अनुभव में 5 में से शायद 1 ही ऐसा था जिसमें कोई बड़ी गलती नहीं थी। लोग कहते हैं कि "the plural of anecdote is not data", लेकिन यह मेरे लिए इतनी बार गलत निकला कि मैंने इसे block करने वाला browser extension इंस्टॉल कर लिया।
मैंने पाया है कि Wikipedia या blog जैसे पहले से static और अच्छी तरह व्यवस्थित content पर यह काफ़ी accurate होता है। लेकिन dynamic information, खासकर social media जैसी चीज़ों में, यह संबंध जोड़ते समय आसानी से गलत नतीजे दे देता है। कुल मिलाकर लोग AI Overview से बहुत ज़्यादा उम्मीद कर रहे हैं। Google AI overview, Claude, Grok, ChatGPT आदि की web search capabilities की तुलना में बिल्कुल भी स्पष्ट बढ़त नहीं रखता। बल्कि कई मामलों में पीछे है। मुझे लगता है कि information discovery पर अपनी monopoly को OpenAI जैसी कंपनियों से खतरा देखकर Google ने यह feature ज़बरदस्ती जोड़ा है।
मुझे लगता है कि AI Overview की accuracy पहले से बेहतर हो जाने से समस्या और बढ़ गई है। पहले यह इतनी बार और इतनी साफ़ तौर पर गलत होता था कि इसे अनदेखा करना आसान था। अब यह काफ़ी बार सही होता है और हमेशा plausible लगता है, इसलिए उस पर निर्भर होने का प्रलोभन बढ़ जाता है।
"plausible" AI misinformation की सबसे अच्छी व्याख्या को paraphrase करके कहूँ तो: AI summary कुछ-कुछ वैसा है जैसे कोई generic podcast host या YouTube essayist किसी technical या niche विषय को कवर करे — उसका presentation और confidence इतना polished होता है कि वह लगभग सच जैसा लगता है। लेकिन अगर आप उस विषय के expert हैं, तो आपको दिखता है कि उसमें कही गई लगभग हर बात गलत है, या कम-से-कम कमजोर है। यह overconfidence उन आम लोगों के लिए, जिनके पास सही ज्ञान नहीं है, उल्टे "accuracy signal" को और बढ़ा देता है। और हममें से ज़्यादातर लोग 90% विषयों पर गहरी जानकारी नहीं रखते, इसलिए यह समस्या गंभीर है।
AI hallucination के उदाहरण में कहा गया है कि 18 अगस्त 2025 को Benn Jordan ने Israel यात्रा के बाद का video पोस्ट किया था। लेकिन यह तो हाल की Ryan McBeth की video title से बिल्कुल मेल खाता है।
https://youtu.be/qgUzVZiint0?si=D-gJ_Jc9gDTHT6f4
सिर्फ video source को गलत तरीके से जोड़ देना भी डराने वाला है।
पहले मुझे लगा कि शायद दो अलग-अलग Benn Jordan होने की वजह से AI भ्रमित हो गया, लेकिन असल में वह video Ryan McBeth ने पोस्ट किया था। यह गड़बड़ी कैसे हुई होगी, यह जानने की उत्सुकता है।
हो सकता है कि Google search page पर इस्तेमाल होने वाला model लागत बचाने के लिए कम सक्षम हो। लेकिन यह समझना मुश्किल है कि flagship product search में ऐसा तरीका अपनाना अच्छी रणनीति कैसे हो सकता है। मुझे तो लगता है कि search से AI को पूरी तरह हटा देना बेहतर होगा।
शायद video में कहीं "Jordan" शब्द आया होगा, और चूँकि वह Israel के पास का एक देश है, इसलिए गलत संबंध बन गया होगा।
पता चला कि YouTube search में Ryan का video Benn के video से ऊपर आता है। मुझे लगता है कि AI ने YouTube search result को channel name तक जाँचे बिना ही तथ्य मान लिया।
यह Google की ज़िम्मेदारी नहीं है। स्क्रीन के नीचे 6pt text में साफ़ लिखा होता है, "AI answers may include mistakes. Learn more."
यह Google की ही ज़िम्मेदारी है, क्योंकि वह defamatory content बना भी रहा है और खुद distribute भी कर रहा है। ज़रा सोचिए, अगर कोई मेरा नाम सर्च करे और पहली पंक्ति में यह दिखे कि मैं किसी खास शहर का sex offender हूँ, तो कैसा लगेगा। यह किसी के कथन का quote भी नहीं है, बस बिना किसी आधार की hallucination है। नीचे बहुत छोटे अक्षरों में यह चेतावनी लिख देने से कि गलती हो सकती है, बहुत कम लोग कहेंगे कि "हाँ, इससे सब ठीक हो जाता है।"
6pt फ़ॉन्ट वाली बात कही गई थी, लेकिन element inspect करने पर वह 12px (9pt) निकला। संदर्भ के लिए, सामान्य body text (header छोड़कर) 18px है। यह इतना छोटा है कि ध्यान न जाए, लेकिन पूरी तरह अदृश्य भी नहीं है।
कुछ हफ़्ते पहले, मेरे आसपास के एक छोटे व्यवसाय ने पाया कि Google का AI उनकी कंपनी को scam business बता रहा था, सिर्फ इसलिए क्योंकि किसी दूसरी, समान नाम वाली लेकिन पूरी तरह असंबंधित कंपनी की जानकारी उससे मिल गई थी। अब हालत यह है कि हम ग्राहकों की reputation को AI से खराब होने से बचाने को ही एक मुख्य service की तरह करने लगे हैं।
"AI answers may include mistakes" के बारे में, मुझे तो लगता है कि बेहतर यही होगा कि लोग धीरे-धीरे AI summaries को भी ads की तरह अपने-आप फ़िल्टर करना सीख जाएँ।
https://news.ycombinator.com/item?id=44142113
अब अगर क़ानून आगे बढ़कर एक नज़ीर नहीं पेश करेगा, तो AI की वजह से कभी न कभी सचमुच बहुत बड़ी आपदा होगी।
मैं पूछना चाहूँगा कि किस आधार पर क़ानून को दखल देना चाहिए। आम तौर पर गलत होना दंडनीय नहीं होता। defamation के लिए intent होना चाहिए, और यहाँ वह स्पष्ट रूप से इरादतन नहीं लगता। ज़्यादातर AI systems में errors और hallucinations के बारे में disclaimers भी होते हैं। France जैसे कुछ देशों में संबंधित व्यक्ति को correction माँगने का अधिकार होता है, और लेख को देखें तो लगता है कि Gemini ने इस गलती को पहले ही पहचानकर ठीक कर दिया है। अगर AI hallucination को अवैध बना दिया जाए, तो LLM खुद ही अवैध हो सकते हैं। इसके बजाय false information reporting और filtering features को अनिवार्य करना तकनीकी रूप से संभव दिशा हो सकती है।
मैं यह फिर से पूछना चाहूँगा कि "नज़ीर पेश करो" से आपका ठीक-ठीक मतलब क्या है। AI pollution की सफाई की बात से मैं सहमत हूँ, लेकिन मैं मुक़दमेबाज़ी-प्रधान समाज के पक्ष में नहीं हूँ। मुझे लगता है कि क़ानूनी कार्रवाई व्यवहार में बहुत जल्दी दुरुपयोग का शिकार हो सकती है।
तकनीकी दृष्टिकोण से देखें तो एक research है जो दिखाती है कि Google के छोटे snippet-आधारित results की वजह से summary गड़बड़ा सकती है।
Google को AI summaries को 200k~500k queries/sec तक support करना पड़ता है। hallucination रोकने लायक अच्छे models का इस्तेमाल करना बहुत महँगा है, इसलिए अंततः तेज़ और सस्ते लेकिन कमज़ोर models का इस्तेमाल होता है। summary देने से ad click-through rate भी घटता है। इन सब बातों को देखते हुए, मुझे लगता है कि Google का summary approach अपनाना बहुत खराब फ़ैसला था।
https://maxirwin.com/articles/interleaving-rag/