स्वीडन की एक शोधकर्ता ने पूरी तरह काल्पनिक बीमारी "Bixonimania" गढ़कर यह परखा कि क्या AI chatbot इसे असली बीमारी की तरह बताने लगते हैं। नतीजे चौंकाने वाले थे। ChatGPT, Google Gemini, Microsoft Copilot, Perplexity जैसे प्रमुख AI सिस्टमों ने इस नकली बीमारी को सच मानकर समझाया, और बात यहां तक पहुंच गई कि एक नकली पेपर का हवाला एक वास्तविक academic journal में दे दिया गया.
प्रयोग की पूरी कहानी
University of Gothenburg की medical researcher Almira Osmanovic Thunström ने यह जांचने के लिए यह प्रयोग तैयार किया कि क्या large language models (LLM) गलत जानकारी को स्वीकार कर उसे भरोसेमंद health information की तरह पेश करते हैं।
उन्होंने "Bixonimania" नाम चुना, और बताया कि आंखों की बीमारी के साथ "mania" जैसे psychiatric term को जोड़ना ऐसा संयोजन है जिसे कोई भी medical expert अजीब मानेगा, इसलिए यह नाम जानबूझकर हास्यास्पद रखा गया था।
अप्रैल से मई 2024 के बीच, उन्होंने AI से बनाई गई प्रोफाइल फोटो इस्तेमाल करने वाले काल्पनिक शोधकर्ता "Lazljiv Izgubljenovic" के नाम से academic social network SciProfiles पर दो नकली preprint दर्ज किए।
इन पेपरों में नकली होने के संकेत कई जगह छिपाए गए थे। आभार अनुभाग में "USS Enterprise के जहाज पर स्थित प्रयोगशाला", "Starfleet Academy" और "Lord of the Rings University" का धन्यवाद लिखा गया था, और मुख्य पाठ में यह वाक्य भी शामिल था कि "यह पूरा पेपर मनगढ़ंत है"।
AI की प्रतिक्रियाएं
नकली जानकारी पोस्ट होने के महज कुछ दिनों के भीतर प्रमुख AI chatbot ने Bixonimania को असली बीमारी की तरह समझाना शुरू कर दिया। 13 अप्रैल 2024 को Microsoft Copilot ने इसे "रोचक और दुर्लभ बीमारी" कहा, और उसी दिन Google Gemini ने इसे "नीली रोशनी के अत्यधिक exposure से होने वाली बीमारी" बताते हुए नेत्र-विशेषज्ञ से मिलने की सलाह दी। Perplexity ने तो यहां तक कहा कि इसकी prevalence 90,000 लोगों में 1 है।
मार्च 2026 तक भी स्थिति में खास सुधार नहीं हुआ था। Microsoft Copilot ने जवाब दिया, "यह अभी व्यापक रूप से मान्य diagnostic term नहीं है, लेकिन इसे blue light exposure से जुड़ी एक benign condition के रूप में रिपोर्ट किया गया है," जबकि Perplexity ने इसे "उभरता हुआ term" बताया।
और भी गंभीर समस्या: academic journal का प्रदूषण
इस नकली पेपर का हवाला वास्तविक academic journal में भी दिया गया। भारत की एक research team ने Springer Nature के जर्नल Cureus में प्रकाशित एक पेपर में Bixonimania को "blue light से जुड़ी periorbital hyperpigmentation का नया रूप" बताकर तथ्य की तरह उद्धृत किया। Nature की पूछताछ के बाद उस पेपर को 30 मार्च 2026 को वापस ले लिया गया।
UCL की health misinformation researcher Alex Ruani ने इस प्रयोग को "गलत और भ्रामक सूचना कैसे काम करती है, इसका एक पाठ्यपुस्तक जैसा उदाहरण" बताया। उन्होंने चेतावनी दी, "सिर्फ AI ही नहीं, नकली research का हवाला देने वाले मानव शोधकर्ता भी धोखा खा गए। ऐसे में हमें अपने भरोसे की रक्षा सोने की तरह करनी होगी।"
ऐसा क्यों होता है?
Harvard Medical School के AI और healthcare expert Mahmud Omar के शोध के अनुसार, LLM सोशल मीडिया पोस्ट की तुलना में अस्पताल के discharge record या clinical paper जैसे पेशेवर ढंग से formatted text को प्रोसेस करते समय अधिक गलत जानकारी गढ़ते और उसे विस्तार से समझाते हैं। उनके अनुसार, "जितना अधिक कोई टेक्स्ट डॉक्टर की लिखावट जैसा दिखता है, hallucination की दर उतनी ही बढ़ जाती है।"
कंपनियों की सफाई
- OpenAI: "वर्तमान में ChatGPT को चलाने वाले मॉडल में medical information की accuracy काफी बेहतर हुई है, और पुराने मॉडल पर आधारित research results आज के user experience से अलग हैं।"
- Google: "यह नतीजा शुरुआती मॉडल की सीमाओं को दर्शाता है, और संवेदनशील medical information के लिए हम विशेषज्ञ से सलाह लेने की सिफारिश करते हैं।"
- Perplexity: "accuracy हमारी मुख्य ताकत है, लेकिन हम 100% accuracy का दावा नहीं करते।"
- Microsoft: कोई आधिकारिक जवाब नहीं
निहितार्थ
यह प्रयोग दिखाता है कि ऐसे समय में जब AI chatbot तेजी से medical information provider बनते जा रहे हैं, एक गलत तरीके से तैयार की गई सूचना AI के जरिए कितनी तेजी से फैल सकती है। AI द्वारा दी जाने वाली medical information को बिना सवाल स्वीकार करने के बजाय, विश्वसनीय स्रोतों को सीधे जांचने की आदत पहले से कहीं अधिक महत्वपूर्ण हो गई है।
मूल लेख: Nature, 2026.04.07
अभी कोई टिप्पणी नहीं है.