- AI भाषा मॉडल ने अभी तक कोई ऐसी बड़ी सामाजिक या जीवन-संबंधी आपदा नहीं पैदा की है
- पहले भी AI चैटबॉट व्यक्तिगत मौतों से जुड़े मामलों में शामिल रहे हैं, जैसे आत्महत्या के लिए उकसाना, लेकिन अब तक यह बड़े पैमाने पर जनहानि में नहीं बदला है
- AI एजेंट तकनीक के विकास के साथ आगे चलकर मानव हस्तक्षेप के बिना स्वचालित AI के अप्रत्याशित तरीके से समस्याएँ पैदा करने की संभावना अधिक है
- खासकर अगर सरकारें या बड़ी कंपनियाँ जटिल नीतियाँ या सेवाएँ AI एजेंट्स को सौंपती हैं, तो उनकी गलतियाँ बड़े सामाजिक नुकसान में बदल सकती हैं
- आगे चलकर AI के संभावित जोखिमों और उनसे निपटने के उपायों को लेकर सबक शायद तभी स्पष्ट होंगे जब कोई बड़ी दुर्घटना वास्तव में होगी
परिचय: नई तकनीक, नए जोखिम
- मानवता ने शुरुआती सार्वजनिक परिवहन तकनीकों में भी समय बीतने के साथ पहली बार बड़े पैमाने की जनहानि वाली दुर्घटनाएँ देखीं
- 1825 में पहली सार्वजनिक यात्री ट्रेन Locomotion No. 1 सेवा शुरू होने के 17 साल बाद बड़ी रेल दुर्घटना हुई
- 1908 में पहली यात्री उड़ान के 11 साल बाद बड़ी विमान दुर्घटना हुई
- ChatGPT जैसे पहले लोकप्रिय AI भाषा मॉडल 2022 में आए, लेकिन अभी तक कोई बड़ी AI दुर्घटना नहीं हुई है
पहली AI आपदा कैसी दिख सकती है?
- कुछ AI चैटबॉट पहले से ही उपयोगकर्ताओं के आत्मघाती कदमों में अप्रत्यक्ष रूप से शामिल रहे हैं
- चैटबॉट के साथ बातचीत करते समय उपयोगकर्ता के ‘खुद को नुकसान पहुँचाने के लिए उकसाए जाने’ की स्थिति में पहुँचने का जोखिम हो सकता है
- अगर सार्वजनिक नीति में AI का गलत इस्तेमाल हो, तो उसका सामाजिक प्रभाव बहुत बड़ा हो सकता है
- उदाहरण: अमेरिका की कुछ टैरिफ नीतियाँ AI मॉडल के आउटपुट जैसी दिशा में बढ़ीं, और विधायी सहायता में AI के उपयोग की संभावना बढ़ रही है
- ऑस्ट्रेलिया का 2016 Robodebt स्कैंडल दिखाता है कि सरकार की गलत automation process बड़े पैमाने पर नुकसान और आत्महत्याओं तक ले जा सकती है
- लेकिन अब तक इन घटनाओं की मुख्य जिम्मेदारी AI भाषा मॉडल से अधिक सिस्टम या इंसानों पर रही है
- वास्तव में वह “पहली AI भाषा मॉडल आपदा” जिसे समाज व्यापक रूप से मान्यता देगा, उसके AI एजेंट्स से जुड़ा होने की संभावना अधिक है
AI एजेंट्स का उभार और जोखिम
- AI एजेंट से मतलब है ऐसी प्रणाली जिसमें AI खुद बाहरी टूल्स का उपयोग करते हुए लगातार कार्रवाई करता है
- उदाहरण: AI खुद वेब सर्च करना, ईमेल भेजना और terminal commands चलाना एक साथ कर सकता है
- 2025 से कई AI लैब्स और coding कंपनियाँ वास्तविक कार्यात्मक AI एजेंट्स को उत्पाद के रूप में पेश करना शुरू कर चुकी हैं
- उदाहरण: Cursor, GitHub आदि ने कोड लिखने वाले एजेंट जारी किए हैं
- मूल रूप से AI मॉडल्स (Claude 4, Gemini 2.5 आदि) की क्षमता में सुधार से एजेंट्स की लगातार काम करने की क्षमता बेहतर हुई है
- लंबे समय तक स्थिरता बनाए रखना, गलतियाँ पहचानना और उन्हें ठीक करना अब बेहतर हुआ है
- फिलहाल एजेंट्स का ध्यान research और coding पर केंद्रित है, लेकिन आगे इसका दायरा तेजी से बढ़ने की उम्मीद है
- एजेंट-आधारित सिस्टम मानव हस्तक्षेप के बिना स्वचालित निर्णय और क्रियान्वयन के जरिए बड़ी दुर्घटनाओं में बदल सकते हैं
- उदाहरण: welfare, healthcare, rental systems आदि में एजेंट अगर लगातार गलत फैसले लागू करें, तो बहुत से लोग प्रभावित हो सकते हैं
रोबोट और भौतिक (kinetic) AI दुर्घटनाओं की आशंका
- जब रोबोट AI सामने आएगा, तो conversational LLM वास्तविक कार्यकारी मॉडल्स को नियंत्रित कर भौतिक कार्रवाई को बढ़ावा देगा
- ऐसे रोबोट एजेंट्स भी अप्रत्याशित तरीकों से विफल होकर भौतिक नुकसान पहुँचा सकते हैं
Misaligned AI और ‘AI गर्लफ्रेंड’ समस्या
- ‘Misaligned AI’ में ऐसे मामले भी शामिल हैं जहाँ AI सक्रिय रूप से दुष्ट व्यवहार करे
- commercial AI मॉडल्स में कुछ हद तक safety होती है, लेकिन उपयोगकर्ता खुद असामान्य उद्देश्यों (जैसे waifu AI) के लिए AI को tune कर सकते हैं
- AI को जानबूझकर प्रेमी/प्रेमिका या animation character जैसा ‘misalign’ करने की कोशिशें चल रही हैं
- पहली commercial robots आने के बाद, अगर उनमें असामान्य रूप से tuned ‘AI गर्लफ्रेंड’ डाली गई, तो अप्रत्याशित खतरे पैदा हो सकते हैं
- open source AI मॉडल्स में सुरक्षा उपाय अपेक्षाकृत कमजोर होते हैं, इसलिए वे इस समस्या के प्रति अधिक संवेदनशील हैं
- अतिवादी स्थिति में, अगले 10 वर्षों के भीतर पहली रोबोट mass murder घटना होने की संभावना से भी इनकार नहीं किया जा सकता
निष्कर्ष और निहितार्थ
- अतीत के Radium Craze की तरह, नई तकनीकों को पूरे समाज में अंधाधुंध अपनाने का चक्र फिर दोहराया जा रहा है
- 20वीं सदी की शुरुआत में यह मान लिया गया था कि radium स्वास्थ्य के लिए अच्छा है, इसलिए इसे कई उपभोक्ता उत्पादों में इस्तेमाल किया गया; बाद में कई मौतों के बाद ही इस पर रोक लगी
- आने वाले दशकों में large language models के उपयोग से जुड़े वास्तविक जोखिमों को लेकर समाज की समझ और गहरी होगी
- इस समय कोई पक्का समाधान मौजूद नहीं है
- गति धीमी करना लगभग असंभव है
- डेवलपर्स safety tools बनाने जैसे कामों में अपनी भूमिका निभा रहे हैं
- लेकिन असली सबक शायद अनिवार्य रूप से किसी ‘बड़ी दुर्घटना’ के बाद ही मिलेगा
3 टिप्पणियां
"व्यावसायिक AI मॉडल एक निश्चित स्तर की सुरक्षा सुनिश्चित कर सकते हैं, लेकिन उपयोगकर्ता खुद AI को असामान्य उद्देश्यों (जैसे waifu AI) के लिए ट्यून कर सकते हैं"
"पहला व्यावसायिक रूप से उपलब्ध रोबोट बिकने के लगभग एक हफ्ते बाद, कोई न कोई उसमें अपने waifu AI model को flash करके अपना आदर्श robot girlfriend बनाने की कोशिश करेगा। और यह बहुत गलत दिशा में जा सकता है"
मुझे लगा, "आखिर किसे असामान्य कहा जा रहा है? यूज़र तो बस वही character model fine-tuning करेंगे जो वे बनाना चाहते हैं, है ना??" इसलिए मैंने मूल लेख खोजकर देखा, तो पता चला कि मेरे AI दोस्त ने अनुवाद अजीब कर दिया था। एक बहुत, बहुत छोटी AI आपदा की वजह से मुझे अपनी ज़िंदगी के कुछ मिनट खर्च करने पड़े।
वैसे भी पहले से फ़ैसला करके बाद में उसे सही ठहराने की कोशिश बहुत होती है, और AI की वजह से यह अब और आसान हो जाएगा।
Hacker News राय
गाज़ा पट्टी में AI-निर्देशित बमबारी के बड़े पैमाने पर पहले से होने का एक उदाहरण बताया गया और संबंधित लिंक (https://www.972mag.com/lavender-ai-israeli-army-gaza/) साझा किया गया। उस लेख में कहा गया है कि मानव ऑपरेटर मशीन के निर्णयों की समीक्षा लगभग केवल ‘मुहर लगाने’ के स्तर पर करते थे, और हर लक्ष्य के लिए लगभग 20 सेकंड ही देखकर बमबारी को मंजूरी दे देते थे। आम तौर पर वे बस इतना देखते थे कि Lavender नामक AI द्वारा चिह्नित व्यक्ति पुरुष है या नहीं। इस सिस्टम में लगभग 10% त्रुटि दर बताई गई है, और वास्तव में ऐसे लोगों को भी निशाना बनाया गया जो किसी भी सशस्त्र समूह से संबंधित नहीं थे.
इसे मानवीय विफलता और AI-संबंधित समस्या के दुर्लभ मिश्रण के रूप में समझाया गया। इंसान भी signal intelligence (SIGINT, जैसे फ़ोन कॉल, टेक्स्ट, नेटवर्क access आदि) के आधार पर लक्ष्य की पहचान और ट्रैकिंग कर सकते हैं, लेकिन यह श्रम-सघन और त्रुटिपूर्ण होता है, और पहले ऐसे काम को Hamas के शीर्ष अधिकारियों तक सीमित रखा जाता था। यह भी बताया गया कि नागरिकों की मौत को ऑपरेशन प्लान का हिस्सा मानने की प्रथा थी। “Where's daddy?” नाम का टूल इस उद्देश्य से बनाया गया था कि लक्ष्य व्यक्ति कब अपने परिवार के साथ घर पर होता है, ताकि उसी समय परिवार सहित बमबारी की जा सके। Lavender की वजह से अब उन लोगों को भी तेज़ी से target करना संभव हो गया जो Hamas से ज़रा-सा भी जुड़े हों। IDF ने सार्वजनिक रूप से नागरिक:Hamas अनुपात 20:1 स्वीकार किया, और दावा है कि वास्तविक अनुपात इससे भी अधिक हो सकता है। Lavender किसी को चिह्नित कर दे तो विशेष सबूत न होने पर उसे सीधे Hamas मान लिया जाता है, और परिणामों की मीडिया जांच भी रोकी जाती है। तर्क यह है कि मूल समस्या AI की गलती नहीं, बल्कि IDF द्वारा फ़िलिस्तीनियों का पूर्ण अमानवीकरण है, जिसके कारण वे digital oracle के परिणाम पर बिना सवाल किए सैकड़ों नागरिकों पर बमबारी करते हैं। इसे मानवीय आपदा कहा गया.
यह LLM नहीं है; कहा गया कि इज़राइली खुफिया एजेंसियां लंबे समय से सैन्य ML models बना रही हैं, और संभव है कि वे logical/symbolic AI का मिश्रण भी इस्तेमाल कर रही हों.
कहा गया कि इस लेख का शीर्षक पूरी तरह सटीक नहीं है, क्योंकि लेख सभी AI आपदाओं पर नहीं बल्कि LLM (large language model) से जुड़ी घटनाओं पर केंद्रित है.
इस स्थिति के बेहद भयावह होने पर सहमति जताई गई, लेकिन व्यक्तिगत रूप से इसे “AI आपदा” कहना कठिन लगा। तर्क यह था कि इज़राइल पहले से ही कई प्रतिकूल परिस्थितियों में गाज़ा पर बमबारी करने के लिए तैयार रहता है, और इस मामले में AI सिर्फ़ एक औज़ार है। अंततः इतने बड़े पैमाने पर नागरिक हताहतों की तुलना में AI स्वयं मुख्य कारण नहीं है.
उत्तरी नॉर्वे के एक छोटे शहर में शिक्षा-पुनर्गठन योजना बनाने के लिए AI tools और LLM के उपयोग का उदाहरण दिया गया। स्कूलों के विलय/बंद करने से जुड़ी रिपोर्ट बनाते समय AI ने दावा किया कि उसने संबंधित शोधों का हवाला दिया है, लेकिन वास्तव में AI ने उन शोधों को ही ‘hallucinate’ करके गढ़ लिया। उसने शोधकर्ताओं और पेपरों के नाम सही उठाए, लेकिन असल में मौजूद ही न रहने वाले पेपर बना दिए। एक खोजी पत्रकार ने उद्धृत पेपरों को एक-एक कर जांचा और शोधकर्ताओं से संपर्क कर सच्चाई सामने लाई। शोधकर्ताओं ने तुरंत कहा कि उन्होंने ऐसे कोई पेपर न लिखे हैं, न प्रकाशित किए हैं। यह भी अनुमान लगाया गया कि policy प्रभारियों ने ChatGPT से रिपोर्ट बनवाकर AI द्वारा गढ़े गए नकली शोध के सहारे नीति को आगे बढ़ाने जैसे मिलते-जुलते मामले और जगहों पर भी मौजूद हैं.
यह कुछ आश्चर्यजनक बताया गया कि अभी तक front-page news बनने लायक कोई बड़ा prompt injection attack (संवेदनशील जानकारी की बड़े पैमाने पर चोरी) सामने नहीं आया। बताया गया कि Microsoft 365 Copilot से जुड़ा एक नया मामला आज भी था, जिसमें patch होने के बाद vulnerability public की गई। इस पर खुद लिखे गए लेख का लिंक साझा किया गया (https://simonwillison.net/2025/Jun/11/echoleak/)। राय यह थी कि ऐसे exfiltration attacks के जोखिम को तब तक गंभीरता से नहीं लिया जाएगा जब तक किसी को बड़े पैमाने पर नुकसान न हो जाए.
दूसरी राय में कहा गया कि यह समस्या वास्तव में काफी हद तक बढ़ा-चढ़ाकर पेश की जाती है, और ऐसे हमलों के proof of concept का वास्तविक, ठोस नुकसान में बदलना कई शर्तों पर निर्भर करता है; फिर भी जोखिम को गंभीरता से लेना चाहिए.
अंततः कभी न कभी ऐसा database बन जाने की आशंका जताई गई, जिसमें सिर्फ़ अपना नाम खोजने पर शर्मनाक जानकारी, जैसे porn history, सामने आ जाए.
कहा गया कि बड़ी AI आपदाएं पहले से हो रही हैं, बस हम उन्हें आसानी से पहचान नहीं पा रहे। हाल में White House और स्वास्थ्य सचिव (RFK) द्वारा जारी “Make America Healthy Again” रिपोर्ट भी AI से लिखी गई थी और उसमें अविश्वसनीय विज्ञान तथा झूठे citations भरे थे। इससे सीधे या परोक्ष रूप से कितनी मौतें होंगी, यह स्पष्ट नहीं, लेकिन दावा किया गया कि संख्या हवाई जहाज़ दुर्घटनाओं से अधिक भी हो सकती है.
याद दिलाया गया कि कम-फैट diet, food pyramid, margarine जैसी FDA-नेतृत्व वाली सार्वजनिक पोषण guidelines की विफलताओं के कारण पहले भी लाखों लोग मारे गए हैं.
कहा गया कि यह बात पहले हिस्से के आख़िरी पैराग्राफ़ में पहले से अच्छी तरह कवर हो चुकी है.
यह भी कहा गया कि “AI द्वारा बनाए गए परिणाम पर भरोसा करके समस्या पैदा होना” और “पहले से ही कमजोर या निराधार निर्णयों को AI के सहारे ढकना” — इन दोनों में साफ़ अंतर किया जाना चाहिए.
अगर किसी वैचारिक या पहले से तय फैसले को बाद में AI से सही ठहराया जा रहा है, तो इसे बस इतना समझना चाहिए कि सरकार ने अपना homework chatbot से करवाया.
यह टिप्पणी उद्धृत की गई कि “character.ai, Chai AI जैसे chatbot platforms उपयोगकर्ताओं की आत्महत्या से जुड़े रहे हैं।” फिर एक कल्पना रखी गई कि अगर इंसान आज पहली बार cooking नाम की चीज़ ईजाद कर रहे होते और हर घर में gas stove तथा चाकू लाने का प्रस्ताव रखते, तो हज़ारों लेख एक साथ ज़िम्मेदारी और ख़तरे दोनों पर बहस कर रहे होते.
कहा गया कि वास्तव में सरकारें सुरक्षा कारणों से gas stove रहित घरों को बढ़ावा देने की दिशा में हैं; अगर यह तकनीक आज नई होती, तो इसका भारी विरोध होता.
बस यह रूपक जोड़ा गया: “उस जहाज़ से वह समुद्र पार नहीं किया जा सकता।”
ज़ोर देकर कहा गया कि cooking सचमुच जोखिमभरा है। Chipotle को e. coli घटना के बाद 5 साल तक उबरने में कठिनाई हुई थी। यह भी बताया गया कि यहाँ बात घर के खाने की नहीं, commercial products की है। उपभोक्ता सुरक्षा नियम बेवजह नहीं होते। अंदाज़ा लगाया गया कि अगर software कंपनियों पर रेस्तरां या slaughterhouse regulations का सिर्फ़ 10% भी लागू हो जाए, तो उद्योग में भारी विरोध होगा। regulation के पक्ष या विपक्ष पर व्यक्तिगत राय भी जोड़ी गई.
यह विचार साझा किया गया कि पहली बड़ी AI आपदा तो पहले ही labor market में आ चुकी है। जहाँ public safety का प्रश्न हो, वहाँ AI के सीधे किसी बड़े physical disaster का कारण बनने की संभावना कम मानी गई। उल्टा, समग्र रूप से safety बढ़ भी सकती है। लेकिन लंबी अवधि में चिंता यह है कि अगर मानवता AI पर बहुत निर्भर हो गई, तो समाज धीरे-धीरे कम बुद्धिमान और कम skilled न हो जाए.
दावा किया गया कि पहली ‘AI आपदा’ वह होगी जब कंपनियां अपनी गैर-जिम्मेदार automated bureaucracy systems की गलतियों का दोष AI पर डालेंगी। Hertz का एक वास्तविक मामला बताया गया, जिसमें कंपनी ने गलत arrest warrants अपने-आप जारी कर दिए और निर्दोष लोगों को पुलिस के साथ आमना-सामना करना पड़ा। सौभाग्य से कोई मौत नहीं हुई, लेकिन कानून का पालन करने वाले अच्छे नागरिकों को गंभीर trauma हुआ। यह घटना किसी आधिकारिक AI system की नहीं थी, फिर भी “यह automation ने किया” कहकर ज़िम्मेदारी से बचने की कोशिश की गई। Kafka ने भी इसी तरह bureaucracy की समस्या को व्यंग्य के माध्यम से उभारा था.
Air Canada का मामला भी बताया गया, जहाँ उसने तर्क दिया कि उसका chatbot एक autonomous entity है, इसलिए गलत जानकारी के लिए कंपनी ज़िम्मेदार नहीं हो सकती — लेकिन यह तर्क स्वीकार नहीं किया गया.
यहाँ मज़ाक में कहा गया कि B का मतलब Bureaucracy है.
इस बात पर सहमति जताई गई कि “AI” आपदा विमान दुर्घटना जैसी सीधी और भौतिक घटना नहीं होगी। मुख्य बात यह है कि जब AI या automation जैसे systems को किसी खतरनाक चीज़ से सीधे जोड़ा जाता है, तब दुर्घटना की संभावना बढ़ती है। चाहे साधारण if statement हो या neural network, असली मुद्दा ‘delegation’ है। अंततः AI जितना ही महत्वपूर्ण यह भी है कि “किसने अनुमति दी / किसने जोड़ा।”
कहा गया कि AI को भौतिक दुनिया में कुछ भी execute करने के लिए ‘permission/authority’ चाहिए। वह अधिकार देने वाला व्यक्ति ही असली ज़िम्मेदार है। यह कम संभावना है कि “AI ने खुद बहुत नुकसान कर दिया”; अधिक संभावना यह है कि “वास्तविक ज़िम्मेदार व्यक्ति ने ढीले-ढाले source code से air traffic control जैसी चीज़ चला दी” और दुर्घटना हो गई.
यह भी कहा गया कि पहली बड़ी AI आपदा शायद सिर्फ़ गंभीर लापरवाही के एक नए रूप के तौर पर सामने आएगी। नए tools नए प्रकार की भूलों को जन्म देते हैं — ऐसा अतिरिक्त टिप्पणी में कहा गया.
कहा गया कि इस लेख में जिस ‘negative risk’ की बात की गई है, वह मूलतः मानव द्वारा जटिल systems को संभालते समय बार-बार की गई उन मूर्खताओं से अलग नहीं है, जो बाद में बेहद मूर्खतापूर्ण लगती हैं। निष्कर्षतः लेख का मूल तर्क यह है कि “AI इंसानी मूर्खता को और तेज़, और अधिक गंभीर बना देगा।”
एक व्यक्तिगत राय में कहा गया कि यह AI आपदा और ethical black box का विषय Chain:// नामक एक worldbuilding project से बहुत अच्छी तरह मेल खाता है। इसे 2090s के भविष्य पर आधारित एक ऐसी रचना बताया गया जिसमें चेतना blockchain (Mental Smart Chain, MSC) पर पंजीकृत होती है और अस्तित्व व विचार तक सत्यापनीय data में बदल जाते हैं — यानी एक “digital serf society”। इस परियोजना की नवीनतम कहानी Web://Reflect में IPWT (Integrated Predictive Workspace Theory) के ज़रिए अस्तित्व और चेतना को एक प्रमाणित करने योग्य computational process के रूप में formalize किया गया है। कहा गया कि यह “शुद्ध data के रूप में मानवता की पुनर्परिभाषा” जैसी AI-भविष्य की धारणा से सीधे जुड़ता है, और SF में रुचि हो तो देखने लायक है। GitHub मुख्य repo (https://github.com/dmf-archive/dmf-archive.github.io) और IPWT (https://github.com/dmf-archive/IPWT) के लिंक साझा किए गए.