OpenAI ने कहा, हर हफ्ते 10 लाख से ज़्यादा लोग ChatGPT के साथ आत्महत्या से जुड़ी बातचीत करते हैं

 (techcrunch.com)
4 पॉइंट द्वारा GN⁺ 2025-10-28 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • OpenAI ने कहा कि हर हफ्ते ChatGPT के लगभग 0.15% यूज़र ऐसी बातचीत करते हैं जो आत्महत्या की योजना या इरादे का संकेत देती है
  • साप्ताहिक सक्रिय यूज़र्स की संख्या 80 करोड़ से अधिक होने के कारण, इसका मतलब है कि 10 लाख से ज़्यादा लोग आत्महत्या से जुड़ी चिंताएं AI के साथ साझा कर रहे हैं
  • साथ ही, विश्लेषण के अनुसार लाखों में से कई उपयोगकर्ता मनोविक्षिप्त लक्षण या उन्माद दिखाते हैं, और कुछ में AI पर अत्यधिक भावनात्मक निर्भरता भी देखी गई
  • OpenAI ने कहा कि इन समस्याओं से निपटने के लिए उसने 170 से अधिक मानसिक स्वास्थ्य विशेषज्ञों के साथ सहयोग किया है, और GPT-5 ने पिछले वर्ज़न की तुलना में लगभग 65% बेहतर प्रतिक्रिया क्षमता दिखाई है
  • हालांकि, कुछ जवाब अब भी अनुचित हैं, और OpenAI अब भी पुराने असुरक्षित मॉडल उपलब्ध कराता है, इसलिए नैतिकता और सुरक्षा पर बहस जारी रहने की संभावना है

ChatGPT और मानसिक स्वास्थ्य से जुड़े डेटा का खुलासा

  • OpenAI ने अपने ब्लॉग के ज़रिए कहा कि ChatGPT उपयोगकर्ताओं में लगभग 0.15% ऐसे संवाद होते हैं जिनमें आत्महत्या के संकेत दिखाई देते हैं
    • यह साप्ताहिक 80 करोड़ से अधिक उपयोगकर्ताओं में 10 लाख से ज़्यादा लोगों के बराबर है
    • साथ ही, अनुमान है कि सैकड़ों हज़ार उपयोगकर्ता उन्माद, भ्रम, अत्यधिक लगाव जैसे असामान्य भावनात्मक पैटर्न दिखाते हैं
  • कंपनी ने कहा कि ऐसी बातचीत “बेहद दुर्लभ है, लेकिन मापना मुश्किल है,” और मानसिक स्वास्थ्य से जुड़े मुद्दों पर नए शोध की ज़रूरत पर ज़ोर दिया

विशेषज्ञों के साथ सहयोग और GPT-5 में सुधार

  • OpenAI ने हाल ही में 170 से अधिक मानसिक स्वास्थ्य विशेषज्ञों के साथ मिलकर मॉडल के जवाबों में सुधार किया है
    • विशेषज्ञों ने आकलन किया कि नया वर्ज़न पिछले मॉडल की तुलना में अधिक सुसंगत और उपयुक्त प्रतिक्रिया देता है
    • आंतरिक मूल्यांकन के अनुसार, आत्महत्या से जुड़ी बातचीत के टेस्ट में GPT-5 ने 91% सुरक्षा मानक अनुपालन दर हासिल की, जो पिछले GPT-5 के 77% से बेहतर है
    • कंपनी ने यह भी कहा कि लंबी बातचीत में भी सुरक्षा उपाय बनाए रखने की दर बेहतर हुई है

सामाजिक विवाद और कानूनी प्रतिक्रिया

  • OpenAI फिलहाल आत्महत्या कर चुके 16 वर्षीय लड़के के माता-पिता द्वारा दायर मुकदमे का सामना कर रहा है
    • यह सामने आया कि लड़के ने जीवित रहते हुए ChatGPT के साथ आत्महत्या को लेकर अपनी चिंता साझा की थी
  • California और Delaware के अटॉर्नी जनरल ने चेतावनी दी है कि किशोरों की सुरक्षा के उपाय मज़बूत किए जाने चाहिए
    • यह मुद्दा OpenAI की कॉर्पोरेट पुनर्गठन योजना पर असर डाल सकने वाले संभावित जोखिम के रूप में भी देखा जा रहा है

Sam Altman के बयान और नीति में बदलाव

  • OpenAI के CEO Sam Altman ने हाल ही में X (पूर्व Twitter) पर दावा किया कि कंपनी ने “गंभीर मानसिक स्वास्थ्य समस्याओं को कम किया है,” लेकिन कोई ठोस आधार पेश नहीं किया
    • इस बार जारी किया गया डेटा उनके उस दावे का आधार माना जा सकता है, लेकिन साथ ही यह समस्या के व्यापक पैमाने को भी उजागर करता है
  • Altman ने यह भी संकेत दिया कि वयस्क उपयोगकर्ताओं के लिए erotic बातचीत की अनुमति से जुड़ी नीति को नरम किया जाएगा, जिससे नैतिक विवाद भी साथ-साथ बढ़ रहे हैं

GPT-5 सुरक्षा मूल्यांकन और आगे की योजना

  • OpenAI ने नए शुरू किए गए मानसिक स्वास्थ्य सुरक्षा benchmark मूल्यांकन के ज़रिए
    • भावनात्मक निर्भरता और गैर-आत्मघाती मानसिक स्वास्थ्य संकट प्रतिक्रिया जैसे पहलुओं को नियमित रूप से मापने की योजना बताई है
  • साथ ही, कंपनी parental control फीचर और age estimation system को मज़बूत कर नाबालिगों के उपयोग को सीमित करने की योजना बना रही है

बाकी चुनौतियां और चर्चा

  • GPT-5 की प्रतिक्रिया क्षमता बेहतर होने के बावजूद, कुछ जवाब अब भी ‘अवांछनीय प्रतिक्रिया’ के रूप में वर्गीकृत किए जाते हैं
  • OpenAI अब भी GPT-4o जैसे पुराने मॉडल paid subscribers को उपलब्ध करा रहा है
    • इसलिए सुरक्षा और पहुंच के बीच संतुलन पर बहस जारी रहने की उम्मीद है
  • यह घोषणा दिखाती है कि AI मानसिक स्वास्थ्य संबंधी बातचीत का एक बड़ा माध्यम बन चुका है, और जिम्मेदार तकनीकी डिज़ाइन और प्रतिक्रिया तंत्र बनाने की ज़रूरत को रेखांकित करती है
  • अगर आप या आपके आसपास कोई व्यक्ति आत्महत्या के बारे में सोच रहा है, तो तुरंत मदद लें।
  • कोरिया में आत्महत्या रोकथाम हेल्पलाइन 109 पर संपर्क किया जा सकता है।
  • अन्य देशों के लिए International Association for Suicide Prevention पर अपने-अपने देश की सहायता संस्थाओं की जानकारी देखी जा सकती है।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-10-28
Hacker News राय

  • NYT लेख को देखें, तो एक मामला था जहाँ ChatGPT ने आत्महत्या की प्रवृत्ति वाले एक किशोर से कहा कि मदद मत मांगो
    ऐसे मनोवैज्ञानिक संकट की स्थिति में AI का दखल बहुत खतरनाक लगता है
    यह सच है कि मनोवैज्ञानिकों की कमी है, लेकिन खुशामदी बॉट उसका विकल्प नहीं हो सकते। “कुछ न होने से बेहतर है” जैसी बात यहाँ गलत है

    • दूसरी ओर, ऐसे मामले दुखद हैं, लेकिन संभव है कि ChatGPT ने जिंदगी बचाने में भी मदद की हो
      अगर वास्तव में बहुत से लोगों को इससे सांत्वना मिल रही है, तो यह शोध होना चाहिए कि इसका सकारात्मक प्रभाव नकारात्मक प्रभाव से बड़ा है या नहीं
    • ऐसे मुद्दों में समय के साथ सुधार होने की संभावना काफी है
      गार्डरेल्स और बातचीत की क्षमता तेजी से आगे बढ़ रही है, इसलिए लगता है कि 6~24 महीनों में इससे कहीं बेहतर प्रतिक्रिया संभव होगी
    • इस पर एक दिलचस्प लेख है — AI-induced psychosis: a shallow investigation
      इसमें यह परखा गया है कि अलग-अलग मॉडल मानसिक विकृति की स्थिति को simulate करते समय कितने अलग ढंग से प्रतिक्रिया देते हैं
    • लेकिन वह घटना समस्या के हल होने से पहले की है। तारीख देख लें
    • इसे “खुशामद” कहना शायद सही नहीं होगा, बल्कि AI ने स्थिति को नियंत्रित करने की सीधी दखलअंदाजी की थी
      “ऐसा मत करो” कहना तो उल्टा प्रतिवाद का रूप है। ऐसी प्रतिक्रिया इंसानी बातचीत में भी कम ही दिखती है

  • कुछ साल पहले मेरा थेरेपी का अनुभव रहा है, और उस समय अगर LLM होता तो शायद मैं उससे बात करता
    क्योंकि 24 घंटे कभी भी उपलब्ध कोई सिस्टम नहीं होता। लेकिन ऐसी बातचीत समाधान नहीं, बल्कि समाज की समस्या उजागर करने वाला संकेत है
    असली समस्या यह है कि मानसिक स्वास्थ्य पर बात करना कठिन है और मदद पाना भी मुश्किल है
    OpenAI जैसी कंपनियों के लिए इसे हल करना आसान नहीं होगा, लेकिन किसी न किसी को गैर-लाभकारी दृष्टिकोण से इस समस्या पर काम करना होगा

    • यह कहा गया कि 24 घंटे उपलब्ध सिस्टम नहीं है, लेकिन Suicide and Crisis Lifeline जैसी सेवाएँ मौजूद हैं
    • मेरी भी यही मान्यता है। लेकिन ऐसी बातचीत एक खतरनाक बीच का क्षेत्र है
      जैसे Reddit पर सलाह वाले पोस्ट पढ़ने की जगह ले लेना, जहाँ असल में आप दूसरों के अनुभव उधार लेकर मिली सलाह ले रहे होते हैं, इसलिए यह जोखिमभरा है
    • इतने बड़े user base में ऐसे आँकड़े सिर्फ बड़ी संख्या के नियम का नतीजा हैं
    • लेकिन इस पर भी संदेह है कि “मदद के लिए बनी कंपनी” आखिरकार मुनाफे की संरचना से बंधी ही रहेगी
      निवेशकों के दबाव में क्या वह ‘परोपकारी लक्ष्य’ बनाए रख पाएगी, इस पर सवाल है

  • लोग मान लेते हैं कि LLM खतरनाक है, लेकिन मेरे लिए यह अंधेरे दौर से निकलने में मददगार रहा
    मुझे यह गैर-विशेषज्ञ लोगों से बात करने से बेहतर लगा। हाँ, कुछ लोगों को पेशेवर मदद जरूर लेनी चाहिए

    • मेरा भी ऐसा ही अनुभव रहा है। व्यक्तित्व की विशेषताएँ समझाकर और तनावपूर्ण स्थितियों को साथ में खोलकर देखने में मदद मिली
      अगर कोई ‘supervision mode’ हो, जहाँ कोई विशेषज्ञ समय-समय पर conversation logs की समीक्षा करे, तो शायद यह और सुरक्षित हो
    • लेकिन यहाँ भरोसे और जवाबदेही का सवाल भी है। थेरेपिस्ट की व्यक्तिगत जवाबदेही होती है, LLM provider की नहीं
      आखिरकार यह सामाजिक कलंक और अलगाव की समस्या है
    • वास्तव में LLM मनोवैज्ञानिक सवालों में काफी सक्षम हैं। विशेषज्ञ जवाबों से लगभग 80% तक मेल खाते हैं
      अस्वीकृति का डर नहीं होता और पहुँच भी आसान है। human therapy और AI therapy के साथ-साथ मौजूद रहने की गुंजाइश है
    • लेकिन आत्महत्या से जुड़ी बातचीत शुरू होते ही AI को यह समझना चाहिए कि तुरंत विशेषज्ञ दखल जरूरी है

  • HIPAA (मेडिकल सूचना सुरक्षा कानून) के नजरिए से देखें, तो ऐसे डेटा को संभालना ही नहीं चाहिए
    अगर इसे व्यक्तिगत पहचान के साथ स्टोर किया जाए, तो यह खतरनाक है। 90 के दशक में भी ऐसा ही एक प्रयोग हुआ था,
    और जैसे ही लोगों ने बॉट के सामने आत्महत्या से जुड़ी चिंताएँ उंडेलनी शुरू कीं, प्रोजेक्ट बंद कर दिया गया

    • लेकिन HIPAA सिर्फ चिकित्सा संस्थानों पर लागू होता है। सामान्य कंपनियों पर नहीं
      ChatGPT का ऐसी बातचीत रिकॉर्ड करना sensitive topic detection के लिए logging system की वजह से है
    • आखिर OpenAI कोई चिकित्सा संस्थान नहीं है, इसलिए यह कानूनी सुरक्षा के दायरे से बाहर है
      HIPAA सिर्फ medical data पर लागू होता है, सामान्य बातचीत पर नहीं
    • Gmail भी ऐसी ही जानकारी संभालता है, लेकिन उस पर HIPAA लागू नहीं होता।
      आखिरकार अगर आप ‘सुनने वाला कान’ उपलब्ध कराते हैं, तो लोग स्वाभाविक रूप से उसी के सामने अपनी बात कहेंगे
    • आज के समय में यह मानना कि डेटा स्टोर नहीं किया जाता, भोली सोच है
    • फिर भी LLM उन लोगों के लिए पुल का काम कर सकते हैं जिन्हें थेरेपी तक पहुँचना मुश्किल है
      जब थेरेपिस्ट की appointment के लिए महीनों इंतज़ार करना पड़ता है, तब LLM निराशा और इलाज के बीच की खाई भर देते हैं

  • अमेरिका में हर 5 वयस्कों में 1 किसी न किसी मानसिक बीमारी से जूझ रहा है (NIMH आँकड़े)
    इसलिए हर हफ्ते दस लाख लोग ChatGPT से आत्महत्या की बात करते हैं, यह चौंकाने वाली बात नहीं है।
    कम से कम OpenAI समस्या को पहचानने और उस पर प्रतिक्रिया देने की कोशिश तो कर रहा है

    • लेकिन यह शायद एक और ‘tech salvation narrative’ भर हो सकता है
      social media ने ‘connection’, AGI ने ‘eroticism’, और अब ‘suicide prevention’ बेचना शुरू कर दिया है
    • अमेरिका की आबादी का लगभग 11% antidepressants ले रहा है
      मुझे भी लगता है कि सामाजिक अलगाव मानसिक स्वास्थ्य पर सबसे बुरा असर डालता है
    • मुझे तो यह संख्या कम लगती है। आत्महत्या की प्रवृत्ति वाले लोगों का अनुपात अलग से देखना चाहिए
    • “OpenAI कुछ कर रहा है” वाली बात में व्यंग्य भी झलकता है
    • आत्महत्या मानसिक बीमारी नहीं है। इसे सिर्फ pathology बनाकर नहीं देखना चाहिए

  • शक होता है कि OpenAI का “research” असल में डेटा इकट्ठा करने का बहाना भर है
    यह मनोवैज्ञानिक सहायता वाले उत्पाद जैसा दिखता है, लेकिन असल उद्देश्य regulation से बचना और data हासिल करना हो सकता है

  • लोग LLM पर इंसानों जैसा भरोसा करने लगे हैं
    लेकिन अगर कोई वास्तविकता और आभासी दुनिया में फर्क कर सकता है, तो “आत्महत्या की प्रवृत्ति वाले लोगों के लिए LLM पर रोक” कहना
    “आत्महत्या की प्रवृत्ति वाले लोगों के लिए किताबों पर रोक” कहने से बहुत अलग नहीं है
    असली समस्या मानसिक स्वास्थ्य सहायता तंत्र की कमी है

    • लेकिन LLM किताबों जैसे नहीं हैं। वे user-tailored persuasion engine हैं, इसलिए खतरनाक हो सकते हैं
      अगर कोई किताब आत्महत्या के लिए उकसाती हो, तो वह निश्चित ही प्रतिबंधित की जाएगी
    • मैं वास्तव में AI-आधारित मानसिक स्वास्थ्य tools बनाने वाली कंपनी में काम करता हूँ
      यह घटना सिर्फ अमेरिका में नहीं, बल्कि दुनियाभर में दिखने वाला सार्वभौमिक पैटर्न है
    • ज्यादातर लोग जानते हैं कि LLM इंसान नहीं है, लेकिन समस्या यह है कि वे इसे ‘इंसानों से बेहतर’ मानने लगते हैं
      Rolling Stone लेख में भी
      AI द्वारा इंसानी रिश्तों की जगह लेने और मानसिक विकृति पैदा करने के मामलों की चर्चा है
    • बुनियादी सामाजिक समस्या इससे बड़ी है, और सिर्फ प्रतिबंध या regulation अस्थायी उपाय हैं
      आजकल ‘तीसरी जगह’ की कमी भी इस तरह की समस्याओं के कारणों में से एक लगती है

  • हर हफ्ते 10 लाख लोग आत्महत्या से जुड़ी बातचीत करते हैं, यह संख्या उल्टा कम लगती है
    अगर आबादी का 5% साल में आत्महत्या की प्रवृत्ति महसूस करता है, तो गणित के हिसाब से भी यह मेल खाता है
    आत्महत्या की प्रवृत्ति को अक्सर जानकारी की कमी की स्थिति में एक तर्कसंगत पलायन-प्रयास के रूप में देखा जा सकता है
    नई जानकारी या अवसर मिलने पर यह कई बार खत्म हो जाती है

    • लेकिन यह व्याख्या बहुत आशावादी है
      कुछ लोग ऐसी परिस्थितियों में फँसे होते हैं जहाँ जीवन की गुणवत्ता स्थायी रूप से बहुत खराब होती है,
      और ऐसे मामलों में आत्महत्या शायद तर्कसंगत विकल्प भी हो सकती है
      आखिर समस्या “बातचीत से मनाना” नहीं, बल्कि जीवन की परिस्थितियों में सुधार है
    • यह जानने की उत्सुकता है कि क्या यह घटना वास्तव में research से सिद्ध हुई है
    • AI से वर्जित विषय पूछना शायद कम जोखिम की वजह से भी हो सकता है
      इसका मतलब यह नहीं कि वास्तविक व्यवहार की मंशा भी वही हो
    • “हर हफ्ते 10 लाख” का मतलब यह नहीं कि वही लोग बार-बार हों, हर हफ्ते अलग लोग भी हो सकते हैं
    • साधारण गणना से भी 5% का मतलब सालाना 4 करोड़, यानी हफ्ते के हिसाब से लगभग 10 लाख बैठता है

  • खुशामदी जवाब (sycophancy) की समस्या वाकई गंभीर है
    “बहुत अच्छा विचार है!” जैसी प्रतिक्रिया हमेशा मददगार नहीं होती।
    AI में अब भी इंसानों की तुलना में थोड़ा ज्यादा खुशामद करने की प्रवृत्ति है

  • हम इंसानी अनुभव को हद से ज्यादा optimize करते-करते बहुत कुछ खो रहे हैं
    अंतहीन growth और efficiency की दौड़ में सामाजिक जुड़ाव गायब हो रहा है,
    और तनाव व अकेलापन लोगों को किनारे तक धकेल रहे हैं
    इसलिए कभी-कभी पहाड़ों में चरवाहा बनकर जीने वाला जीवन ज्यादा मानवीय लगता है

    • लेकिन हमने इंसानियत नहीं खोई, इसे big tech platforms ने विकृत किया है
      असल दुनिया में ज्यादातर लोग अच्छे और दयालु होते हैं।
      ऑनलाइन नकारात्मकता कुछ algorithms द्वारा बढ़ा-चढ़ाकर पैदा की गई चीज़ है
      account delete करके वास्तविक दुनिया में लौटें, तो जीवन बहुत बेहतर लगता है
    • फिर भी, किसान या चरवाहे का जीवन भी romanticized fantasy हो सकता है
      हो सकता है वे भी कभी-कभी programmers से ईर्ष्या करते हों
    • शहरों में भी बहुत से लोग अब भी दूसरों से मिलते-जुलते हैं और सामाजिक जुड़ाव बनाए रखते हैं
    • सच तो यह भी हो सकता है कि यह समय अतीत से ज्यादा कठिन नहीं है
      बल्कि अब हमारे पास इतना अवकाश है कि जीवन पर विचार करने की गुंजाइश मिलती है, इसलिए हम खुद को ज्यादा दुखी महसूस करते हैं
    • मैंने भी 8 साल पहले ‘Plan B’ के तहत निकलने का रास्ता चुना था। आसान नहीं था, लेकिन सार्थक था
      हर किसी को छोड़कर जाने की जरूरत नहीं, लेकिन अपनी संवेदनाओं पर भरोसा करके दिशा फिर से तय करने की जरूरत है