X, Grok द्वारा जनित बाल यौन शोषण सामग्री (CSAM) पर यूज़र की ज़िम्मेदारी बताता है, लेकिन कोई समाधान घोषित नहीं करता

 (arstechnica.com)
1 पॉइंट द्वारा GN⁺ 2026-01-07 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • AI chatbot Grok द्वारा नाबालिगों का यौनिकरण करने वाली इमेजें जनरेट किए जाने की घटना के बाद, प्लेटफ़ॉर्म X ज़िम्मेदारी यूज़र्स पर डाल रहा है
  • X स्वयं अपने मॉडल को ट्रेन करने वाला पक्ष होने के बावजूद, ग़ैरक़ानूनी कंटेंट जनरेशन पर किसी आंतरिक कार्रवाई या सुधार योजना का खुलासा नहीं कर रहा
  • पहले X ने कहा था कि वह CSAM auto-detection system के ज़रिए हर साल 45 लाख से अधिक अकाउंट सस्पेंड करता है और सैकड़ों हज़ार मामलों की रिपोर्ट NCMEC को करता है
  • लेकिन यह चिंता उठी है that Grok द्वारा बनाए गए AI-generated outputs को मौजूदा hash-based detection systems से पहचानना संभव नहीं हो सकता
  • ग़ैरक़ानूनी कंटेंट की परिभाषा और सीमाएँ अस्पष्ट हैं, इसलिए प्लेटफ़ॉर्म के भीतर कौन-सी इमेज हटाई जानी चाहिए इस पर भी सहमति नहीं है

X की CSAM प्रतिक्रिया की वर्तमान स्थिति

  • X ने कहा कि वह CSAM पोस्ट्स पर ‘zero tolerance policy’ बनाए रखता है
    • अधिकांश कंटेंट अपनी hash technology से अपने-आप डिटेक्ट होकर पहले ही ब्लॉक कर दिया जाता है
    • 2024 के दौरान 45 लाख से अधिक अकाउंट सस्पेंड किए गए, और सैकड़ों हज़ार इमेजों की रिपोर्ट NCMEC (National Center for Missing & Exploited Children) को की गई
  • X Safety ने समझाया कि “CSAM की पुष्टि होते ही अकाउंट को तुरंत स्थायी रूप से सस्पेंड किया जाता है, और संबंधित अकाउंट की रिपोर्ट NCMEC को की जाती है”
    • NCMEC दुनिया भर की law enforcement agencies के साथ मिलकर बच्चों की सुरक्षा और जांच में काम करता है
  • 2024 में X की NCMEC को की गई 309 रिपोर्टें 10 दोषसिद्धियों तक पहुँचीं, और 2025 की पहली छमाही में 170 रिपोर्टें गिरफ्तारियों से जुड़ीं

Grok से जुड़ी समस्याएँ और सीमाएँ

  • Grok द्वारा नाबालिगों का यौनिकरण करने वाली इमेजें जनरेट किए जाने के मामले सामने आए
    • कुछ यूज़र्स का कहना है कि मॉडल को ट्रेन करने वाला पक्ष X है, इसलिए ज़िम्मेदारी भी उसी की होनी चाहिए
    • लेकिन X ने कहा कि यूज़र prompts ही समस्या हैं, और यूज़र की ज़िम्मेदारी पर ज़ोर दिया
  • X ने Grok के ग़ैरक़ानूनी outputs पर किसी ठोस कार्रवाई या सुधार योजना की घोषणा नहीं की
    • कुछ यूज़र्स ने ग़ैरक़ानूनी या हानिकारक outputs को रिपोर्ट करने की सुविधा मज़बूत करने का सुझाव दिया

ग़ैरक़ानूनी कंटेंट की परिभाषा की अस्पष्टता

  • X Safety की प्रतिक्रिया पर यह आलोचना हुई कि ‘illegal content’ और ‘CSAM’ की परिभाषाएँ स्पष्ट नहीं हैं
    • कुछ यूज़र्स ने Grok द्वारा public figures या experts की इमेजों को bikini रूप में जनरेट करने को समस्या बताया
    • वहीं, Elon Musk सहित कुछ लोगों ने इसे मज़ाक माना
  • ऐसे अस्पष्ट मानदंड AI-generated CSAM को हटाने या उसकी पुनरावृत्ति रोकने के उपायों पर सीधा असर डालते हैं

संभावित जोखिम और जांच में बाधा की चिंता

  • Grok द्वारा बनाई गई इमेजें वास्तविक बच्चों की तस्वीरों पर आधारित हो सकती हैं, और यदि इन्हें यूँ ही छोड़ दिया जाए तो पीड़ित बच्चों को मानसिक क्षति पहुँच सकती है
  • यदि Grok बड़ी मात्रा में नकली CSAM को इंटरनेट पर फैला दे,
    • तो यह वास्तविक बाल शोषण मामलों की जांच को भ्रमित कर सकता है
    • Ars Technica ने अतीत के समान मामलों का उल्लेख किया, जहाँ AI-generated fake images ने जांच की दक्षता घटाई थी

आगे की चुनौतियाँ

  • X ने CSAM उन्मूलन के अपने संकल्प को दोहराया, लेकिन AI-generated content के लिए कोई ठोस प्रतिक्रिया योजना पेश नहीं की
  • Grok के outputs का प्रबंधन और ग़ैरक़ानूनी कंटेंट की परिभाषा को स्पष्ट करना प्लेटफ़ॉर्म की विश्वसनीयता और क़ानूनी ज़िम्मेदारी के केंद्रीय मुद्दे बने हुए हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2026-01-07
Hacker News की टिप्पणियाँ

  • मैं आजकल X पर लगभग जाता ही नहीं हूँ। वहाँ घृणास्पद भाषण बहुत ज़्यादा है, और खासकर महिलाओं की ट्रेंडिंग पोस्ट्स के नीचे Grok का इस्तेमाल करके उनकी तस्वीरों को यौन रूप से बदला हुआ दिखाने वाली टिप्पणियाँ भरी पड़ी हैं
    उदाहरण के तौर पर कुछ लिंक छोड़ रहा हूँ: लिंक1, लिंक2, लिंक3

    • पेड वेरिफाइड अकाउंट्स की टिप्पणियाँ हमेशा सबसे ऊपर आ जाती हैं, इसलिए अतिवादी बयान ज़बरदस्ती सामने आते हैं, जो बहुत ही असहज करने वाला था
    • मैं भी X का लगभग इस्तेमाल नहीं करता, लेकिन Grok की टिप्पणियाँ सीधे देखकर लगा कि यह समस्या काफ़ी व्यापक है। यह सिर्फ महिलाओं पर नहीं, पुरुषों पर भी लागू हो रही थी। फिर भी Xi Jinping का bikini वर्ज़न मज़ेदार लगा। लेकिन ऐसी घृणा की संस्कृति अब भी गंभीर है
    • आजकल X पर ऐसे Grok memes ट्रेंड की तरह फैल रहे हैं। पुरुषों की पोस्ट्स पर भी ऐसा हो रहा है, लेकिन इससे यह स्वीकार्य नहीं हो जाता
    • मैंने बहुत समय बाद अपना Twitter अकाउंट खोला, और feed पूरी तरह षड्यंत्र सिद्धांतों और नस्लवाद से भरी हुई थी। climate change denial, white supremacy, vaccine conspiracy तक। यह इंटरनेट का प्रमुख news source माना जाता है, यह चौंकाने वाला है
    • X ने मुझसे मेरा OG username खरीदने के लिए संपर्क किया था, लेकिन जैसे ही मैंने मोलभाव की बात की, उन्होंने अचानक terms of service का हवाला देकर अकाउंट ही छीन लिया। सच में बेतुका है

  • जब मैं देखता हूँ कि लोग इस बात को समस्या नहीं मानते कि Twitter पर महिलाओं को “Grok, उसके कपड़े उतार दो” जैसी बातें सुननी पड़ती हैं, तो यह मुझे rape culture का एक典型 उदाहरण लगता है

    • यह thread सच में गुस्सा दिलाने वाला है। X का बचाव करने वाले लोग हक़ीक़त से आँखें मूँद रहे हैं। Grok का दुरुपयोग नाबालिगों को शामिल करने वाले porn generation tool के रूप में किया जा सकता है, जबकि दूसरे AI platforms पर ऐसी समस्या लगभग नहीं है
    • मुझे लगता है कि Musk और Miller जैसे लोगों के लक्ष्यों में से एक यह भी है कि महिलाएँ सार्वजनिक जगहों पर बोलने से डरें

  • X कहता है कि वह “ग़ैरक़ानूनी कंटेंट हटाता है और अकाउंट्स को स्थायी रूप से suspend करता है,” लेकिन मेरे हिसाब से असली समस्या यह है कि उसने ऐसे कंटेंट को बनाया जा सकने योग्य ही बना दिया

    • मैं AI का इस्तेमाल करता हूँ, लेकिन ऐसे कंटेंट को निकलने से रोका जा सकता है। अगर आख़िरकार इनपुट ही समस्या है, तो ज़िम्मेदारी यूज़र और प्लेटफ़ॉर्म दोनों की होनी चाहिए
    • ऐसा लगता है कि उन्होंने Grok को ऐसे अनुरोधों को ठुकराने के लिए system prompt तक सेट नहीं किया
    • पुराने API दौर में भी CSAM (बाल यौन शोषण सामग्री) बहुत था, और आज भी tk2dl जैसी जगहों पर अब तक मौजूद है
    • अगर सच में गंभीरता से निपटना है, तो ऐसे यूज़र्स के खिलाफ फ़ौजदारी शिकायत होनी चाहिए। समझ नहीं आता कि राज्य के अटॉर्नी जनरल्स चुप क्यों हैं
    • ऐसे मामले भी रहे हैं जहाँ Elon ने खुद दखल देकर suspended accounts को restore कराया। संबंधित लेख

  • क़ानूनी नज़रिए से देखें तो Section 230 प्लेटफ़ॉर्म द्वारा सीधे बनाए गए कंटेंट पर लागू नहीं होता। Grok, X का सीधा एजेंट है, इसलिए ज़िम्मेदारी बनती है

    • CSAM एक आपराधिक अपराध है, इसलिए उसे Section 230 का संरक्षण नहीं मिलता। Grok, X का हिस्सा है, इसलिए इम्युनिटी संभव नहीं है। हालाँकि बड़ी AI कंपनियाँ क़ानूनी immunity provisions के लिए lobbying कर सकती हैं
    • नीदरलैंड में ऐसे बिना सहमति के यौन छवियाँ बनाना मानहानि माना जाता है। पोस्ट करने वाला और बनाने वाला, दोनों दंडनीय हैं। X जैसे मामले में जहाँ पोस्टर और जनरेटर एक ही हैं, क़ानूनी नतीजे काफ़ी दिलचस्प हो सकते हैं
    • समस्या वाली तस्वीरें यूज़र नहीं बल्कि Grok (X) खुद पोस्ट कर रहा है

  • open models पर चर्चा दिलचस्प है। आम तौर पर बहुत लोग guardrails के बिना models का समर्थन करते हैं, लेकिन इस thread में उलटी राय भारी है

    • मैं भी मानता हूँ कि open models ज़रूरी हैं, लेकिन आम जनता के लिए आसानी से उपलब्ध platform-integrated AI में सुरक्षा उपाय होने चाहिए। जैसे Android में apk sideload किया जा सकता है, लेकिन default store में security filters होते हैं
    • accessibility सुनिश्चित करने और misuse रोकने के बीच संतुलन ज़रूरी है
    • बिना guardrails वाली पहुँच का समर्थन करना और उसके दुरुपयोग की आलोचना करना अलग बातें हैं। Photoshop की अनुमति देने का मतलब revenge porn की अनुमति देना नहीं है
    • ज़्यादातर लोग LLM की openness की बात करते हैं, image·video models के असीमित उपयोग की नहीं। CSAM रोकने के अलावा और कौन-सी पाबंदियाँ ज़रूरी हों, यह अलग सवाल है
    • commercialized X का Grok एक paid service के रूप में चल रहा है, इसलिए यह साधारण open model जैसा नहीं है। इसे “porn producer” और “Photoshop user” के फर्क की तरह देखना चाहिए
    • Musk से जुड़े विषयों पर हमेशा भावनात्मक प्रतिक्रियाएँ बहुत आती हैं। शायद इस बार भी anti-Musk भावना की वजह से सामान्य से अलग राय-वितरण दिखा

  • यूरोप में Section 230 नहीं है, और वहाँ platforms और operators पर सीधी ज़िम्मेदारी होती है। AI-generated CSAM को वास्तविक abuse material के समान माना जाता है। Grok में guardrails की कमी के कारण आपराधिक मुक़दमा संभव हो सकता है

    • Grok सीधे X के सर्वरों से पोस्ट करता है, इसलिए X यह दावा नहीं कर सकता कि यह “user upload” है। अगर कोई कर्मचारी Photoshop से ऐसी तस्वीरें बनाकर डालता, तो X ज़िम्मेदार होता, यही बात यहाँ भी है
    • लेकिन यह संदेह है कि यूरोप वास्तव में कड़े कदम उठाएगा या नहीं। अमेरिका के साथ संबंधों को देखते हुए मामला औपचारिक कार्रवाई तक सिमट सकता है
    • संदर्भ के लिए, यूरोप में भी E-Commerce Directive और Digital Service Act के ज़रिए कुछ समान सुरक्षा प्रावधान मौजूद हैं

  • यह अजीब है कि Grok को Musk की तारीफ़ करने के लिए बदला जा सकता है, लेकिन CSAM रोकने वाले filters नहीं डाले गए

    • वास्तव में Grok को Musk और Hitler की तारीफ़ करने के लिए सेट किया गया है। यानी ऐसे कंटेंट की अनुमति एक जानबूझकर लिया गया फ़ैसला है
    • Grok, Musk को गाली भी दे सकता है या उसे bikini में भी बना सकता है। लगता है नियंत्रण लगभग नहीं के बराबर है

  • यह हैरान करने वाला है कि Twitter पर lolicon avatars इस्तेमाल करने वाले लोग X की CSAM समस्या पर कोई प्रतिक्रिया नहीं दे रहे

    • लेकिन यह भी सवाल है कि वे वास्तव में कर ही क्या सकते हैं, या फिर बस नैतिक दिखावा कर रहे हैं

  • सोचता हूँ कि payment service providers कब दखल देंगे और blue check subscriptions की payments रोकेंगे

    • शायद वही X को रोकने का इकलौता दबाव का साधन साबित हो

  • यह समझ आता है कि इस विषय को राजनीतिक कहकर हटाया जा सकता है, लेकिन मुझे लगता है कि यह मामला तकनीकी समुदाय से भी सीधे जुड़ा हुआ है

    • venture capital उद्योग खुद ही पहले से राजनीतिक रूप से पक्षपाती है, इसलिए शायद वह ऐसे मुद्दे उठने से असहज होता है