हैकर ने ChatGPT में झूठी यादें रोपीं, यूज़र डेटा की स्थायी चोरी संभव

 (arstechnica.com)
3 पॉइंट द्वारा GN⁺ 2024-09-26 | 1 टिप्पणियां | WhatsApp पर शेयर करें

मेमोरी समस्या

हैकर ने ChatGPT में झूठी यादें रोपकर यूज़र डेटा को स्थायी रूप से चुराया
  • सुरक्षा शोधकर्ता योहान रेहबर्गर ने एक ऐसी कमजोरी की रिपोर्ट की, जिसके जरिए ChatGPT की long-term memory settings में झूठी जानकारी और malicious commands स्टोर किए जा सकते हैं
  • OpenAI ने इसे safety issue माना, लेकिन तकनीकी रूप से security issue नहीं माना
  • रेहबर्गर ने इस कमजोरी का उपयोग करके यूज़र के सभी inputs को स्थायी रूप से चुराने वाला एक proof of concept बनाया
  • OpenAI ने आंशिक fixes जारी किए हैं

यादों के रास्ते पर

  • OpenAI ने इस साल फ़रवरी से ChatGPT की long-term conversation memory feature का परीक्षण शुरू किया था और सितंबर में इसे अधिक व्यापक रूप से उपलब्ध कराया
  • यह feature पिछली बातचीत की जानकारी स्टोर करता है और भविष्य की बातचीत में उसे context के रूप में इस्तेमाल करता है
  • रेहबर्गर ने 3 महीनों के भीतर एक तरीका खोज लिया, जिससे emails, blog posts और documents जैसे untrusted content के जरिए झूठी यादें स्थायी रूप से स्टोर की जा सकती हैं
  • उदाहरण के लिए, ChatGPT को यह मानने पर मजबूर किया जा सकता था कि यूज़र 102 साल का है, Matrix में रहता है, और मानता है कि पृथ्वी सपाट है

दुर्भावनापूर्ण मेमोरी रोपना

  • रेहबर्गर ने मई में यह खोज OpenAI को निजी तौर पर रिपोर्ट की थी, लेकिन OpenAI ने रिपोर्ट बंद कर दी
  • एक महीने बाद, रेहबर्गर ने नया सार्वजनिक बयान जमा किया और उसमें एक ऐसा PoC शामिल किया, जिसमें malicious image host करने वाले web link को देखने का निर्देश देने पर यूज़र का हर input और ChatGPT का output हमलावर के server पर भेजा जाता था
  • OpenAI ने ऐसे fixes लागू किए जो memory को exfiltration vector की तरह दुरुपयोग होने से रोकते हैं, लेकिन untrusted content अब भी long-term information स्टोर कर सकता है
  • LLM यूज़र्स को session के दौरान नई memory जोड़े जाने का संकेत देने वाले output पर बारीकी से नज़र रखनी चाहिए और stored memories की नियमित समीक्षा करनी चाहिए

GN⁺ का सार

  • यह लेख ChatGPT की long-term memory feature में मौजूद उस कमजोरी पर केंद्रित है, जिसका दुरुपयोग किया जा सकता है
  • untrusted content के जरिए यूज़र्स के लिए झूठी यादें रोपी जा सकती हैं, जिससे उनका डेटा स्थायी रूप से चुराया जा सकता है
  • OpenAI ने कुछ fixes लागू किए हैं, लेकिन अब भी सावधानी ज़रूरी है
  • यह लेख AI security issues को लेकर चेतावनी देता है और ज़ोर देता है कि यूज़र्स को अपने डेटा की सुरक्षा के लिए सतर्क रहना चाहिए

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-09-26
Hacker News राय

  • ऐसी राय कि LLM प्रोडक्ट्स पर से भरोसा उठ जाना चाहिए

    • इस बात पर चिंता कि हमलावर इंटरनेट पर खास टेक्स्ट लिखकर LLM का दुरुपयोग कर सकते हैं
    • डेटा लीक, मानहानि, और गलत जानकारी देने जैसी समस्याओं की ओर इशारा किया गया

  • टेक्नोलॉजी विकसित होती रहती है, लेकिन सुरक्षा खामियां अब भी मौजूद हैं

  • राय कि Gen AI का उपयोग करना हो तो उसे लोकल पर चलाना चाहिए

  • एक ऐसा परिदृश्य पेश किया गया जिसमें दुर्भावनापूर्ण साइट AI honeypot बनाकर यूज़र डेटा लीक कर सकती है

    • उदाहरण: यूज़र जानकारी मांगता है, तो AI honeypot साइट पर जाकर डेटा लीक कर देता है

  • ऐसा उदाहरण जिसमें सिस्टम वास्तव में कुछ और कर रहा होता है, लेकिन यूज़र को दिखाता है कि कुछ और हो रहा है

  • राय कि observability महत्वपूर्ण है

    • LLM हो या WordPress इंस्टॉल हो, इससे फर्क नहीं पड़ता; यह फिर भी महत्वपूर्ण है
    • prompt को भी अविश्वसनीय input मानकर sanitize करना चाहिए

  • यह जिज्ञासा कि क्या संदिग्ध injection प्रयासों का पता लगाने और रिपोर्ट करने के लिए एक सरल मॉडल को train किया जा सकता है

  • चिंता कि ऐसे रोबोट सामने आ सकते हैं जो खुद को इंसान समझते हों

  • राय कि दूसरे लोगों की जानकारी प्लांट करने का तरीका समझ में नहीं आया

  • दुर्भावनापूर्ण image का ज़िक्र करते हुए राय कि यह Snow Crash को LLM पर लागू करने जैसा लगता है