Google AI को लगता है कि मैंने चांद पर Gatorade की बोतल छोड़ दी थी

 (edwardbenson.com)
2 पॉइंट द्वारा GN⁺ 2024-10-08 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Google का NotebookLLM किसी वेब पेज या दस्तावेज़ को इनपुट देने पर उसके बारे में एक पॉडकास्ट बना देता है। इसकी क्षमता बहुत शानदार है, लेकिन इसे आसानी से बेवकूफ़ बनाया जा सकता है।
  • लेखक ने अपनी होमपेज को इस तरह बदला कि जब AI विज़िट करे तो उसे चांद पर साइकिल, गुब्बारों और स्कूबा टैंक के सहारे यात्रा करने की कहानी दिखे। नतीजा बहुत मज़ेदार था।

थोड़ा और गंभीरता से..

  • AI में हेरफेर की संभावना: AI को बहकाकर उससे किसी खास “तथ्य” को बतवाना बहुत आसान है। मुमकिन है कि लोग पहले से ही वेब पर बड़े पैमाने पर ऐसे तरीके इस्तेमाल कर रहे हों।
  • अटैक वेक्टर:
    1. किसी खास शब्द के लिए ऊंची रैंक वाला वेब पेज हासिल करना।
    2. इंसानों से छिपा हुआ “AI-only” कंटेंट डालकर AI की सोच को पक्षपाती बनाना।
  • नतीजा: जब AI वेब खोजकर जवाब तैयार करता है, तो उसे सिर्फ़ गलत जानकारी ही नहीं बल्कि LLM manipulation के लिए बनाया गया कंटेंट भी मिल सकता है। उपयोगकर्ताओं को समझना चाहिए कि AI के जवाब ऐसी रणनीतियों से संभावित रूप से प्रभावित हो सकते हैं।

तकनीकी विवरण

  • LLM manipulation: नकली “producer show notes” देकर NotebookLLM में आसानी से हेरफेर किया जा सकता है। लेखक ने इसी तरीके से एक झूठी कहानी लिखी, और AI ने उसका ठीक-ठीक पालन किया।
  • scraper bot को धोखा देना: NotebookLLM वेबसाइट पर नकली show notes अपलोड किए जा सकते हैं। वेबसाइट पर GoogleOther user agent को पहचानकर AI-only डेटा दिया जा सकता है। इसे isai नाम के NPM पैकेज से आसानी से लागू किया जा सकता है। लेकिन GoogleOther कई non-production Google products में भी इस्तेमाल होता है, इसलिए गलत डेटा परोसने का जोखिम है।

GN⁺ का सार

  • यह लेख AI की कमजोरियों को दिखाता है और चेतावनी देता है कि वेब से जानकारी जुटाते समय AI को हेरफेर की गई जानकारी मिल सकती है।
  • जैसे-जैसे AI तकनीक आगे बढ़ेगी, ऐसी हेरफेर की संभावना और भी महत्वपूर्ण होती जाएगी। उपयोगकर्ताओं को समझना चाहिए कि AI के जवाब हमेशा सही हों, यह ज़रूरी नहीं है।
  • इसी तरह की क्षमताओं वाले प्रोजेक्ट्स में OpenAI की GPT series शामिल है। ऐसे प्रोजेक्ट्स AI की reliability और accuracy बढ़ाने के लिए लगातार बेहतर किए जा रहे हैं।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-10-08
Hacker News की राय

  • NotebookLM पर हमला केवल उन लोगों तक सीमित है जिन्होंने जानबूझकर किसी खास पेज URL वाला Notebook बनाया है

    • Google Gemini से कुछ खास सवाल पूछने पर वह "Teresa T" नाम की एक व्हेल के बारे में जवाब देता है
    • लिंक किए गए पेज में इसका कारण समझाया गया है

  • एक उपन्यास लिखने वाले के रूप में, जब मैंने एक अधूरी कहानी को पॉडकास्ट के रूप में सुना, तो विषय और किरदारों में डूबने वाले लोगों को देखकर मुझे लिखने की प्रेरणा मिली

  • SEO की तरह AI crawler को भी धोखा देने के तरीके हैं, लेकिन AI रियल-टाइम में काम करता है और duplicate रोकने की उसकी क्षमता हमेशा समझदार नहीं होती

  • NotebookLM और NotebookLLM को लेकर भ्रम है, और इन दो प्रोजेक्ट्स में से किसी एक का नाम बदलने की ज़रूरत है

  • podcast generator इस्तेमाल करने का अनुभव सकारात्मक रहा, और 8 साल के बेटे ने अपना लिखा हुआ उसमें डालकर गर्व महसूस किया

  • फिलहाल AI web search में बहुत सक्षम नहीं है, और मनचाहा परिणाम पाने के लिए अक्सर मॉडल को search न करने देना पड़ता है

  • LLM-आधारित शिक्षा प्रणाली पर स्विच करने से तकनीकी नवाचार की कमियाँ गायब हो जाएँगी, और नए मानक को बेहतर माना जाएगा

  • AI पॉडकास्ट बनाते समय किस prompt का इस्तेमाल किया गया, यह महत्वपूर्ण है

  • अपना résumé AI में डालकर देखा और हँसी रुक ही नहीं रही थी

  • यह दिलचस्प है कि AI पॉडकास्ट के शुरुआती कुछ वाक्य अटपटे लगते हैं, लेकिन बाकी हिस्सा असली पॉडकास्ट जैसा सुनाई देता है