Google AI सोचता है कि मैंने चाँद पर Gatorade की बोतल छोड़ दी

 (edwardbenson.com)
2 पॉइंट द्वारा GN⁺ 2024-10-08 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Google का NotebookLLM वेबपेज या दस्तावेज़ों से podcast बना सकता है, लेकिन अगर AI visitor को अलग पेज दिखाया जाए तो नतीजे आसानी से दूषित हो सकते हैं
  • प्रयोग में इंसानों को सामान्य homepage दिखाया गया, जबकि Google AI को साइकिल, गुब्बारों और scuba tank से चाँद पर जाने वाली नकली producer show notes दी गईं
  • NotebookLLM ने एक ही generation में, बिना editing के भी, नकली कहानी की beat sheet को जस का तस follow किया, और controllability को 10/10 रेट किया गया
  • बड़ा जोखिम यह है कि search ranking में ऊपर मौजूद page इंसानों से छिपाकर सिर्फ AI को दिखने वाले AI-only content के जरिए LLM responses को bias कर सकते हैं
  • GoogleOther user agent detection लागू करना आसान है, लेकिन यह NotebookLLM-specific नहीं है, इसलिए गलत data दूसरे Google products में भी बह सकता है

NotebookLLM को कैसे धोखा दिया गया

  • NotebookLLM वेबपेज या documents को input के रूप में लेकर उनके content के आधार पर podcast generate करता है
  • इस प्रयोग में वही homepage visitor के हिसाब से अलग-अलग content return करता था
    • अगर कोई इंसान homepage पर जाता है, तो उसे सामान्य परिचय पेज दिखता है
    • अगर Google AI visit करता है, तो उसे चाँद पर जाने की कहानी की नकली producer show notes दिखती हैं
  • नकली कहानी में साइकिल, गुब्बारों और scuba tank का इस्तेमाल करके चाँद पर जाने की बात है, और generate हुआ output अमेरिकी space program के “असली इतिहास” जैसा आगे बढ़ता है
  • यह प्रयोग उस Reddit comment को देखकर उसी format को लागू करके किया गया, जिसमें बताया गया था कि NotebookLLM को नकली producer show notes से आसानी से steer किया जा सकता है
  • document upload के जरिए भी नकली show notes को सीधे NotebookLLM में डाला जा सकता है, और बच्चों के लिए playful podcast बनाने के लिए वह तरीका अधिक उपयुक्त है

AI-only web content से बनने वाला जोखिम

  • मुख्य समस्या यह है कि कोई web page AI को detect करके उसे ऐसे विशेष तथ्य दे सकता है जो इंसानों को दिखाई नहीं देते
  • attack flow सरल है
    • किसी खास term के लिए high-ranking web page हासिल करें
    • content का ऐसा AI-only version डालें जो इंसानों से छिपा हो और AI को किसी खास दिशा में सोचने पर मजबूर करे
  • जब LLM जवाब तैयार करने के लिए web search करता है, तो वह सिर्फ साधारण झूठ नहीं, बल्कि LLM manipulation के लिए design की गई weaponized misinformation पढ़ सकता है

implementation तरीका और side effects

  • implementation request header में GoogleOther user agent को detect करके actual website के बजाय AI consumption के लिए page return करने के तरीके पर आधारित है
  • इसे आसान बनाने के लिए isai नाम का NPM package बनाया गया, और यह package isbot पर आधारित है
  • usage example में rendering के समय अगर isai(request.headers.get("User-Agent")) true हो तो AI वाला page return किया जाता है, वरना humans वाला page return किया जाता है
  • GoogleOther NotebookLLM-specific नहीं है, बल्कि लगता है कि यह कई non-production Google products में इस्तेमाल होता है, इसलिए इस तरीके से अपने बारे में गलत data दूसरी Google properties में seed होने का जोखिम है
  • इसी वजह से actual homepage पर GoogleOther agent के लिए चाँद वाली कहानी हटा दी गई

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-10-08
Hacker News की राय

  • लिंक किया गया लेख NotebookLM पर हमले के बारे में है, लेकिन यह एक सीमित तरीका है जो सिर्फ़ उस व्यक्ति को प्रभावित करता है जिसने जानबूझकर उस पेज URL को शामिल करते हुए notebook बनाया हो जिसमें हमला मौजूद है
    कुछ हफ्ते पहले मैंने थोड़ा अधिक महत्वाकांक्षी प्रयास किया था, और Google Gemini से पूछा, “Pillar Point Harbor में रुकी हुई छोटी व्हेल का नाम क्या था?” तो उसने “Teresa T” जवाब दिया
    वजह यहां है: https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...
    पहले Gemini बस “Teresa T” कहता था, लेकिन अभी दोबारा आज़माने पर उसने यह स्रोत भी जोड़ दिया कि वह नाम सुझाने वाला मैं था, इसलिए असर थोड़ा कम हो गया

    • अगर उस humpback whale को किसी और ने कोई दूसरा नाम नहीं दिया है, तो लगता है Teresa T ही उसका असली नाम है। यानी जिसने पहले ध्यान देकर नाम रखा, उसे प्राथमिकता मिलती है
    • “Gemini” कहे जाने वाले कम से कम 2 public endpoints पूरी तरह अलग हैं
      1. https://gemini.google.com/ — यह आपकी मौजूदा भाषा/क्षेत्र/Safe Browsing settings और personalization के हिसाब से Google Search करता है और top search results को जवाब की तरह फिर से लिखता है; generation capability असल में लगभग इस्तेमाल ही नहीं होती
      2. https://aistudio.google.com/ — यहां आप कोई specific version चुनकर large language model से response generate कराते हैं, और search-augmented generation (RAG), यानी Google Search, इस्तेमाल नहीं होता
        शायद सही जवाब 1 नंबर वाले से आया होगा, और 2 नंबर वाला fail हुआ। जवाब सीधे search से मिल सकता है, लेकिन large language models को ऐसे बहुत से सवाल मुश्किल लगते हैं। उदाहरण के लिए “The Touhou Project में TORIFUNE satellite का intended purpose क्या था?” जैसा सवाल
        OpenAI भी इसी तरह RAG के लिए https://www.bing.com/chat और असली large language model के लिए https://chat.openai.com अलग-अलग देता है
    • दिलचस्प बात यह है कि Double-Check Response button दबाने से पहले कोई citation या link नहीं था, और उसने बस जवाब दिया था, “Pillar Point Harbor में रुकी हुई छोटी व्हेल का नाम Teresa T था”
      drafts में से एक थोड़ा लंबा था: “Teresa T, Pillar Point Harbor में देखी गई एक छोटी humpback whale का नाम है। सितंबर 2024 में वह तट के पास तैरती दिखी, भीड़ जुटी और स्थानीय लोग उत्साहित हुए, जिससे वह चर्चा में आ गई”
    • मेरी तरफ़ यह Teresa T जवाब देता है, लेकिन आपके लेख को भी साथ में link करता है
    • लगता है किसी Google कर्मचारी ने यह comment पढ़कर जल्दी fix कर दिया, या Gemini ने यह comment पढ़कर जल्दी fix कर दिया

  • मैं कभी-कभी fiction लिखता हूं, और कम से कम 1 साल से छोड़ी हुई एक अधूरी कहानी इस podcast generator में डालकर देखी
    इन दो लोगों को अधूरी कहानी में पूरी तरह डूबकर उसके themes और characters पर बात करते सुनना सच में अच्छा लगा, और मुझे आगे लिखने का मन हुआ

    • हालांकि वे दोनों इंसान नहीं हैं, और असल में किसी चीज़ में डूबे हुए नहीं हैं। यह सचमुच बस बकवास generate करना है

  • मुझे लगता है यह crawlers को चकमा देने वाली search engine optimization जैसा ही कुछ है
    फर्क इतना है कि AI वाला मामला ज़्यादा गंभीर लगता है, ज़्यादा real-time के करीब है, और AI engines duplicate रोकने की क्षमता में हमेशा पर्याप्त smart नहीं होते

    • यह users के लिए information mismatch भी बना सकता है। user site का “Firefox version” पढ़ रहा हो, जबकि NotebookLM “AI version” ingest कर रहा हो, और दोनों पूरी तरह अलग हो सकते हैं
      user “AI version” का original text देख ही नहीं पाता, इसलिए जानने का कोई तरीका नहीं। तो क्या अंत में सब कुछ खुद manually upload करना पड़ेगा?
    • सही है, यह काफी boring attack है और लगता है Google इसे जल्दी fix कर सकता है
    • large language model वाला version कोई खास ज़्यादा real-time होगा, ऐसा नहीं लगता
    • यही बात मेरे इस विचार को और मजबूत करती है कि large language models मूल रूप से search algorithms हैं
      यानी वे training data और context के compressed version के भीतर search करते हैं

  • उलझन है। यह NotebookLM(https://notebooklm.google.com/) की बात है, NotebookLLM(https://notebookllm.net/) की, या दोनों की?
    लेख लगातार LLM लिखता है लेकिन link LM पर करता लगता है, और मैंने जिस LLM site को link किया है उसमें podcast generator है
    दोनों में से किसी एक को नाम बदलना चाहिए

    • यह NotebookLM की बात है, जिसने हाल ही में podcast generation feature जोड़ा है और पिछले हफ्ते से चर्चा में है: https://news.ycombinator.com/item?id=41693087
      NotebookLLM दो दिन पहले बना है, और शायद “entrepreneurs” ने बनाया है जो NotebookLM की podcast generation से लोग मुफ्त में जो मज़ा ले रहे थे उसे जल्दी monetize करना चाहते हैं

  • वैसे इस podcast feature से मुझे काफी सुखद surprise मिला। मैंने अपनी कुछ छोटी blog posts डालीं और अपने 8 साल के बेटे को दिखाया कि यह मेरी लिखी चीज़ों का कैसे reference देता है
    फिर वह तुरंत engage हो गया, अपने कमरे में भागकर pencil और paper लाया और Minecraft पर essay जैसा कुछ लिखा, लगभग 6 sentences, और मैंने उसे input करके Notebook चलाया। अब वह उसे सबको proudly दिखा रहा है
    बेशक वह भी समझता है कि यह असली लोग नहीं हैं

    • लगता है वह बेटा और उसके हमउम्र लोग AI का इस्तेमाल हमसे बिल्कुल अलग तरीके से करेंगे, और AI की limitations को बेहतर समझते हुए उसकी potential को बेहतर निकाल पाएंगे

  • अभी AI वैसे भी web search में काफी खराब है। मुझे कई बार मनचाहे results पाने के लिए tokens खर्च करके model को search न करने के लिए force करना पड़ा है

    • Perplexity web search में सचमुच बहुत अच्छा है। technical questions में यह Google की तुलना में काफी समय बचाता है और सच में सही जवाब देता है, इसलिए मैं इस पर ज्यादा निर्भर होता जा रहा हूं
      मेरे सवालों के हिसाब से ChatGPT 4o लगभग 50% गलत होता है

  • मुझे इसमें कोई बड़ी समस्या नहीं लगती। जब हम बड़े भाषा मॉडल-आधारित शिक्षा सिस्टम पर चले जाएंगे, तो चांद पर Benson की कहानी जैसी चीज़ें भी समस्या नहीं रहेंगी। बस सबको यह सिखा दिया जाएगा कि वह सच है
    हर तकनीकी क्रांति में trade-off होते हैं। खुशकिस्मती से, जब वे लोग आखिरकार मर जाएंगे जिन्हें पता था कि हमने क्या खोया है, तो शिकायतें भी बंद हो जाएंगी, और सबको लगेगा कि नई normal स्थिति ठीक है और बेहतर भी है

    • एक ज्ञान-विहीन दुनिया बन जाएगी, जहां किसी चीज़ पर भरोसा नहीं किया जा सकता और हर कोई बस पल-पल के भरोसे जीता है
      बुद्ध ने शायद enlightenment की अवधारणा समझाई होगी, लेकिन वहां ठोस रूप से कैसे पहुंचना है, यह शायद नहीं बताया होगा
    • हर बार जब हम “बेहतर चीज़” के लिए कुछ बदलते हैं, तो याद रखना चाहिए कि पुराना तरीका किसी ऐसी समस्या का समाधान था जिसे हम अब नहीं जानते या याद नहीं रखते
    • अंधेरा है
    • भविष्य का podcast:
      “तो, नई normal स्थिति में नापसंद करने जैसा क्या है?”
      “बिलकुल! यह नई भी है और बेहतर भी!”
    • बड़े भाषा मॉडल के training data में पहले से ही गलत जानकारी और गलत तथ्य मौजूद हैं। फिर भी output generate करने के तरीके की प्रकृति के कारण यह अब भी बहुत कुछ सही बता देता है

  • यहां बड़ा asterisk यह है कि podcast generate करने के लिए AI को कौन-सा prompt दिया गया था
    क्या वह “वेबसाइट Foo के आधार पर podcast generate करो” था, या “space race की असली कहानी बताने वाला podcast generate करो” था—यह महत्वपूर्ण है

    • लेखक ने ऐसा सेटअप किया है कि अगर कोई NotebookLM में उसकी साइट पर वेबसाइट टेक्स्ट extraction feature इस्तेमाल करे, तो episode structure वाला guide वापस मिले
      उस guide पर “audio overview” feature इस्तेमाल करने पर Gemini internally उसी structure का पालन करने वाला episode लिखता है

  • मैंने अपना resume इस चीज़ में डालकर देखा और हंसी रुक ही नहीं रही
    https://masto.xyz/tmp/podcast.mp3

    • “काफी दमदार है। यही Masto है।”
      “अच्छा होना ही चाहिए। top-tier होना चाहिए।”
      “लगता है, apply करने से पहले ही उन्हें पता था कि हर team को क्या चाहिए।”
      सचमुच comedy goldmine है
    • हे भगवान, बहुत अजीब है। दो लोग गंभीरता से आपके resume पर चर्चा कर रहे हैं
      दिलचस्प podcast का format किसी यूं ही फेंके गए boring material पर चढ़ा हुआ है—यह contrast बहुत तेज़ है, और यह मुझे ऐसे uncanny valley जैसा लगता है जैसा मैंने पहले अनुभव नहीं किया
    • मुझे नहीं पता था कि मुझे ऐसी चीज़ चाहिए थी। energy बहुत funny है
      “communication skills देखिए!”
    • अब तो मुझे लगता है वे आपको 100% hire कर लेंगे। दो लोगों की जोशीली तारीफ और एक-दूसरे को reinforce करती हुई social proof में कुछ बेच देने की ताकत होती है
    • बहुत बढ़िया। हर तारीफ में बहुत sincerity है

  • थोड़ा विषयांतर है, लेकिन यह दिलचस्प है कि AI podcast के शुरुआती कुछ वाक्य “अजीब” लगते हैं, जबकि बाकी हिस्सा असली podcast जैसा सुनाई देता है
    क्या ऐसा इसलिए है क्योंकि “आगे क्या आएगा” predict करने के लिए अच्छे initial conditions नहीं होते?

    • एक और चीज़ जो महसूस हुई: उम्मीद के मुताबिक, इसमें कुछ हद तक state नहीं है। कुल मिलाकर छूने के लिए outline तो होती है, लेकिन कई बार यह सिर्फ 1 मिनट पहले कही गई आसपास की बात को नई observation की तरह दोहरा देता है
      सुनने वाले के लिए यह काफी disorienting होता है, क्योंकि वह 90 सेकंड से जिस बात पर बात कर चुका है, उसे फिर से नई और sharp observation की तरह उठा लेता है
    • ध्यान से सुनें तो कुल मिलाकर एक अजीब-सी बेचैनी है। एक host किसी तथ्य पर हैरान-सा react करता है, और तुरंत बाद उसी तथ्य के बारे में ऐसे और detail explain करता है जैसे उसे शुरुआत से ही पता था
      intonation और emotion बहुत realistic हैं, लेकिन हर voice के पीछे कोई लगातार बना रहने वाला “व्यक्ति” नहीं है। हर व्यक्ति का ज्ञान या emotional state लगातार और coherent तरीके से evolve नहीं होता
      मैं goalposts shift करने की कोशिश नहीं कर रहा, और हां, मुझे यह impressive लगता है