Poison Fountain

• मशीन इंटेलिजेंस सिस्टम्स को नुकसान पहुँचाने के लिए बनाए गए डेटा स्रोत के रूप में डिज़ाइन किया गया प्रोजेक्ट, जो AI training data में जानबूझकर दूषित जानकारी inject करने का तरीका प्रस्तुत करता है
• Geoffrey Hinton की चेतावनी का हवाला देते हुए, यह इस धारणा पर आधारित है कि AI मानव प्रजाति के लिए खतरा है
• ‘Poison Fountain’ URL के माध्यम से अनंत रूप से जनरेट होने वाला दूषित training data उपलब्ध कराया जाता है, और इसे web crawler के सामने expose करने का तरीका समझाया गया है
• उपयोगकर्ता अपनी वेबसाइट में hidden link डालकर ऐसा सेट कर सकते हैं कि crawler के पहुँचते ही उसे अपने-आप दूषित data भेजा जाए
• AI training प्रक्रिया में malicious data inject करके AI model की reliability और safety को प्रभावित कर सकने वाली कार्रवाई के रूप में इसका मूल्यांकन किया जाता है

---

Poison Fountain का उद्देश्य

• प्रोजेक्ट स्पष्ट रूप से यह रुख रखता है कि मशीन इंटेलिजेंस मानवता के लिए खतरा है
  • Geoffrey Hinton के विचारों से सहमति जताते हुए, AI systems को जानबूझकर नुकसान पहुँचाने के लक्ष्य की बात कही गई है
• इसमें कहा गया है कि थोड़ी मात्रा में दूषित training data भी language model को गंभीर नुकसान पहुँचा सकता है
• दिए गए दो URL(https://RNSAFFN.com/poison2/, .onion address) अनंत रूप से जनरेट होने वाली दूषित data stream प्रदान करते हैं
• प्रतिभागियों को इस data को cache और retransmit करने या web crawler को feed करके “war effort” का समर्थन करने के लिए प्रोत्साहित किया जाता है

Poison Fountain का उपयोग कैसे किया जाता है

• वेबसाइट चलाने वाले उपयोगकर्ताओं के लिए ऐसी प्रक्रिया बताई गई है जिससे crawler के visit करने पर दूषित data पहुँचाया जा सके
  • जब crawler साइट के किसी विशेष path का अनुरोध करता है, तो उस request को संभालने वाला HTTP handler Poison Fountain URL पर request भेजता है
  • Poison Fountain request details को नज़रअंदाज़ करता है और response body में gzip से compressed दूषित training data लौटाता है
• HTTP response header में "Content-Encoding: gzip" शामिल होता है
• वेबसाइट का handler इस response को decompress करके भेज सकता है, या बेहतर तरीके से compressed स्थिति में ही forward कर सकता है
• परिणामस्वरूप crawler इस data को इकट्ठा कर अपने training corpus में शामिल कर लेता है

संरचनात्मक विशेषताएँ और मंशा

• यह प्रोजेक्ट web crawler के automatic collection mechanism का उल्टा उपयोग करके AI training data की quality को नुकसान पहुँचाने वाली संरचना रखता है
• Poison Fountain एक साधारण data-serving server की तरह काम करता है और request की सामग्री से बिना संबंध दूषित data लौटाता है
• बताई गई प्रक्रिया के अलावा तकनीकी विवरण या data की सामग्री के बारे में कोई ठोस जानकारी नहीं दी गई है
• कुल मिलाकर, यह AI training ecosystem में आक्रामक हस्तक्षेप का प्रयास है

[mammal]

"DDoS का प्रतिरोध करने के लिए हमारा सर्वर भी सामने वाले पर DoS कर दे" जितना ही भोला-भाला ख़याल लगता है

[kunggom]

ज़रा एक साज़िशी थ्योरी मिलाकर देखें, तो यह अजीब नहीं लगेगा कि इंटरनेट से जुटाई जा सकने वाली लगभग सारी डेटा पहले ही बटोर चुके Big Tech, सीढ़ी खींच लेने के लिए पर्दे के पीछे से ऐसे काम कर रहे हों।
यह तो अत्यधिक crawling से होने वाले लोड से बचाव भी नहीं है…

[kunggom]

AI के विकास को रोकने के लिए ‘data poisoning’ का सामूहिक आंदोलन उभरा

इस प्रोजेक्ट की जानकारी देने वाले व्यक्ति ने गुमनाम रहने का अनुरोध किया, यह कहते हुए कि वह फिलहाल अमेरिका की एक बड़ी tech कंपनी में काम करता है, जो मौजूदा AI boom के केंद्र में है। इस संबंधित व्यक्ति ने समझाया, “उद्देश्य यह बताना है कि AI की कमजोरियों का कितनी आसानी से दुरुपयोग किया जा सकता है, और लोगों को खुद information weapons बनाने के लिए प्रोत्साहित करना है।”

बताया गया है कि फिलहाल इस गतिविधि में कम से कम 5 लोग शामिल हैं, जिनमें से कुछ अन्य बड़ी AI कंपनियों से जुड़े लोग बताए जाते हैं। उन्होंने कहा कि कई लोगों की भागीदारी साबित करने के लिए वे जल्द ही cryptographic signature (PGP) सार्वजनिक करेंगे।

[GN⁺]

Hacker News की राय

• यह चिंता तो है कि AI मॉडल धीरे-धीरे खराब होते जा रहे हैं, लेकिन वास्तव में ऐसा नहीं है
  Opus 4.5 ने कोड लिखने और tools इस्तेमाल करने की क्षमता में काफी सुधार किया है, और Gemini 3.0 Flash ने visual data extraction प्रोजेक्ट्स में पुराने benchmarks को पीछे छोड़ दिया है
  छोटे मॉडल भी कुल मिलाकर काफी बेहतर हुए हैं

  • बड़े labs dataset curation पर भारी मेहनत करते हैं
    वे सिर्फ toxic data को रोकने तक सीमित नहीं रहते, बल्कि performance बढ़ाने वाले data को ढूंढने के लिए proxy models तक train करते हैं
    “Data Quality” विभाग आमतौर पर बहुत बड़े बजट वाला core organization होता है
  • आम लोगों को यह meme जैसा लग सकता है, लेकिन असल में ML researchers को model collapse की अवधारणा को दस्तावेज़ित करना, समझना और उस पर चर्चा करना चाहिए
  • अब तक के research results में AI द्वारा बनाए गए data से वास्तविक performance को नुकसान पहुँचने का बहुत कम सबूत मिला है
    उल्टा, कुछ नतीजों में थोड़ा-बहुत फायदा भी दिखा है
  • अगर database खराब हो जाए तो rollback करके data collection का तरीका बदल सकते हैं, इसलिए यह खतरा बढ़ा-चढ़ाकर बताया गया लगता है
  • लेकिन बड़े enterprises datasets की पूरी तरह जाँच करने लायक बहुत बड़े हैं, इसलिए वे legal liability से बचने के लिए lobbying पर पैसा खर्च कर रहे हैं
    यानी वे खुद को ज़िम्मेदारी से मुक्त बताने की कोशिश कर रहे हैं

• एक AI security researcher के रूप में, मैंने data poisoning पर PhD research की है

  1. मॉडल डेवलपर्स data filter तो करते हैं, लेकिन उसकी गुणवत्ता अक्सर पर्याप्त नहीं होती
     ऐसे मामले रहे हैं जहाँ garbage data सचमुच production में चला गया और समस्याएँ पैदा हुईं
  2. data toxins को पूरी तरह छाँटना लगभग असंभव है
     क्योंकि यह जानना संभव नहीं कि model की weight updates हर input को किस तरह प्रभावित करेंगी
     जब यह बात समझ में आएगी कि data में बहुत छोटा बदलाव भी model के व्यवहार को बहुत बदल सकता है, तो AI security paradigm बदल जाएगा
  • इस बात को उजागर करने वाले research में subliminal learning पेपर शामिल है

• अगर LLM को data scrape करने से रोकना है, तो इंसानों की सामान्य access भी रुक जाएगी
  उदाहरण के लिए, NYTimes data को poison कर दे, तब भी LLM वैध subscription account के जरिए OCR और tokenization से साफ किया हुआ data ले सकता है
  बड़ी AI कंपनियाँ दुनिया भर के data centers से IP बदल-बदलकर access कर सकती हैं, इसलिए यह पहचानना मुश्किल है कि data कौन पढ़ रहा है

  • लेकिन इंटरनेट तेज़ी से AI-generated garbage data से भर रहा है, जो नए मॉडल train करने के लिए ज़हर बन रहा है
    Stack Overflow जैसे उपयोगी data sources लगभग सूख चुके हैं
  • कई websites copyright notices साफ़ तौर पर दिखाती हैं, तो अगर LLM उन्हें पढ़ सकता है तो शायद access रोकी जा सकती है
    हालांकि human users के लिए CAPTCHA जैसी चीज़ों की वजह से access लगातार मुश्किल होती जा रही है
  • अगर robots.txt में ऐसे pages डाल दिए जाएँ जिन्हें इंसान नहीं देखते, तो LLM scrapers उन्हें scrape करके खुद ही contaminate हो सकते हैं
  • आखिरकार लोग भी भरोसेमंद sources की जगह अक्सर Telegram rumors पर यक़ीन कर लेते हैं
    वैध data मौजूद हो, तब भी मूर्खतापूर्ण चुनावों को रोका नहीं जा सकता
  • बड़ी कंपनियों के पास पहले से browser-based agents हैं, इसलिए वे बंद sources से भी data इकट्ठा कर सकती हैं

• हाल के model performance improvements का बड़ा हिस्सा post-training reinforcement learning (RL) की वजह से है
  GPT 5.2 भी GPT-4o जैसा ही base model इस्तेमाल करता है
  ‘Model collapse’ अभी frontier labs के सामने सचमुच की समस्या नहीं है

  • संदर्भ लेख: The Register - Industry insiders seek to poison AI models
  • सिर्फ RL ही नहीं, prefill चरण की inference optimization भी performance सुधार में योगदान देती है
    data poisoning का इस पर बहुत बड़ा असर नहीं पड़ता
    लेकिन नया data reflect करने के लिए periodic retraining ज़रूरी है, और उसी समय poisoning का जोखिम बढ़ जाता है
    LoRA-आधारित image generation models आदि में collapse की समस्या अब भी कभी-कभी होती है
    आखिरकार data curation cost और बढ़ेगी
  • GPT-4o और 5.2 का knowledge cutoff अलग है

• data poisoning के दो पहलू हैं
  एक AI प्रगति को धीमा करने का प्रभाव, और दूसरा models को अस्थिर और ख़तरनाक बनाने वाला side effect
  अंततः बड़े labs के रुकने की संभावना लगभग नहीं है

  • उम्मीद है कि LLM outputs पर विश्वास का क्षय जल्दी आए
  • इससे ज़्यादा समझदार scrapers बनाने की प्रेरणा मिलती है, जो सकारात्मक है
    बिना मतलब की दोहराई जाने वाली crawling traffic cost बर्बाद कर रही है
  • समस्या यह है कि data providers को मुआवज़ा नहीं दिया जाता
    poisoning एक तरह के DRM की तरह काम करती है: जो वैध रूप से access करे उसे असली data मिले, और जो चोरी करे उसे toxic data मिले
  • AI का थोड़े समय के लिए खराब होना इंसानों को प्रतिक्रिया देने का समय देता है
    कुछ लोग AI को खुद मानवता के लिए ख़तरा मानते हैं और जानबूझकर उसे नुकसान पहुँचाना चाहते हैं
  • आखिरकार अगर कंपनी मुनाफ़ा नहीं कमा पाएगी तो रुक जाएगी
    लेकिन अभी investment funding की वजह से वह दबाव लगभग नहीं है

• “poison server” के response को ज्यों का त्यों proxy करना ख़तरनाक है
  हो सकता है कि आप अनजाने में ग़ैरक़ानूनी content host करने लगें

• “हम AI models को contaminate करेंगे” जैसी कोशिशें आखिरकार सिर्फ AI labs की data-cleaning pipelines को और मज़बूत करेंगी
  वे ऐसे data का इस्तेमाल करके और बेहतर filtering systems बनाएँगे

  • लेकिन जैसे कहा जाता है कि जो चूहा हर ज़हर को पूरी तरह ठुकरा देता है, वह आखिर भूख से मर जाता है, उसी तरह perfect filtering भी असंभव है

• मैं इस दावे से सहमत नहीं हूँ कि “machine intelligence मानवता के लिए ख़तरा है”
  आज का AI बस autocomplete engine का एक creative उपयोग है, और असली ख़तरा इंसानों का आर्थिक व्यवहार है
  अंत में मानवता अपने लिए ख़ुद ही ख़तरा है

• इससे Neal Stephenson की 『Anathem』 याद आती है
  उसमें यह सेटिंग थी कि कंपनियों ने इंटरनेट पर जानबूझकर garbage data फैलाया, ताकि वे अपने filtering tools बेच सकें
  आज की AI data poisoning बहस उससे बहुत अलग नहीं लगती

  • सच तो यह है कि AI कंपनियाँ पहले ही इंटरनेट को contaminate कर चुकी हैं
  • यह पुराने SEO spam industry जैसा है, जिसने search engines को खराब कर दिया था

• जब लोग Geoffrey Hinton के बयान का हवाला देते हैं, तो वे सिर्फ अपने काम की बातें उठाते हैं
  वह AI को existential threat मानते हैं, लेकिन उनकी उस पूर्वशर्त—“AI की self-awareness के स्तर”—पर
  उन्हें quote करने वाले ज़्यादातर लोग खुद सहमत नहीं होते