- मशीन इंटेलिजेंस सिस्टम्स को नुकसान पहुँचाने के लिए बनाए गए डेटा स्रोत के रूप में डिज़ाइन किया गया प्रोजेक्ट, जो AI training data में जानबूझकर दूषित जानकारी inject करने का तरीका प्रस्तुत करता है
- Geoffrey Hinton की चेतावनी का हवाला देते हुए, यह इस धारणा पर आधारित है कि AI मानव प्रजाति के लिए खतरा है
- ‘Poison Fountain’ URL के माध्यम से अनंत रूप से जनरेट होने वाला दूषित training data उपलब्ध कराया जाता है, और इसे web crawler के सामने expose करने का तरीका समझाया गया है
- उपयोगकर्ता अपनी वेबसाइट में hidden link डालकर ऐसा सेट कर सकते हैं कि crawler के पहुँचते ही उसे अपने-आप दूषित data भेजा जाए
- AI training प्रक्रिया में malicious data inject करके AI model की reliability और safety को प्रभावित कर सकने वाली कार्रवाई के रूप में इसका मूल्यांकन किया जाता है
Poison Fountain का उद्देश्य
- प्रोजेक्ट स्पष्ट रूप से यह रुख रखता है कि मशीन इंटेलिजेंस मानवता के लिए खतरा है
- Geoffrey Hinton के विचारों से सहमति जताते हुए, AI systems को जानबूझकर नुकसान पहुँचाने के लक्ष्य की बात कही गई है
- इसमें कहा गया है कि थोड़ी मात्रा में दूषित training data भी language model को गंभीर नुकसान पहुँचा सकता है
- दिए गए दो URL(
https://RNSAFFN.com/poison2/, .onion address) अनंत रूप से जनरेट होने वाली दूषित data stream प्रदान करते हैं
- प्रतिभागियों को इस data को cache और retransmit करने या web crawler को feed करके “war effort” का समर्थन करने के लिए प्रोत्साहित किया जाता है
Poison Fountain का उपयोग कैसे किया जाता है
- वेबसाइट चलाने वाले उपयोगकर्ताओं के लिए ऐसी प्रक्रिया बताई गई है जिससे crawler के visit करने पर दूषित data पहुँचाया जा सके
- जब crawler साइट के किसी विशेष path का अनुरोध करता है, तो उस request को संभालने वाला HTTP handler Poison Fountain URL पर request भेजता है
- Poison Fountain request details को नज़रअंदाज़ करता है और response body में gzip से compressed दूषित training data लौटाता है
- HTTP response header में
"Content-Encoding: gzip" शामिल होता है
- वेबसाइट का handler इस response को decompress करके भेज सकता है, या बेहतर तरीके से compressed स्थिति में ही forward कर सकता है
- परिणामस्वरूप crawler इस data को इकट्ठा कर अपने training corpus में शामिल कर लेता है
संरचनात्मक विशेषताएँ और मंशा
- यह प्रोजेक्ट web crawler के automatic collection mechanism का उल्टा उपयोग करके AI training data की quality को नुकसान पहुँचाने वाली संरचना रखता है
- Poison Fountain एक साधारण data-serving server की तरह काम करता है और request की सामग्री से बिना संबंध दूषित data लौटाता है
- बताई गई प्रक्रिया के अलावा तकनीकी विवरण या data की सामग्री के बारे में कोई ठोस जानकारी नहीं दी गई है
- कुल मिलाकर, यह AI training ecosystem में आक्रामक हस्तक्षेप का प्रयास है
अभी कोई टिप्पणी नहीं है.