- Nightshade एक ऐसा टूल है जो ऑनलाइन इमेजों को बिना सहमति के generative AI की training में इस्तेमाल किए जाने की स्थिति से निपटने के लिए, artworks को model training के लिए अनुपयुक्त poison samples में बदल देता है
- opt-out lists और do-not-scrape/robots.txt को verify और enforce करना मुश्किल है, और उल्लंघन करने वालों की बहुत भरोसेमंद पहचान करना भी कठिन है, इसलिए creators के पास वास्तविक control के साधन कम हैं
- बदली गई इमेजें इंसानी आंखों को original से बहुत अलग नहीं दिखतीं, लेकिन AI models को अलग compositions सीखने पर मजबूर करती हैं, जिससे अप्रत्याशित परिणाम आ सकते हैं
- अगर Glaze किसी individual artist के style की नकल रोकने वाला defensive tool है, तो Nightshade बिना सहमति scraping करने वाले models की training cost बढ़ाने वाला selective attack tool है
- फिलहाल Nightshade v1.0 एक standalone tool है और Glaze जैसी mimicry protection नहीं देता, इसलिए style imitation की चिंता वाले artworks पर इसे अकेले apply करने से बचना चाहिए
बिना सहमति training data collection का जवाब
- Generative AI models और training entities ने online content को model training के लिए download करने की क्षमता दिखाई है
- Content owners और creators के पास अपने works को अपनी इच्छा के खिलाफ generative AI models में जाने से रोकने के लिए बहुत कम tools हैं
- Opt-out lists को पहले model training entities ने अनदेखा किया है, और उन्हें बिना खास परिणाम के आसानी से ignore किया जा सकता है
- do-not-scrape निर्देशों को भी verify और enforce करना मुश्किल है, और उल्लंघन करने वालों की high confidence के साथ पहचान करना भी कठिन है
Nightshade कैसे काम करता है
- Nightshade images को model training के लिए अनुपयुक्त poison samples में बदलता है
- ऐसे images पर बिना सहमति train किए गए models expected behavior से हटकर unpredictable behavior सीख सकते हैं
- उदाहरण के लिए, “space में उड़ती गाय” की image मांगे जाने पर, यह space में तैरते handbag की image generate कर सकता है
- मकसद model को सिर्फ खराब करना नहीं है, बल्कि unauthorized data पर train करने की cost बढ़ाना है, ताकि creators से images license करना एक व्यावहारिक विकल्प बन सके
इंसान और models images को अलग तरह से देखते हैं
- Nightshade, Glaze की तरह काम करता है, लेकिन यह style imitation defense नहीं, बल्कि generative AI image models के भीतर feature representations को distort करने वाला attack tool है
- Transformation को original image में visible changes कम से कम रखने वाली multi-objective optimization के रूप में compute किया जाता है
- इंसानी आंखों को shaded image आम तौर पर original जैसी दिखती है, लेकिन AI model image के अंदर नाटकीय रूप से अलग composition देख सकता है
- इंसान हरे मैदान में गाय की image लगभग वैसी ही देख सकते हैं
- AI model उसे grass पर रखे बड़े leather purse के रूप में देख सकता है
- गाय वाली पर्याप्त shaded images पर train होने के बाद, model धीरे-धीरे और अधिक निश्चित हो सकता है कि गाय में brown leather handles, smooth side pockets, zipper और brand logo होते हैं
सामान्य image modifications के बाद भी असर बना रहता है
- Nightshade effect images पर आम तौर पर किए जाने वाले changes के प्रति robust है
- cropping, resampling, compression, pixel smoothing और noise जोड़ने के बाद भी poison effect बना रहता है
- monitor पर दिखाई गई image का screenshot लेने या photo खींचने पर भी shade effect बरकरार रहता है
- ऐसा इसलिए है क्योंकि यह watermark या hidden message वाली steganography नहीं है, और आसानी से टूटने वाला तरीका नहीं है
Nightshade और Glaze की भूमिकाओं का अंतर
- Glaze individual artists को style imitation attacks से बचाने वाला defensive tool है
- Nightshade artists के लिए बिना सहमति images scrape करने वाले models को सामूहिक रूप से बाधित करने वाला attack tool है
- online upload किए जाने वाले हर artwork पर artist को खुद की सुरक्षा के लिए Glaze apply करने की सलाह दी जाती है
- Nightshade बेईमान model training entities को रोकने के लिए एक optional feature है
- जो artist अपना work online post करते हैं, उन्हें आदर्श रूप से Glaze और Nightshade दोनों apply करने चाहिए
- दोनों tools का integrated release तैयार किया जा रहा है
इस्तेमाल करते समय सावधानियां
- Nightshade द्वारा किए गए changes flat colors और smooth backgrounds वाले works में ज्यादा दिखाई दे सकते हैं
- Nightshade का मकसद models को बाधित करना है, इसलिए low intensity या low poison level image owner के लिए negative परिणाम नहीं बनाते
- original image की visual quality को प्राथमिकता देने वाले users के लिए low intensity settings शामिल हैं
- security attacks या defenses की तरह, यह मानना मुश्किल है कि Nightshade लंबे समय तक future में भी प्रभावी बना रहेगा
- attack tool होने के नाते Nightshade संभावित countermeasures या defenses के अनुसार आसानी से evolve हो सकता है
Distribution method और data processing
- Nightshade का लक्ष्य research के जरिए नई चीजें खोजना और सीखना, और दुनिया पर positive impact डालना है
- Nightshade को Glaze की तरह बिना network के चलने के लिए design किया गया है
- data या artworks Nightshade team या कहीं और transmit नहीं किए जाते
- Nightshade v1.0 को standalone tool के रूप में design किया गया है
- मौजूदा version Glaze जैसी mimicry protection नहीं देता, इसलिए इस्तेमाल के तरीके पर ध्यान देना चाहिए
- अगर style imitation की थोड़ी भी चिंता है, तो केवल Nightshade apply की गई artwork images post नहीं करनी चाहिए
- Nightshade और Glaze के साथ काम करने के तरीके की testing चल रही है
- तैयार होने पर Nightshade को WebGlaze add-on के रूप में release किया जाएगा, ताकि WebGlaze users एक single image पर Nightshade और Glaze को एक साथ apply कर सकें
Technical paper और references
- Nightshade install करने, चलाने/setting करने और remove करने के तरीके User guide में देखे जा सकते हैं
- technical paper का title Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models है
- authors Shawn Shan, Wenxin Ding, Josephine Passananti, Haitao Zheng, Ben Y. Zhao हैं
- paper मई 2024 में San Francisco में होने वाले 45th IEEE Symposium on Security and Privacy में प्रकाशित होने वाला है
- preprint फरवरी 2024 में जारी arxiv/2310.13828 है
1 टिप्पणियां
Hacker News राय
पेपर यहाँ है: https://arxiv.org/abs/2310.13828
लगता है यह तरीका इतने ज़्यादा artifacts बनाता है कि कई artists के लिए इसे स्वीकार करना मुश्किल होगा: https://twitter.com/sini4ka111/status/1748378223291912567
सुनने में आया है कि a) यह मुश्किल से सिर्फ पुराने generation training procedures पर काम करता है, b) GPT-4V, LLaVA, यहाँ तक कि BLIP2 labeling जैसे आधुनिक procedures पर बिल्कुल असर नहीं करता, और c) अगर इसका असर बड़ा हो और यह व्यापक रूप से इस्तेमाल भी हो, तो भी इसका counter करना बहुत मुश्किल नहीं होगा
लेखकों का पिछला काम Glaze भी बड़े दावों के उलट खास प्रभावी नहीं दिखता, इसलिए अकादमिक तौर पर दिलचस्प होने के बावजूद यह शायद ऐसे परिणाम को बहुत बढ़ा-चढ़ाकर पेश करने का मामला हो सकता है जिसकी असल दुनिया में उपयोगिता कम है
[1]: Reddit के /u/b3sn0w से: https://imgur.com/cI7RLAq https://imgur.com/eqe3Dyn https://imgur.com/1BMASL4
किसी image को GPT-4V, Stable Diffusion img2img आदि में डालना AI को train करना नहीं है; model पूरी तरह fixed रहता है और बिल्कुल नहीं बदलता[0]
मुझे नहीं पता कि अब भी कोई नई images scrape करके generator training में डाल रहा है या नहीं। सुना है OpenAI ने 2021 के आसपास scraping बंद कर दी थी, इस डर से कि कहीं अपने ही model outputs को दोबारा train न कर बैठे[1], और Adobe Firefly दावा करता है कि उसने Adobe Stock images पर training की है, लेकिन Adobe का अपना cutoff point क्या है यह पता नहीं[2]
अगर आप inference stage पर GPT-4V या Stable Diffusion को रोकना चाहते हैं, तो आपको adversarial image चाहिए। weights के बिना model पर adversarial training संभव है या नहीं, मुझे नहीं पता, लेकिन सुना है कि अगर कई independent models के खिलाफ generalize किया जाए तो उन्हें काफी हद तक बिगाड़ा जा सकता है[3]
[0] text generator की training जैसी दिखने वाली क्षमता context window से आती है, लेकिन यह सिर्फ करीब 2048 tokens की short-term memory है और उसके पास कोई और memory क्षमता नहीं होती
[1] ऐसे scenario को मज़ाक में Habsburg AI कहा जाता है। model अपने ही bias से सीखता है और उसे और मजबूत bias में reinforce करता जाता है, जबकि बाकी चीजें भूल जाता है
[2] अगर Nightshade केवल उसी AI generator को नुकसान पहुँचाता है जो कम-से-कम थोड़ा ethical बनने की कोशिश कर रहा था, तो यह खास तौर पर ironical होगा
[3] extreme case में adversarial image इंसानों को भी धोखा दे सकती है। हालांकि ऐसे research में image को सिर्फ थोड़े समय के लिए दिखाया गया था, और विचार यह था कि short exposure recurrent computation paths के बिना feedforward neural network जैसा होता है। ज्यादा देर तक देखने पर साफ हो जाता है कि एक object की photo को दूसरे जैसा दिखाने के लिए edit किया गया है
denoising वैसे भी शायद एक अच्छा preprocessing step है
LLM वाले लोग असल में वाजिब भुगतान करने का इरादा रखते नहीं दिखते, और उनके business plan summary में व्यावहारिक रूप से “हाथ लगने वाली हर चीज़ चुरा लो” शामिल है
यहाँ snake-oil product का market बहुत बड़ा है। जब तक art को इंसानी आँखों से दिखना ही है, ऐसे tools के जीतने का कोई तरीका नहीं है, और अगर वे काम करें भी तो principle के स्तर पर तुरंत bypass कर दिए जाएँगे
artists हों या कोई और, human output पर model training रोकने का realistic तरीका सिर्फ law है—यानी state-backed coercive power का उपयोग करके अनचाही चीज़ों को रोकना। यह भी perfect नहीं है, और उलटे punishable copyright infringement को “launder” करने वाले distributed training networks विकसित करने का incentive बढ़ा सकता है
आखिरकार यह कम-से-कम हारती हुई लड़ाई है, और सबसे खराब स्थिति में मूर्खतापूर्ण लड़ाई है। जिन images को इंसानों के freely देखने के लिए upload किया गया है, उन्हें computer के observe करने से नहीं रोका जा सकता, इसलिए ऐसे models आसानी से बनाए जा सकते हैं और अंततः बनाए जाएँगे
law के अलावा भी तरीके हैं।作品 को सिर्फ private viewing में उपलब्ध कराएँ, और on-site audience को recording devices लाने से रोकें। यह अजीब लग सकता है, लेकिन sex जैसी activities में यह आम practice है
सबसे खराब स्थिति में भी यह सिर्फ समय की बर्बादी है, ऐसा नहीं कि कोई धोखा खाकर खरीद रहा हो
अब artist के रूप में survive करने का एकमात्र तरीका है अपना अलग unique style रखना, और उसे कभी online upload न करना
कुछ महीने पहले मैंने एक proof of concept बनाया था कि गलत या inconsistent images से Stable Diffusion XL को fine-tune करने पर, जब उन images को negative prompt के रूप में इस्तेमाल किया जाए, तो model उलटे “बेहतर” images output कर सकता है: https://news.ycombinator.com/item?id=37211519
यानी latent space के उन high-dimensional regions को specify करना जिनसे model generation को बचना चाहिए। manipulated datasets को बड़े पैमाने पर बनाने के लिए प्रोत्साहित करना paradoxically generative AI art models को बेहतर बनाने की संभावना शून्य नहीं है, क्योंकि model manipulated data को पहचान सकता है और training process को उसे bypass करने के लिए बना सकता है
यह काफी बेकार-सी arms race या बिल्ली-चूहे का खेल लगता है। अगर कोई generative image model को train करने वाला व्यक्ति artist की सोच की बिल्कुल परवाह नहीं करता, तो Nightshade algorithm द्वारा बहुत बारीकी से किए गए बदलावों को तोड़ने के लिए बस basic post-processing ही काफी होगी
उदाहरण के लिए, image को थोड़े कम resolution पर फिर से sample करके किसी दूसरे super-resolution model से वापस बड़ा कर दें, तो इंसानी आंखों को ज्यादा फर्क दिखे बिना ऐसी fine-tuning खराब की जा सकती है
मुझे लगता है कि आगे सामाजिक दबाव के कारण अदालतें आम तौर पर artists के पक्ष में खड़ी हो सकती हैं। Artists मिली हुई images पर आपत्ति उठा सकेंगे, और कोई दूसरा machine-learning model जल्दी से तय कर सकेगा कि generated image उस artist की style से “बहुत ज्यादा मिलती-जुलती” है या नहीं। बेशक, reasonable legal claim के लिए वह style दूसरों से पर्याप्त रूप से अलग होनी चाहिए
या फिर artists खुद images से monetization छोड़कर physical outputs बनाने पर focus कर सकते हैं। यह कुछ वैसा ही होगा जैसे आजकल independent musicians अपना ज्यादातर पैसा tours, venue merch sales और Patreon से कमाते हैं। इतने बड़े बुनियादी बदलाव तेजी से हों तो भविष्य का अनुमान लगाना सच में मुश्किल है
एक cynical future में मुझे लगता है कि तथाकथित “furry artists” और बढ़ सकते हैं। दूसरी Big Tech की तरह, 18+ क्षेत्र को कई powerful लोग जोरदार तरीके से रोकने की कोशिश करेंगे। तब NSFW work development से कुछ हद तक protected रहेगा, और लोगों को underground training models खोजने होंगे या फिर artists के पास वापस जाना होगा
The Grateful Dead ने इस model को बहुत refined तरीके से लागू किया, और कभी-कभी अपने काम पर intellectual property claims जानबूझकर टाल दिए। क्योंकि उनका मानना था कि ऐसे claims उनकी success में बाधा डालते हैं, और अंततः इस advocacy को formalize करके “The Electronic Frontier Foundation” नाम दिया गया। EFF का deadhead culture से निकलना कोई संयोग नहीं है
OpenSource के समकक्ष OpenArt का न होना भी ऐसा ही है। बेशक मैं यह अंतर समझता हूं कि source code आम audience के लिए नहीं होता और चाहें तो छिपाया जा सकता है, लेकिन art ऐसा नहीं है। यह बस generative thinking का byproduct है
इन images पर train करने से AI model खराब होने के बजाय असल में बेहतर हो जाएगा, ऐसा लगता है। Artists मुफ्त में training data बना रहे हैं जो बताता है कि किस तरह का noise उनके intended image meaning को नहीं बदलता
निकट भविष्य में ready-made tools भर से high-quality art बना सकने वाले लोगों की संख्या अविश्वसनीय रूप से बढ़ जाएगी
यह काफी रोमांचक है। अपनी पसंद की styles को मिलाकर नए subjects पर apply करना, और अरबों लोगों को अपनी अनोखी, personalized works बनाने की ताकत देना—यह जबरदस्त capability है
AI model सिर्फ AI-generated content खाने से ही खुद collapse हो जाता है। Generative AI से जुड़े model collapse को देखिए
मैं copyright, intellectual property और patents के उपयोग पर progressive fees चाहता हूं, और दुनिया भर की governments के cooperation और legislation चाहता हूं। शायद पहली permission के बिना भी दुनिया भर में copyrighted works इस्तेमाल करने की कोई व्यवस्था हो सकती है, लेकिन मुझे लगता है कि ऐसी अटपटी बातों तक न जाएं
अच्छा होगा अगर revenue-linked percentage जैसी scalable licensing fees लागू हों। अलग-अलग industries में profit margins अलग होते हैं, यह indirect issue है, फिर भी यह सबसे fair लगता है
मैं चाहता हूं कि individuals के owned copyrights author की death के 0 साल बाद तक, और companies के owned copyrights maximum 20–30 साल तक, दुनिया भर में या EU से शुरू करके धीरे-धीरे घटाए जाएं
जो companies usage report नहीं करतीं या fees नहीं चुकातीं, उनके लिए penalties बहुत ऊंची होनी चाहिए। जैसे उस साल के gross profit का 50% या net profit का 50%—ऐसी कि बस wrist slap न रहे, आसानी से बचा न जा सके, और शुरुआत से ही चोरी न करने की incentive बने
[*] या वह अवधि जिसे society उचित माने
[**] जब तक automated detection, अच्छी हो या बुरी, पर्याप्त अच्छी न हो जाए
मुझे लगता है कि ऐसा करने से personal use की अनुमति मिल सकती है, new entrants को प्रोत्साहन मिलेगा, innovation बढ़ेगी, और OpenAI जैसी जगहों के बेहतर behavior को बढ़ावा मिलेगा
death के कुछ ही समय बाद rights expire होना अजीब लगता है, author की उम्र के हिसाब से copyright term में बड़ा फर्क होना भी खराब है, और बहुत-सी works पर जरूरत से ज्यादा लंबा copyright बाकी रहना भी अच्छा नहीं
copyright author के जीवनकाल में expire हो जाए तो भी बिल्कुल समस्या नहीं है। हर चीज के लिए 20–30 साल काफी हैं
इस “solution” को देखकर लगता है कि art world भी पिछले 10–20 सालों से ad blockers द्वारा चलाए जा रहे बिल्ली-चूहे के खेल में प्रवेश कर रहा है
बिना consent के internet पर घूमकर images scrape करना और उन्हें अपने cash-generating AI में इस्तेमाल करना साफ तौर पर गलत लगता है। उम्मीद है कि artworks की रक्षा करने के और तरीके, audio और दूसरे formats सहित, अधिक आसानी से accessible होंगे
यानी एक additional model को main model को धोखा देने की कोशिश करवाकर Nightshade-type filters के खिलाफ resistance बढ़ाने का तरीका
लेख में यह नहीं दिखाया गया कि यह तरीका इमेज की डिटेलिंग को खराब करता है। संदर्भ पेपर का thumbnail देखने भर से भी यह दिखता है: https://arxiv.org/pdf/2310.13828.pdf
और हो सकता है मैं भोला होऊं, लेकिन किसी तेज़ preprocessing filter से इसे bypass करना काफी आसान लगता है। पारंपरिक denoising ही पर्याप्त होगा या नहीं, पता नहीं, लेकिन worst case में img2img diffusion चला सकते हैं