Meta ने कॉपीराइटेड डेटा शामिल 81.7TB डेटासेट को torrent से डाउनलोड किया और seed भी किया
(arstechnica.com)- सार्वजनिक किए गए आंतरिक emails और अदालत के दस्तावेज़ों से लेखकों का यह दावा और ठोस हुआ है कि Meta ने AI training के लिए pirated books dataset को torrent के ज़रिए डाउनलोड किया और उसका कुछ हिस्सा seed भी किया
- मुख्य विवाद यह है कि Anna’s Archive और LibGen जैसी जगहों से जुटाए गए डेटा का आकार कम-से-कम 81.7TB था या नहीं, और क्या यह प्रक्रिया सिर्फ डाउनलोड तक सीमित रही या वितरण तक भी पहुँची
- आंतरिक messages में कंपनी laptop और Meta IP address से torrent इस्तेमाल करने को लेकर चिंता दर्ज है, इसलिए लेखकों का कहना है कि Meta को कानूनी जोखिम का पता था
- Meta ने Facebook servers का इस्तेमाल टालकर और settings बदलकर seeding को न्यूनतम करने की कोशिश की थी या नहीं, यह इस बात का अहम आधार बन गया है कि क्या वह download और seeding की tracking को लेकर सचेत था
- Meta का कहना है कि LibGen-आधारित AI training fair use है, और वादियों ने यह साबित नहीं किया कि किसी तीसरे पक्ष ने वास्तव में वहाँ से डाउनलोड किया
सार्वजनिक किए गए emails ने मुकदमे के विवाद को उजागर किया
- किताबों के लेखकों द्वारा Meta के खिलाफ दायर copyright मुकदमे में सार्वजनिक किए गए emails, Meta के खिलाफ अहम सबूत के रूप में इस्तेमाल हो रहे हैं
- लेखकों का आरोप है कि Meta ने AI models को pirated books से train किया
- Meta ने पिछले महीने यह माना था कि उसने विवादित बड़े dataset LibGen को torrent के ज़रिए डाउनलोड किया था, लेकिन सार्वजनिक खुलासे से पहले इसका तरीका और पैमाना साफ़ नहीं था
torrent का पैमाना और डेटा का स्रोत
- लेखकों की ओर से अदालत में दाखिल दस्तावेज़ों के अनुसार, Meta ने Anna’s Archive के माध्यम से कई shadow libraries से कम-से-कम 81.7TB डेटा torrent किया
- इनमें से कम-से-कम 35.7TB Z-Library और LibGen का डेटा था
- इसमें यह दावा भी शामिल है कि Meta ने पहले LibGen से 80.6TB torrent किया था
- लेखकों का कहना है कि Meta की torrenting का पैमाना “चौंकाने वाला” है, और उन्होंने अदालत को बताया कि Meta पर जिन रचनाओं की copying का आरोप है, उसके 0.008% जितने बहुत छोटे पैमाने पर data piracy के मामले भी आपराधिक जांच की सिफारिश तक पहुँच चुके हैं
seeding का प्रत्यक्ष उल्लंघन के दावे पर असर
- लेखक इस बात पर ज़ोर दे रहे हैं कि Meta का torrent उपयोग सिर्फ डाउनलोड तक सीमित था या उसमें seeding भी शामिल थी
- seeding से torrent files बाहरी पक्षों के साथ साझा हो सकती हैं, इसलिए यह लेखकों के प्रत्यक्ष copyright उल्लंघन के दावे में distribution theory को मज़बूत करने वाला महत्वपूर्ण मुद्दा है
- Meta ने लेखकों की उस कोशिश का विरोध किया जिसमें वे Meta के torrent और seeding data की समीक्षा करना चाहते थे, और इससे पहले अदालत लेखकों की समीक्षा-याचिका खारिज कर चुकी थी
- इसके बाद लेखकों ने अलग से सबूत जुटाए और दावा किया कि आंतरिक दस्तावेज़ों में Meta कर्मचारियों द्वारा torrent के कानूनी जोखिम को समझने के संकेत मौजूद हैं
आंतरिक messages में दिखी कानूनी चिंता
- Meta के research engineer Nikolay Bashlykov ने अप्रैल 2023 के एक message में लिखा कि “कंपनी laptop पर torrent इस्तेमाल करना सही महसूस नहीं होता,” और Meta IP address से “torrent के जरिए pirate content load” करने पर चिंता जताई
- सितंबर 2023 में Bashlykov ने सीधे legal team से पूछताछ की और ज़ोर देकर कहा कि torrent इस्तेमाल करने का मतलब file seeding, यानी content को बाहरी रूप से साझा करना भी हो सकता है, इसलिए यह “कानूनी रूप से ठीक नहीं हो सकता”
- लेखकों का कहना है कि ऐसे emails इस बात का सबूत हैं कि Meta को इस कार्रवाई की अवैधता का पता था
- लेखकों के दावे के अनुसार, Meta ने अप्रैल 2024 तक कई shadow libraries से terabytes स्तर का डेटा डाउनलोड और seed किया, और साथ ही torrent उपयोग को जितना संभव हो सके छिपाने की कोशिश की
seeding छिपाने के आरोप और Meta की प्रतिक्रिया
- लेखकों का आरोप है कि Meta ने dataset download के लिए Facebook servers का इस्तेमाल नहीं किया ताकि “seeder/downloader” को Facebook servers तक trace किए जाने का जोखिम टाला जा सके
- Meta researcher Frank Zhang के एक आंतरिक message में इस काम को stealth mode कहा गया
- project management से जुड़े executive Michael Clark की गवाही के अनुसार, Meta ने settings बदलकर seeding को यथासंभव न्यूनतम किया था
- लेखकों का कहना है कि यह नई जानकारी पहले की गवाही से टकराती है, इसलिए LibGen torrent करने के फैसले में शामिल Meta कर्मचारियों से फिर से पूछताछ की जानी चाहिए
- Mark Zuckerberg ने दावा किया कि AI model training में LibGen इस्तेमाल करने के फैसले में उनकी भूमिका नहीं थी, लेकिन लेखकों का कहना है कि सार्वजनिक messages से पता चलता है कि LibGen इस्तेमाल करने का फैसला “MZ” तक पहले escalation के बाद लिया गया था
fair use का दावा और आगे की प्रक्रिया
- Meta मुकदमे के दौरान लगातार यह कहता रहा है कि LibGen का इस्तेमाल करके की गई AI training fair use है
- Meta ने पिछले महीने dismissal motion में कहा कि वादी यह एक भी मामला नहीं दिखा पाए कि Meta की torrenting के ज़रिए किसी तीसरे पक्ष ने वास्तव में किताब का कोई हिस्सा डाउनलोड किया हो, और न ही वे यह साबित कर पाए कि वादियों की किताबें Meta द्वारा वितरित की गईं
- Meta की seeding से जुड़े मुद्दे पर सीमित discovery चल रही है, और फिलहाल Meta प्रत्यक्ष copyright उल्लंघन के दावे के seeding वाले हिस्से को चुनौती नहीं दे रहा है
- Meta ने अदालत से कहा है कि summary judgment चरण में वह रिकॉर्ड को स्पष्ट करेगा और दिखाएगा कि यह दावा आधारहीन है
1 टिप्पणियां
Hacker News की राय
LLMs को देखकर लगता है कि वे कॉपीराइटेड कामों को किसी encyclopedia की तरह जानते हैं, इसलिए मेरा मानना है कि सबने कुछ ऐसा ही किया होगा
व्यापक रूप से देखें तो YouTube भी शुरुआत में ghost town था, और कॉपीराइट वाले TV programs अपलोड होने के बाद बढ़ा; Google भी दूसरों के data को बिना मुआवज़ा दिए index करके बड़ा हुआ; और Spotify की शुरुआती music library भी pirated थी
कंपनियां अपनी intellectual property की आक्रामक तरीके से रक्षा करती हैं, लेकिन दूसरों के अधिकारों का उल्लंघन करने में उन्हें कोई हिचक नहीं होती; व्यक्तिगत लोगों को ऐसा privilege नहीं मिलता। MIT की closet में laptop लगाकर papers डाउनलोड करोगे तो ज़िंदगी बर्बाद हो जाएगी
digital goods के लिए पैसे मत दो। Netflix कीमत बढ़ाए तो torrent पर सभी shows मौजूद हैं; Spotify कीमत बढ़ाए तो आपके पसंदीदा artist के सारे tracks torrent पर हैं; और game companies digital costumes के लिए real-world कीमत मांगें तो crack ढूंढो और private server पर खेलो
billion-dollar कंपनियों ने दिखा दिया है कि उन्हें आपकी परवाह नहीं। और जो लोग salary खोने की शिकायत करते हैं, उन्हें बस “पैसे देने के लिए धन्यवाद” का जवाब देना काफी है। अगर creators की सीधे मदद करना चाहते हो तो उनके shows में जाओ या cheque भेजो; और अगर यह pinpoint नहीं कर सकते कि वास्तव में किसे नुकसान होगा, तो चिंता करने की ज़रूरत नहीं
अब “copyright creativity को प्रोत्साहित करता है” वाली दलील पर लगभग विश्वास नहीं रहा। Copyright, advertising की तरह, बड़ी कंपनियों की creation को प्रोत्साहित करता है, लेकिन advertising की तरह आम तौर पर कम मूल्य वाली creation को भी बढ़ावा देता है
रचनात्मक व्यक्तियों को copyright नहीं, बल्कि ऐसा safety net चाहिए जो उन्हें सहज रूप से उभरती creativity पर समय देने की आज़ादी दे। अगर लक्ष्य creation को प्रोत्साहित करना है, तो copyright, basic income का घटिया और महंगा विकल्प है
Reddit के co-founder और activist रहे Swartz को सिर्फ JSTOR से बड़ी संख्या में academic papers डाउनलोड करने के कारण 35 साल की जेल और 10 लाख डॉलर के जुर्माने का सामना करना पड़ सकता था, और उसी दबाव में उन्होंने अंततः अपनी जान ले ली। उनकी आत्मा को शांति मिले
public websites को scrape करके search index बनाना, ऐसा LLM बनाने जैसा नहीं है जो source attribution के बिना original text को हूबहू reproduce कर सकता हो। हालांकि LLM के अंतिम transformative nature पर बहस की गुंजाइश है
Spotify की music library भी वह version नहीं थी जो आम जनता को सामान्य रूप से उपलब्ध कराया गया था, और लगता है कि ऐसा copyright holders की अनुमति से किया गया था
उससे पहले भी British Empire ने Spain से सोना चुराकर छलांग लगाई थी, और Spain Aztecs और Mexico के indigenous लोगों का शोषण कर रहा था
यह हमेशा से होता आया है, लेकिन culture physical widgets की तरह काम नहीं करता; इसलिए DRM, copyright, patents जैसे artificial scarcity mechanisms के जरिए digital copying के फायदे कुछ लोगों को चुराने नहीं देने चाहिए
AI कंपनियों ने अपने models को कैसे train किया, यह जितना अधिक पता चल रहा है, उतना ही साफ हो रहा है कि बाकी हम लोग बस बेवकूफ़ बनते रहे
हम मानते रहे कि कानून मायने रखता है; काम में हम जो करते हैं उसे कभी distort या छिपाना नहीं चाहिए; और हमें अपनी terms के साथ-साथ दूसरे sites और products की terms का भी पालन करना चाहिए
websites या content के लिए register करते समय हमेशा company email इस्तेमाल करना चाहिए ताकि सामने वाला access allow करना है या नहीं, इस पर reasonable judgment ले सके—ऐसा सोचते थे। लेकिन सच तो यह है कि शुरू से ही YOLO style में धक्का देना चाहिए था। पकड़े जाने तक गैरकानूनी नहीं है, और अगर पकड़े जाने से पहले पर्याप्त बड़े हो गए तो rules लागू ही नहीं होते
नैतिक रूप से व्यवहार करने का reward, दुख की बात है, कभी-कभी केवल personal satisfaction ही होता है। बच्चे अपने आसपास जो examples देखते हैं, उन्हें सोचें तो ऐसे माहौल में बच्चों को पालना सचमुच मुश्किल लगता है
खुद के प्रति सम्मान की वजह से भी moral और honest तरीके से काम करना चाहिए। मुझे कभी यह भ्रम नहीं रहा कि बड़ी tech companies कानून का सम्मान करती हैं, लेकिन वह मुझसे अलग मुद्दा है
ऐसा लगता है कि वे बिना खास risk assessment या ethical sense के growth hacking experiments को एक-एक करके टटोलते हुए आगे बढ़ाते रहे
पकड़े जाने के बाद भी यह तभी गैरकानूनी होता है जब आप गलत किस्म के व्यक्ति हों। सही किस्म के व्यक्ति के लिए तो कलाई पर हल्की चपत भी नहीं पड़ती
मुझे समझ नहीं आता कि यह सवाल क्यों है कि Meta ने LLM को कॉपीराइट सामग्री पर ट्रेन किया था या नहीं। उनके पेपर में ऐसा लिखा है
LLaMA पेपर [Touvron et al., 2023] में लिखा है, “ट्रेनिंग dataset में दो book corpora शामिल थे: Gutenberg Project और ThePile का Books3 सेक्शन”
उस reference को फॉलो करें तो Books3 को Shawn Presser द्वारा सार्वजनिक किए गए Bibliotik private tracker के content की copy से निकला book dataset बताया गया है। (Presser, 2020) https://twitter.com/theshawwn/status/1320282149329784833 की ओर इशारा करता है, और मजेदार बात यह है कि यह DMCA policy भी reference करता है: https://the-eye.eu/dmca.mp4
इसके अलावा उन्होंने कहा था कि उन्होंने GitHub, web pages और ArXiv पर भी ट्रेन किया, जिन सभी में copyrighted content शामिल है। मुख्य सवाल यह है कि copyrighted material पर ट्रेन किए गए AI model, weights और outputs को train/use/distribute करना कानूनी है या नहीं; copyrighted material पर ट्रेन किया गया था, यह तथ्य अपने-आप में पक्का है
[Touvron et al., 2023] https://arxiv.org/pdf/2302.13971
[Gao et al., 2020] https://arxiv.org/pdf/2101.00027
यह trained LLMs पर चल रही बहस से अलग, अपने-आप में एक independent infringement है
पहली है publicly accessible copyrighted material पर train करना। अगर आप कविता लिखकर उसे online डालते हैं ताकि पूरी दुनिया पढ़े, तो वह आपकी intellectual property है और कोई दूसरा उसे उठाकर बेच नहीं सकता, लेकिन उसे पढ़ना और inspiration लेना सबके लिए free है। इस मामले में training की legality अदालतों में देखी जा रही है, और अब तक मामला LLM पक्ष के लिए अनुकूल दिखता है
दूसरी है non-public copyrighted material पर train करना। यह मूलतः pirated copy होती है या cost से बचने के लिए किसी bypass से हासिल की गई सामग्री। अगर paywall के पीछे की कविता बिना भुगतान के LLM को पता है, तो चूंकि काम देखने के लिए कानूनी रूप से पैसे देने होते हैं, यह बस illegal है। हालांकि archive access खरीदकर उसके अंदर की हर चीज पर train करने जैसी conditions पर चर्चा हो सकती है
अगर user model से raw data के ऐसे टुकड़े hack करके निकालता है जिनका style आसानी से बदला जा सकता है और उन्हें वैसा दिखाता है, तो क्या वह सच में copyright infringement है, इस पर सवाल है। अगर दो models चाहिए हों तो क्या
अब शायद हमें स्वीकार करना पड़े कि इंसानों की सीधे plagiarism की कोशिश पहचानने की क्षमता पहले ही अपनी सीमा पर पहुंच चुकी है। जैसे Sky voice और Her voice में फर्क करना मुश्किल है
Thomas Babington Macaulay की copyright speech जरूर पढ़ने की जोरदार सलाह दूंगा। वह copyright का उद्देश्य, अवधि और जोखिम बहुत logical तरीके से समझाते हैं
खासकर यह तर्क अक्सर दिया गया कि जब author अपने परिवार को गरीबी में छोड़कर मरता है, तो copyright extension इसे रोकने का fair तरीका है, लेकिन ज्यादातर मामलों में बचे हुए परिवार के पास copyright कभी था ही नहीं
author ने शुरू में reproduction rights publisher को बेच दिए थे, और publisher ने काम publish किए बिना उसे दबाकर रखा, फिर गरीबी से घिरे author से बहुत कम कीमत पर पूरा copyright अपने नाम करवा लिया। ऐसे मामलों में copyright extension सिर्फ publisher को फायदा देता है, और उल्टे copyright हथियाने का incentive बढ़ाता है
ऐसा व्यक्ति हमें copyright सिखाएगा? नहीं चाहिए
author rights बेचे या न बेचे, copyright होने पर author और परिवार दोनों की स्थिति वैसे ही बेहतर होती है
Libgen कोई ऐसा चीज नहीं जिसे prosecute किया जाए, बल्कि support किया जाने वाला civilizational project है
उम्मीद है किसी दिन लोग पीछे मुड़कर देखेंगे कि मानव इतिहास की सबसे बड़ी literary works collection को ठुकराने वाले आज के हम लोग कितने मूर्ख थे
site पर dedicated page है, और पैसे देने पर पूरा dataset high speed में डाउनलोड करने देता है
जब Metallica ने Napster पर मुकदमा किया था, तो बहुत लोगों की प्रतिक्रिया थी, “रुको, music free में डाउनलोड किया जा सकता है?”
क्योंकि इससे GPU manufacturers पैसा कमाते हैं, या OpenAI की तरह वे खुद paid service से पैसा कमाते हैं
local library भी शायद interlibrary loan system में शामिल होगी, जिससे देश की किसी भी library की book free में request की जा सकती है
LibGen इन दोनों की तुलना में कहीं छोटे set of works तक access देता है और बस थोड़ा ज्यादा convenient है। सबसे बड़ा फर्क यह है कि author को बिल्कुल compensation नहीं मिलता। बस असली library चले जाइए
लगता है हर कोई बड़ी कंपनियों से, खासकर Meta से, नफ़रत करना पसंद करता है और इसे सज़ा की मांग करने का मौका बना रहा है
लेकिन ज़्यादा समझदारी वाली दिशा यह होगी कि बौद्धिक संपदा कानून बदलने की मांग की जाए
https://en.wikipedia.org/wiki/Aaron_Swartz#United_States_v._...
https://en.wikipedia.org/wiki/Aaron_Swartz#Death
Aaron Swartz को प्रताड़ना के बाद आत्महत्या की ओर धकेल दिया गया, जबकि ये कंपनियां आज़ाद घूमकर अरबों कमाएंगी। मुझे लगता है हर tech कंपनी के CEO के साथ Swartz जैसा बर्ताव करने के बाद कानून बदल देना चाहिए
बड़ी कंपनियां बहुत बड़ी हैं, और उनका बस मौजूद होना ही नहीं चाहिए। जब कोई कंपनी सबसे बड़े state governments से भी ज़्यादा ताकतवर हो जाए, तो वह feature नहीं, bug है
बौद्धिक संपदा कानून की फिर से समीक्षा की ज़रूरत हो सकती है। लेकिन यह कहना मददगार नहीं है कि बड़ी कंपनियां कानून से ऊपर हैं, इसलिए कानून ही खत्म कर देना चाहिए। पहले बड़ी कंपनियों को खत्म करें, फिर निष्पक्ष कानून के बारे में सोचें। अभी कानून बदल भी दें तो कुछ नहीं बदलेगा, क्योंकि ये कंपनियां पहले से ही कानून से ऊपर हैं
फिर भी, अगर उन्हें जलना है तो सही वजहों से जलना चाहिए। ऐसा डेटा डाउनलोड करना जो जनता के लिए खुला होना चाहिए, वह वजह नहीं है
Meta या Zuck से शिकायत करने का कोई फायदा नहीं। Meta वैसा ही बर्ताव करता है जैसा उसे design किया गया है। अगर यह पसंद नहीं है, तो ज़्यादा regulation के लिए vote करें
मुझे पुराने दौर के वे पागल internet लोग याद आते हैं जो सोचते थे कि copyright law बहुत सख्त है, और मानवता की ज्ञान तक पहुंच को इस तरह सीमित करना बहुत थोड़े लोगों के फायदे के लिए सबको पीछे धकेलता है
यानी मुकदमे, जेल की सज़ा, और लाखों डॉलर के जुर्माने होने चाहिए। वह भी सिर्फ piracy वाले हिस्से के लिए; झूठ और धोखाधड़ी वाला हिस्सा भी है
दिलचस्प बात यह है कि Netherlands के एक LLM project को स्थानीय copyright lobby ने यह जानने के बाद बंद करने की मांग की थी कि उसने pirated ebooks के ढेर पर training की थी। अफ़सोस कि यह अदालत में नहीं लड़ा गया, और मैं देखना चाहता था कि क्या वही lobby ChatGPT और बाकी AI कंपनियों को भी, जिन्होंने यही काम किया, नीचे ला सकती है
अरबों डॉलर के resources हैं, तो क्या उनमें से थोड़ा भी खर्च करके नया डेटा digitize करने वाला कोई नहीं था? Google तक ने ऐसा किया था
अपनी ज़िंदगी को नुकसान पहुंचाने वाले आदर्शों पर सच में टिके रहने वाले लोग अविश्वसनीय रूप से दुर्लभ होते हैं
copyrighted content के illegal download और distribution से आगे, article में यह भी कहा गया है कि Meta कर्मचारियों ने गवाही में इस बारे में झूठ बोला लगता है
संभावित रूप से इसमें खुद Mark Zuckerberg भी शामिल हो सकते हैं
यह हल्की-फुल्की प्रतिक्रिया है, लेकिन बहुत से लोग job creators की वेदी की पूजा करते हैं और मानते हैं कि ऐसे लोग नैतिक और अच्छे नागरिक हैं
अगर मैंने torrent से डाउनलोड करके seed किया होता, तो वह commercial मकसद से नहीं बल्कि निजी मनोरंजन के लिए होता, फिर भी बड़े copyright holders मेरे पीछे पड़ जाते
Meta करे तो क्या बेहतर वकील होने की वजह से सब ठीक है? यह दिलचस्प case law बन सकता है
इस समय मुझे Aaron Swartz याद आ रहे हैं