AI स्क्रेपर हमलों से ओपन वेब को बनाए रखना मुश्किल होता जा रहा है

 (lwn.net)
1 पॉइंट द्वारा GN⁺ 3 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • बड़े भाषा मॉडल आदि के training data जुटाने वाले web scraping attacks एक साल से अधिक समय से बढ़ रहे हैं, जिससे independent websites पर traffic का बोझ इतना बढ़ गया है कि उनके लिए openness बनाए रखना मुश्किल होता जा रहा है
  • हमलावर लाखों सामान्य और mobile devices से बने residential proxies का उपयोग करते हैं, हर IP से केवल कुछ ही requests भेजते हैं और user-agent को spoof करते हैं, जिससे पारंपरिक IP blocking बेअसर हो जाती है
  • malware, कमजोर media streaming devices, free VPNs और app SDKs proxy networks बनाते हैं; Google द्वारा IPIDEA और NetNut को ध्वस्त करने के बाद हमलों की मात्रा कुछ समय के लिए घटी थी, फिर दोबारा बढ़ गई
  • sites Anubis के proof of work, CAPTCHA, login/paywalls और data poisoning tools से जवाब देती हैं, लेकिन LWN असली readers और search engines/Internet Archive को बाधित न करने के लिए site optimization और हमले के दौरान लागत नियंत्रण पर ध्यान देता है
  • scraper defense और user verification की लागत पूरे web पर स्थानांतरित हो रही है; अगर sustainable समाधान नहीं आया, तो independent sites defensive walls के पीछे चली जाएंगी और open Internet को नुकसान हो सकता है

लगातार बढ़ते scraper attacks

  • 2025 की शुरुआत में जिन बड़े भाषा मॉडल और संबंधित projects के training data collection की समस्या पर चर्चा हुई थी, वह एक साल से अधिक समय बाद भी और खराब हो रही है
  • अज्ञात actors द्वारा websites को भेजे जाने वाले requests अभूतपूर्व स्तर तक बढ़ गए हैं, और अत्यधिक traffic के कारण open web को बनाए रखना लगातार मुश्किल होता जा रहा है

लाखों IP इस्तेमाल करने वाले residential proxies

  • हमले कई घंटों तक लाखों unique IP addresses से coordinated requests भेजते हैं, जिनमें हर address site तक दो-तीन बार से अधिक नहीं पहुंचता
  • user-agent जैसी हमलावर के नियंत्रण वाली जानकारी झूठी होती है, और हर request को ऐसा दिखाया जाता है मानो कोई web browser इस्तेमाल करने वाला सामान्य व्यक्ति access कर रहा हो
  • bots आमतौर पर images या CSS fetch नहीं करते, इसलिए उन्हें इंसानों से अलग पहचानने के संकेत होते हैं; लेकिन जब तक पहचान पूरी होती है, वह address फिर इस्तेमाल नहीं होता, इसलिए बाद में की गई IP blocking प्रभावी नहीं रहती
  • traffic मुख्य रूप से घरेलू और mobile networks से आता है, जिन्हें एक केंद्रीय command-and-control node निर्देशित करता है
    • सामान्य devices पर installed software control node से commands लेकर web pages fetch करता है और data वापस भेजता है
    • इनमें से काफी हिस्सा device owner की जानकारी या सहमति के बिना काम करता है, और इस तरह इस्तेमाल हो रहे systems को residential proxies कहा जाता है

अपराधी proxy networks और infected devices

  • एक प्रकार criminal operators का है, जो malware से कब्जे में लिए गए systems पर scrapers चलाते हैं
  • Google ने साल की शुरुआत में IPIDEA bot network को disrupt करने की कार्रवाई की और उसके operation के तरीके पर जानकारी साझा की
    • IPIDEA के बंद होने का समय और LWN के scraper traffic में बड़ी गिरावट का समय एक ही था
    • कुछ महीनों तक अपेक्षाकृत शांति रही, लेकिन बाद में हमले फिर बढ़ गए
  • हाल में media streaming devices को malicious scraping software के प्रमुख carrier के रूप में पहचाना गया
    • कुछ devices supply stage से ही infected होते हैं
    • दूसरे devices की security कमजोर होती है, इसलिए बिकने के बाद उन्हें आसानी से कब्जे में लिया जा सकता है

free VPN और app SDK इस्तेमाल करने वाले commercial proxy networks

  • दूसरा प्रकार कुछ हद तक वैध कंपनियों की तरह व्यवहार करता है और “ethically sourced” IP addresses बेचता है
  • Bright Data ऐसी प्रमुख कंपनी है जो websites के access controls और traffic limits को bypass करने की क्षमता का विज्ञापन करती है
    • “free” VPN users को Bright Data को अपने device के जरिए traffic route करने की अनुमति देनी होती है
    • इस VPN का उपयोग करने वाले phones और अन्य devices Bright Data के residential proxy network के endpoints बन जाते हैं और websites पर हमलों में लगाए जाते हैं
  • मिलती-जुलती कंपनियां app developers को ऐसी libraries देती हैं जिन्हें वे अपने products में जोड़ सकें, और users के network connection को सौंपने के बदले developers को भुगतान भी करती हैं
    • एक कंपनी ने पूछा था कि क्या वह LWN पर अपने SDK का विज्ञापन चला सकती है, लेकिन बातचीत जल्दी ही खत्म हो गई
    • operators में वे भी हैं जो “GDPR compliance” आदि का हवाला देकर वैधता का रूप देने की कोशिश करते हैं, और वे भी जो खुलकर अनैतिक हैं
  • ऐसे proxy operators लाखों devices से जुड़े network resources तक पहुंचने वाला code चला सकते हैं, इसलिए यह मानकर नहीं चला जा सकता कि यह अधिकार सिर्फ web scraping के लिए ही इस्तेमाल होगा

model companies और proxy network users

  • model development को मुख्य business बनाने वाली प्रसिद्ध कंपनियां भी खुद web scraping करती हैं
    • ऐसे traffic को, जिसे आसानी से उन कंपनियों से जोड़ा जा सकता है, user-agent में अपनी पहचान साफ दिखती है
    • सामान्य तौर पर वे robots.txt जैसे control mechanisms का पालन करती हैं
    • वे 2003 में लिखे गए articles तक, हाल में बदलाव हुआ है या नहीं यह जांचने की तरह, पूरी site को बार-बार collect करती हैं
    • हालांकि वे लाखों systems से असहनीय traffic नहीं भेजतीं, इसलिए वे सबसे बड़ी समस्या नहीं हैं
  • यह स्पष्ट नहीं है कि residential proxy attacks चलाने के लिए कौन भुगतान कर रहा है
    • इस बात का प्रमाण नहीं मिला है कि cutting-edge model companies इन networks का इस्तेमाल करती हैं
    • ये कंपनियां models को data supply करने का तरीका और training data के sources सार्वजनिक नहीं करतीं, और content creators या operational issues की चिंता करने वालों के प्रति सम्मान भी नहीं दिखातीं
  • हर publicly released model के पीछे कई ऐसे models हो सकते हैं जो बाहर दिखाई नहीं देते
    • बहुत सी कंपनियां AI race में आगे निकलने पर विशाल company valuation मिलने की उम्मीद में अपने models बना रही हो सकती हैं
    • कई देशों की non-public government agencies भी अपने models और training data हासिल करने की कोशिश कर सकती हैं
    • बड़े criminal organizations भी अपने models चाह सकते हैं
  • AI tools को हथियार के रूप में देखा जाने लगा है, इसलिए arms race चल रही है, और पूरी Internet इस प्रक्रिया में फंस रही है

open Internet को बचाने के लिए defenses

  • website operators असली users पर असर कम से कम रखते हुए हमलों को रोकने के लिए कई defenses अपना रहे हैं
  • Anubis access करने वालों से proof of work मांगकर scrapers को रोकता है और व्यापक रूप से इस्तेमाल हो रहा है
  • commercial services “prove you are human” बटन दिखाती हैं, और अन्य sites traffic lights वाले boxes चुनने या puzzle pieces लगाने जैसे CAPTCHA मांगती हैं
  • कुछ sites ने मुख्य features को login या paywall के पीछे ले जाया है, और iocaine जैसे tools से scrapers को मिलने वाले data को सक्रिय रूप से poison करती हैं
  • defenses बनाने और बनाए रखने की लागत, और उन्हें पार करने में users को होने वाली परेशानी, scrapers और उनके payers द्वारा पूरी दुनिया पर डाला गया भारी बोझ है

LWN का defense तरीका और सीमाएं

  • LWN ने हाल में अब तक का सबसे मजबूत scraper attack झेला, लेकिन बनाए गए defenses के कारण traffic को इस तरह संभाल लिया कि अधिकांश असली readers को पता भी नहीं चला
  • specific defenses सार्वजनिक करने से attackers को जवाबी जानकारी मिल सकती है, इसलिए उन्हें private रखा गया है; defense side पर भी arms race जारी है
  • असली readers पर असर जितना हो सके कम रखना प्राथमिकता है
    • Anubis site access में देरी कर readers को परेशान करता है, इसलिए इसका उपयोग नहीं किया जाता
    • लगता है कि scrapers आखिरकार Anubis को bypass कर लेंगे, और इसके संकेत पहले से दिख रहे हैं
    • अगर लाखों दूसरे लोगों के devices लगाए जा सकते हों, तो proof of work बड़ी बाधा नहीं है
  • legitimate search engines और Internet Archive जैसे organizations की access भी रोकना नहीं चाहते
    • dominant search engine को ही access देने वाली explicit allowlist उन monopoly operators की स्थिति को और मजबूत करती है जिनकी service quality पहले से problematic है
    • LWN अब तक किसी specific search engine के लिए allowlist के बिना legitimate access बनाए रखने में सफल रहा है
  • site के कुछ हिस्सों को aggressive तरीके से optimize किया जाता है, और हमले के दौरान महंगे operations को न्यूनतम किया जाता है
    • anonymous readers कभी-कभी इन उपायों से प्रभावित हो सकते हैं, लेकिन logged-in users प्रभावित नहीं होते
    • defense measures active होने वाले attack scenarios में response time सामान्य समय से तेज भी हो सकता है
  • मौजूदा उपायों को permanent solution नहीं माना जा रहा है, और इनके असर खत्म होने की स्थिति के लिए अगले responses पर विचार करना होगा

NetNut disruption और अस्थायी शांति

  • Google ने 2 जुलाई को घोषणा की कि उसने US Federal Bureau of Investigation (FBI) आदि के साथ मिलकर NetNut residential proxy network को disrupt किया है
  • कार्रवाई के बाद scraper attacks का स्तर कुछ हद तक घटा लगता है, लेकिन पिछले अनुभव के आधार पर यह शांति लंबे समय तक रहने की संभावना कम है
  • Google Play Store NetNut से infected apps की जांच करेगा
  • बड़े app store operators इस सवाल का जवाब नहीं दे रहे हैं कि residential proxy capability वाले apps को register करना इतना आसान क्यों है

defensive walls के पीछे धकेली जा रही Internet

  • पूरी Internet defensive walls के पीछे चली जाए और creativity को बढ़ावा देने वाला open network गायब हो जाए, उससे पहले अधिक टिकाऊ समाधान की जरूरत है
  • हमलों को जन्म देने वाली industry independent websites का content लेने के बाद sites के नष्ट हो जाने की परवाह नहीं करती, और यही रवैया धरती और economy तक भी जारी रहता है
  • बड़े भाषा मॉडल और संबंधित technologies चलाने वाली कंपनियों पर न्यूनतम ethical standards लागू होने तक यह behavior जारी रहेगा, और website operators को खुद अपनी रक्षा करनी होगी

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 3 시간 전
Lobste.rs की राय

  • हाल में जिन तमाम खुले तौर पर संदिग्ध बिज़नेस के बारे में पता चला, उनमें residential proxy सबसे ज़्यादा चौंकाने वाला था
    https://spur.us/blog/smart-tv-apps-residential-proxy-sdks पर इसके बारे में विस्तार से पढ़ा, और यकीन करना मुश्किल है कि यह कानूनी है। इन्हें botnet जैसी ही श्रेणी में रखना चाहिए और कानूनीकृत botnet कहना चाहिए

    • यह सचमुच निंदा के लायक बिज़नेस है। वे कहते हैं कि केवल verified और approved partners ही इसका उपयोग करते हैं, लेकिन residential proxy का एक भी वैध उपयोग मेरे दिमाग में नहीं आता। क्या वाकई ऐसा कोई उपयोग है?
    • residential proxy regulation को लेकर सावधानी बरतनी चाहिए। अगर इन्हें निशाना बनाकर regulation बनाया गया, तो residential proxy botnet के अलावा भी बहुत-सी चीज़ें प्रभावित होंगी

  • एक और पीड़ित link checker हैं। किसी site पर dead links हैं या नहीं, यह जांचना काफी मुश्किल होता जा रहा है
    अगर समय हो, तो content अब भी live है या नहीं यह जांचने के लिए Common Crawl project का उपयोग करके देखूंगा

    • chat apps में sender side पर बनने वाले link previews भी प्रभावित होते हैं। XMPP client gajim में यह feature contribute करके खुशी हुई थी, लेकिन असल में link preview requests इतनी बार “checking if you are human” screen पर अटक जाती हैं कि निराशा होती है

  • आखिरकार GitHub repositories की history listing जैसे सभी महंगे operations authentication barrier के पीछे छिप जाएंगे, और बाकी सबको static बनाकर CDN से serve किया जाएगा

    • centralization और government surveillance जैसी चिंताओं के कारण CDN last resort होना चाहिए, और पहले server से ही अधिक performance निकालने की कोशिश करनी चाहिए
      application level पर ज्यादा content को static बनाना, database queries कम करना, और cache का उपयोग करना निश्चित रूप से मदद करता है। लंबे समय तक performance की बहुत चिंता न करने की सुविधा मिली, लेकिन अब छोटे sites पर भी ज्यादा ध्यान देना होगा, और यह हर जगह Cloudflare का “checking your browser” देखने से कहीं बेहतर है
      एक छोटे VPS पर Apache के हर request के लिए अलग process fork करने के traditional तरीके की वजह से समस्या आई थी। LAMP server से काम करते हुए बड़ा हुआ हूं, इसलिए Apache जाना-पहचाना और सुविधाजनक लगता है, लेकिन यह hardware का सबसे efficient उपयोग नहीं करता, और आखिर में वही ज्यादा मायने रखता है। कोई empirical data नहीं है, लेकिन लगता है कि Caddy जैसे servers load को बेहतर झेलेंगे, इसलिए अगले server upgrade पर switch करने का सोच रहा हूं
    • मेरे Forgejo server के साथ भी यही स्थिति थी। लगातार malicious traffic को Anubis से manage करने की कोशिश की, लेकिन उस traffic के हिसाब से configuration adjust करना पूरी तरह समझ नहीं पाया, और slow authentication challenge का खुद सामना करना भी पसंद नहीं था
      fail2ban भी इस्तेमाल किया, लेकिन scale बढ़ने पर वह ठीक से handle नहीं कर पाया। अंत में blog post में बताए security rules के साथ Cloudflare को संभालने दिया। Cloudflare पर लंबे समय तक निर्भर रहना पसंद नहीं था, लेकिन post के नीचे दिए CPU usage graph को देखकर मन बदल गया
    • दूसरी तरफ, Git repositories और crawlers का मेल बेहद खराब है। dynamically generated links combinatorial explosion पैदा करते हैं और एक ad-hoc crawler trap बन जाते हैं, इसलिए कोई भी थोड़ा-बहुत ठीक crawler ऐसे URLs से सक्रिय रूप से बचता है जिनके path में लंबी hexadecimal string हो
      इससे Git hosts पर भारी cost आती है, फिर भी आश्चर्यजनक रूप से कई hosts robots.txt को इस तरह configure नहीं करते कि crawlers repository के अंदर बहुत गहराई तक न जाएं

  • “site को defend करने के लिए उठाए गए कदमों को explain करने का request आया था, लेकिन obvious reasons से इस पर detail में discuss नहीं करना चाहता। इस level पर भी arms race चल रही है” वाला हिस्सा दुखद है
    मैं भी इस लड़ाई में काफी सफल रहा हूं, लेकिन tragedy of the commons की वजह से इस्तेमाल किए गए बहुत simple countermeasures को public कर दूं तो उनका असर कम हो जाएगा। यह सचमुच दिलचस्प विषय है और कुछ original ideas भी हैं, इसलिए blog में लिखना चाहता हूं, लेकिन ऐसा नहीं कर सकता—यह अफसोस की बात है