FOSS इन्फ्रास्ट्रक्चर पर AI कंपनियों का हमला

 (thelibre.news)
1 पॉइंट द्वारा GN⁺ 2025-03-21 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • SourceHut, KDE GitLab, GNOME GitLab, LWN, Fedora, Inkscape, Diaspora, Read the Docs जैसे कई FOSS इन्फ्रास्ट्रक्चर AI crawlers और AI-जनित security reports की वजह से outage, blocking और operational burden झेल रहे हैं
  • ये crawlers robots.txt को अनदेखा करते हैं या git blame, Git log, commit pages जैसे महंगे endpoints पर बार-बार request भेजते हैं, और आम user traffic में घुलने के लिए लाखों नहीं बल्कि दसियों हज़ार IPs और छद्म User-Agent का उपयोग करते हैं
  • GNOME ने Anubis proof-of-work लागू किया, लेकिन लगभग 2 घंटे 30 मिनट में 81,000 requests में से सिर्फ 3% ही पास हुईं, जिससे संकेत मिला कि ज़्यादातर traffic bots का हो सकता है
  • Edge version blocking, non-logged-in users पर limits, subnet और country blocking, IP blocklists, और AI crawlers के लिए robots.txt व .htaccess जैसे उपाय अपनाए गए, लेकिन वास्तविक users को भी delay या access blocking झेलनी पड़ी
  • सार्वजनिक collaboration पर निर्भर open source projects private services की तुलना में ज़्यादा exposed होते हैं, इसलिए AI scraping और LLM hallucination वाले security reports सीधे maintainers के समय और operational capacity को खा रहे हैं

कई FOSS इन्फ्रास्ट्रक्चर में बार-बार outages

  • SourceHut के founder और CEO Drew DeVault ने आलोचना की कि LLM कंपनियां robots.txt का सम्मान किए बिना data crawl कर रही हैं, जिससे SourceHut पर गंभीर outages हो रहे हैं
  • KDE GitLab इन्फ्रास्ट्रक्चर Alibaba range के IPs से आए AI crawlers की वजह से overload हो गया, और KDE developers अस्थायी रूप से GitLab तक पहुंच नहीं पाए
  • GNOME GitLab पर outage पैदा करने वाले AI scrapers को रोकने के लिए Anubis proof-of-work challenger की default loading screen दिखने लगी
  • जैसे-जैसे ऐसे मामले बढ़े, AI scrapers का आक्रामक व्यवहार भी बढ़ा और सार्वजनिक collaboration पर आधारित FOSS communities का operational burden भी बढ़ गया

Crawlers कैसे काम करते हैं और blocking क्यों कठिन है

  • Drew DeVault के अनुसार LLM crawlers robots.txt की शर्तें नहीं मानते और repository की पूरी सामग्री, यहां तक कि high-cost pages भी scrape करते हैं
    • इनमें git blame, Git logs के सभी pages, और repository के सभी commits शामिल हैं
    • Crawlers दसियों हज़ार IPs से random User-Agent का उपयोग करते हैं, और हर IP से एक या उससे कम HTTP request भेजकर user traffic में घुलने की कोशिश करते हैं
  • इस तरीके की वजह से mitigation बनाना मुश्किल हो जाता है, और SourceHut में high-priority काम कई हफ्तों या महीनों तक delay हुआ
  • Bots और इंसानों में फर्क करना कठिन होने से वास्तविक users भी बीच-बीच में प्रभावित हुए, और यही SourceHut outages तक पहुंचा
  • Drew ने यह अलग-अलग नहीं बताया कि क्या सभी AI कंपनियां robots.txt या User-Agent reporting को एक ही तरीके से संभालती हैं

KDE और GNOME की प्रतिक्रिया

  • KDE sysadmin team के Ben के अनुसार KDE GitLab पर DDoS करने वाले IPs सभी खुद को MS Edge बता रहे थे, और इसके पीछे चीनी AI कंपनियां थीं
    • Ben का मानना है कि OpenAI और Anthropic जैसे पश्चिमी LLM operators कम से कम सही User-Agent सेट करते हैं
    • अस्थायी समाधान यह था कि bots द्वारा दावा किए गए Edge version को block कर दिया जाए
    • लेकिन bots User-Agent बदलकर घुलने-मिलने की कोशिश करते हैं, इसलिए इसे अंतिम समाधान नहीं माना जा सकता
  • GNOME पिछले साल नवंबर से इस समस्या से जूझ रहा था, और non-logged-in users के लिए merge requests और commits देखना रोकने हेतु rate limiting लागू की गई
    • इस कदम से वास्तविक logged-out users को भी दिक्कत हुई
  • इसके बाद GNOME ने Anubis पर switch किया
    • Anubis browser को एक computational challenge देता है, और browser समय लगाकर उसका हल server को भेजता है, तब access मिलता है
    • एक developer ने इसे “nuclear response के करीब का उपाय” कहा, और माना कि AI scraper bots के robots.txt जैसे standards का पालन न करने की वजह से यह मजबूरी बनी
  • Anubis का असर users पर भी पड़ा
    • अगर एक ही जगह से कई लोग link खोलते हैं, तो अधिक कठिन challenge दिया जा सकता है
    • एक user ने 1 मिनट की देरी झेली, जबकि दूसरे user को phone पर लगभग 2 मिनट इंतज़ार करना पड़ा
    • ऐसा तब हुआ जब GitLab links chat room में साझा किए गए या Triple Buffering GNOME merge request Hacker News पर आने से अचानक रुचि बढ़ी
  • GNOME sysadmin Bart Piotrowski के साझा किए गए आंकड़ों के अनुसार लगभग 2 घंटे 30 मिनट में कुल 81,000 requests में से सिर्फ 3% ने Anubis proof-of-work पास किया
    • Anubis pass rate: {p:3}
    • इससे संकेत मिलता है कि 97% traffic bots का हो सकता है

LWN, Fedora, Inkscape में blocking के मामले

  • LWN चलाने वाले Jonathan Corbet ने users को बताया कि AI scraper bots के DDoS की वजह से site “कभी-कभी धीमी हो सकती है”
    • उनके अनुसार वास्तविक human readers के लिए दिया जाने वाला traffic कुल traffic का केवल छोटा हिस्सा है
    • bots एक समय में सैकड़ों IPs से एक साथ आ रहे थे, खुद को bot के रूप में पहचान नहीं रहे थे, और robots.txt भी नहीं पढ़ते थे
  • Fedora project sysadmin Kevin Fenzi ने भी AI scrapers की समस्या झेली
    • एक महीने पहले उन्हें pagure.io को चालू रखने के लिए कदम उठाने पड़े
    • बाद में स्थिति और बिगड़ी, कई subnets block करने पड़े, और वास्तविक users भी प्रभावित हुए
    • बेहद मजबूरी में पूरे Brazil को block किया गया, और समझा जाता है कि यह block अभी भी लागू है
  • Neal Gompa ने कहा कि पूरे देशों को block करना भी सीमित उपाय है, और AI scrapers की वजह से Fedora इन्फ्रास्ट्रक्चर “कई हफ्तों तक नियमित रूप से down” रहा
  • Inkscape ने भी पिछले हफ्ते यही समस्या झेली
    • Martin Owens के अनुसार यह पिछले साल वाले सामान्य चीनी DDoS जैसा मामला नहीं था, बल्कि कई कंपनियां spider settings को अनदेखा कर रही थीं और browser info छिपा रही थीं
    • उन्होंने Prodigius blocklist बनाई और कहा कि अगर आप AI करने वाली किसी बड़ी company में काम करते हैं, तो हो सकता है आप Inkscape website तक अब पहुंच न पाएं

IP blocklists और सामूहिक प्रतिक्रिया की कोशिश

  • Frama software के BigGrizzly भी खराब LLM crawlers से flood हुए, और उन्होंने छद्म User-Agent इस्तेमाल करने वाले 460,000 IPs की blocklist बनाई
    • उन्होंने कहा कि वे यह list साझा कर सकते हैं
  • ai.robots.txt project AI कंपनियों से जुड़े web crawlers की सार्वजनिक सूची बनाने की एक व्यापक कोशिश है
    • यह Robots Exclusion Protocol लागू करने वाला robots.txt उपलब्ध कराता है
    • यह ऐसा .htaccess file भी देता है जो सूचीबद्ध AI crawler requests पर error page लौटाता है

Diaspora और Read the Docs के traffic numbers

  • Diaspora इन्फ्रास्ट्रक्चर पर Dennis Schubert के analysis में कुल web traffic का बड़ा हिस्सा AI company bots से आया हुआ दिखा
    • OpenAI User-Agent bots कुल web traffic का एक-चौथाई थे
    • Amazon 15% और Anthropic 4.3% पर थे
    • कुल requests में लगभग 70% AI कंपनियों से आईं
  • Schubert के अनुसार ये bots एक बार crawl करके चले नहीं जाते, बल्कि हर 6 घंटे में लौट आते हैं, और robots.txt की परवाह नहीं करते
    • rate limiting लगाने पर वे दूसरे IP पर switch कर जाते हैं
    • User-Agent string से block करने पर वे non-bot User-Agent string अपना लेते हैं
    • उन्होंने इसे पूरे internet के खिलाफ DDoS बताया
  • Read the Docs ने “AI crawlers need to be more respectful” शीर्षक वाले पोस्ट में कहा कि सभी AI crawlers को block करने पर traffic 75% घट गया
    • traffic reduction rate: {p:75}
    • traffic प्रतिदिन 800GB से घटकर 200GB रह गया
    • इससे हर महीने लगभग 1,500 डॉलर की बचत हुई
    • ऐसे मामले भी थे जहां crawlers कुछ ही दिनों में दर्जनों TB data डाउनलोड कर गए
    • कई IPs इस्तेमाल होने के कारण इन्हें पूरी तरह block करना मुश्किल है
  • Schubert के अनुसार Google और Bing जैसे “सामान्य” crawlers मिलाकर भी 1% से कम हिस्से में आते हैं

AI-जनित security reports से बढ़ता maintainer burden

  • समस्या सिर्फ scrapers तक सीमित नहीं रही, बल्कि AI-जनित bug reports तक फैल गई
  • Curl project के Daniel Stenberg ने “The I in LLM stands for Intelligence” पोस्ट में AI-जनित bug reports की समस्या उठाई
    • Curl एक bug bounty project चलाता है
    • हाल में कई bug reports AI से बनाई गईं, जो ऊपर से विश्वसनीय लगती हैं और developers का verification समय लेती हैं
    • लेकिन उनमें AI से अपेक्षित सामान्य hallucinations मौजूद होते हैं
  • CPython, pip, urllib3, Requests आदि की security report triage team में शामिल Seth Larson ने भी ऐसी ही समस्या बताई
    • open source projects पर बेहद low-quality और spammy LLM hallucination वाले security reports बढ़ रहे हैं
    • ये reports पहली नज़र में वैध लग सकती हैं, इसलिए इन्हें खारिज करने में भी समय लगता है
  • Security reports को संभालना पहले ही costly काम है, और ऐसी plausible लेकिन गढ़ी गई bug reports maintainers पर बड़ा अतिरिक्त बोझ डालती हैं
  • Larson ने अनुरोध किया कि vulnerability detection के लिए AI या LLM systems का इस्तेमाल न किया जाए
    • उनके अनुसार मौजूदा systems code को समझ नहीं सकते, जबकि security vulnerabilities पहचानने के लिए code understanding के साथ intent, सामान्य usage patterns और context जैसी मानव-स्तर की समझ चाहिए

FOSS पर अधिक असर डालने वाला संरचनात्मक बोझ

  • FOSS projects के पास अक्सर commercial products की तुलना में कम resources होते हैं
  • Community-driven projects में इन्फ्रास्ट्रक्चर का बड़ा हिस्सा सार्वजनिक होता है, इसलिए वे crawlers के लिए अधिक exposed रहते हैं
  • सार्वजनिक issues, security reports और collaboration इन्फ्रास्ट्रक्चर की जरूरत के कारण AI scrapers और AI-जनित issues दोनों एक साथ बोझ बन जाते हैं
  • आखिरकार outage response, blocking policy, user impact mitigation, और fake security reports की समीक्षा open source maintainers का समय खा जाती है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-03-21
Hacker News की राय

  • यहां एक और उदाहरण है: https://about.readthedocs.com/blog/2024/07/ai-crawlers-abuse... यह लेख मूल पोस्ट में भी उद्धृत है, और बड़े पैमाने का इंटरनेट इन्फ्रास्ट्रक्चर चलाने वाले मेरे परिचित लगभग सभी लोग ऐसी ही चीजें झेल रहे हैं
    यह लेख ऐसे मामलों को एक जगह अच्छी तरह समेटता है। जैसा मैंने लिखते समय भी कहा था, ये लोग बस trust capital को पूरी तरह जला रहे हैं
    इस क्षेत्र के एक प्रमुख startup ने हमारे साथ सीधे सहयोग किया, लागत refund की, और crawler bug भी ठीक किया। दूसरी ओर Facebook ने emails का जवाब नहीं दिया, और User Agent में दिया link 404 था। कंपनी के एक engineer ने लेख देखकर सही email बताया, लेकिन वहां 3 बार भेजने के बाद भी कोई जवाब नहीं आया

    • AI कंपनियां ऐसे बर्ताव कर रही हैं मानो trust capital मायने ही नहीं रखता। वे 100 अरब डॉलर की पूंजी वाले 800-pound gorilla की तरह जो चाहें कर रही हैं
      रवैया यह है कि आप चाहें या न चाहें, AI हर product में घुसेगा, और आप चाहें या न चाहें, वह सारा data सोख लेगा
    • “एक crawler ने मई 2024 में 73TB compressed HTML files download कीं, और bandwidth cost 5,000 डॉलर से ज्यादा आई” वाला हिस्सा देखकर मुझे दोबारा पढ़ना पड़ा
      मैं dedicated servers पर आधारित ऐसा इन्फ्रास्ट्रक्चर चलाता हूं जो महीने में कई सौ TB traffic संभालता है, और traffic cost लगभग 0.50~3 डॉलर प्रति TB के स्तर पर है। region के हिसाब से फर्क पड़ता है, लेकिन AWS egress traffic cost वाकई पागलपन वाली है
    • जवाब न मिले तो email के बजाय accounts payable team को invoice भेज देना चाहिए
    • अगर 3 emails भेजने के बाद भी जवाब नहीं आया, तो उस point से crawling को bug या गलती नहीं, बल्कि DDoS नहीं मानना चाहिए क्या?
    • क्यों न इन्हें dynamically generated बेकार जानकारी खिला दी जाए? कोई जानकारी न देने से ज्यादा मजेदार लगता है

  • अपने project को preview image में इस तरह दिखते देखना सच में अवास्तविक लगता है। कमाल है! अगर आजमाना चाहें तो यहां है: https://github.com/TecharoHQ/anubis
    अब तक देखने में यह सच में काम करता लगता है। मैंने इसे अपने blog पर production में कैसे fail होता है यह देखने के लिए xeiaso.net पर deploy कर रखा है

    • users को थोड़ा समझा देना अच्छा होगा कि अभी उन्हें क्या करना है, और उस page पर क्या हो रहा है
      loading animation widget जैसा कुछ है, लेकिन कुछ हफ्ते पहले Gnome issue tracker पर पहली बार देखा तो proof of work में करीब 20 seconds लग रहे थे और मुझे समझ नहीं आया कि हो क्या रहा है। पहले लगा कि मुझे block कर दिया गया है या captcha load नहीं हुआ
      अब मुझे पता है यह क्या है, लेकिन सिर्फ “bot होने की जांच जारी है” page अकेला देखें तो यह 100% साफ नहीं लगता
    • मुझे यह तरीका सच में पसंद है। Internet का Wild West जैसा चलना ठीक है, लेकिन accountability न होना मुझे पसंद नहीं
      जो लोग अपनी site को मुफ्त में खुला रखना चाहते हैं, उनके लिए आर्थिक बोझ crawlers पर डालने का यह अच्छा तरीका है। data चाहिए तो लेने वाले को पैसा खर्च करना चाहिए
      search engines से बाहर हो जाने का नुकसान हो सकता है, लेकिन service को global या P2P indexer में register न कर पाने की कोई वजह नहीं है
    • पसंद आया, हमेशा की तरह अच्छा बनाया है
      और https://news.ycombinator.com/item?id=43422781 के संबंध में, अगर मनचाहे shitcoin की बेहद छोटी राशि calculate करने वाला तरीका जोड़ दिया जाए तो cryptocurrency का सच में उपयोगी use case एक और बन सकता है
    • Anubis तभी तक चलेगा जब तक वह famous नहीं होता। famous होते ही crawlers GPU/ASIC से proof of work संभालना शुरू कर देंगे, और तब खेल खत्म
    • अच्छा लगता है जब कभी-कभी randomly आपकी बनाई चीज से सामना हो जाता है। मुझे blog-style explanation का तरीका भी पसंद है, इसलिए Anubis को और देखने का सोच रहा हूं

  • इस रफ्तार से देखें तो यह सिर्फ free/open source infrastructure की समस्या नहीं है। बेशक, वह कोयला-खदान की canary जैसा है इसलिए उससे खास सहानुभूति होती है, लेकिन आखिरकार यह पूरे anonymous internet access की समस्या है
    आप साइट को authentication wall के पीछे रख सकते हैं, लेकिन नए bots पुराने bots जैसे नहीं हैं—वे CAPTCHA हल कर लेते हैं और असली users की नकल करते हैं। खासकर जब वे residential IP और fake User Agent इस्तेमाल करते हैं, या लेख में बताए मुताबिक Playwright जैसी चीज़ों से जुड़े real User Agent तक इस्तेमाल करते हैं
    आखिर में साइटों के पास credit card, Worldcoin, या उतने ही निराशाजनक विकल्प मांगना शुरू करने के अलावा क्या बचेगा

    • हम पहले ही आधे रास्ते तक पहुंच चुके हैं। OpenStreetMap mapping करते हुए जब भी मैं ऐसे local businesses ढूंढता हूं जिनकी अपनी website नहीं होती, तो यह महसूस होता है
      वे Facebook, Instagram, X आदि को digital business card की तरह इस्तेमाल करते हैं। मैं आम तौर पर Facebook या Instagram इस्तेमाल नहीं करता, X भी छोड़ चुका हूं और account भी नहीं है; ऐसे links खोलने पर कुछ जानकारी ही दिखती है, फिर dialog आता है कि account बनाइए या निकल जाइए, या कोई अज्ञात error दिखता है
      private communities में शामिल होना ठीक है, लेकिन जिस जानकारी को लोग public दिखेगी सोचकर डालते हैं, उस पर ऐसी बाधाएं आना वाकई झुंझलाहट भरा है
    • जो बात दबे स्वर में कही जा रही है उसे साफ कहें तो, इसके निराशाजनक होने की सबसे बड़ी वजहों में से एक यह है कि यह सिर्फ नुकसान नहीं है, बल्कि ऐसा नुकसान है जिससे जुड़े bad actors को compound interest की तरह फायदा जमा होता जाता है। content scrape करना तो बस शुरुआत है
      बढ़ती लागत से कोई site हमेशा के लिए बंद हो जाती है? शानदार, क्योंकि लोगों को हर documentation के लिए AI इस्तेमाल करना पड़ेगा। CAPTCHA से पीछे हटकर credit card या phone number मांगने लगते हैं? शानदार, क्योंकि internet की anonymity उतनी ही घट जाएगी
      data breaches से fraud बढ़ता है? शानदार, क्योंकि उसे रोकने के लिए AI चाहिए होगा। malicious actors के लिए यह लगभग हर तरफ जीतने वाला खेल है
      internet के balkanization पर बहुत पहले से चर्चा होती रही है। लगता है कि ऐसे खतरे, या यह तथ्य कि यह पहले ही काबू से बाहर कूड़ाघर बन चुका है, हालात और बिगाड़ने में कुछ सावधानी पैदा करेंगे; लेकिन लोग जितनी harassment और friction सह सकते हैं उसकी सीमा को धकेलना वैसे भी मायने नहीं रखता। क्योंकि असल में उनके पास विकल्प नहीं है
    • पक्का नहीं कह सकता। मैं एक छोटा browser game चलाता हूं, और server को LLM scrapers नियमित रूप से पूरी तरह पीट डालते हैं, लेकिन मुझे अभी तक एक भी नया account ऐसा नहीं दिखा जो bot-made लगे
      नए signups की दर में भी कोई खास बदलाव नहीं आया। game और wiki दोनों में ऐसा ही है, और scraping traffic ज्यादातर wiki पर गया। अगर scraping कम नहीं हुई, तो wiki को लगभग पूरी authentication wall के पीछे डालना पड़ सकता है
    • यह कुछ ऐसा हो सकता है कि अगले X requests करने के लिए आपको इतने tokens process करने होंगे। बेशक यह काफी utopian जैसा सुनाई देता है
    • जरूरी नहीं कि इसे authentication wall के पीछे ही रखा जाए। हर request के लिए anonymous micropayment service इस्तेमाल करना भी पूरी तरह संभव है
      अगर किसी website पर बहुत ज्यादा visitors आ जाना ही उसके अस्तित्व का संकट बन जाए, तो इसका मतलब है कि जिस internet में हम रहते हैं वह लंबे समय तक टिकने लायक संरचना नहीं है

  • पहले जब search engines ने ऐसा किया था, तो industry ने कानूनी regulation बनने से बचने के लिए आपस में सहमति की और robots.txt specification बनाई। इसलिए कोई legal framework नहीं बना
    अब hungry indexers की एक नई पीढ़ी है जो उस समझौते में शामिल नहीं थी, competitive pressure की वजह से जितना हो सके data scrape करना चाहती है, और robots.txt को बस ignore कर देती है
    किसी भी तरह legislation होनी चाहिए थी, और robots.txt ignore करने वालों पर block, fine, rate limit वगैरह लगनी चाहिए थी

    • मुझे नहीं पता यह योजना पसंद है या नहीं। illegal AI को legal AI से ज्यादा knowledge और usefulness हासिल नहीं करने देना चाहिए
      total ban के अलावा भी विकल्प हैं
    • मुझे हैरानी होगी अगर US House या Congress के सदस्यों में से एक भी व्यक्ति जानता हो कि robots.txt क्या है
    • US या EU के कानून China, Thailand, Russia से आने वाले traffic को कैसे रोक सकते हैं? ज्यादा से ज्यादा यह internet को fragment करेगा, और वह “best case” भी नहीं है—वह तो भयानक idea है

  • मुझ पर भी हाल ही में attack हुआ [0]। यह एक छोटा Forgejo instance है जहां कई open source packages का code रखा है, इसलिए इसे public होना चाहिए, लेकिन यह पूरी तरह खराब हो गया और generated ZIP archives से disk भर गई
    ऐसा झेलने वाला मैं अकेला नहीं हूं। मेरे मामले में Alibaba Cloud IP ranges block करने पर attack फिलहाल कम हो गया
    अगर आप Forgejo instance चला रहे हैं, तो DISABLE_DOWNLOAD_SOURCE_ARCHIVES को true पर set करने की जोरदार सलाह देता हूं। crawler फिर भी CPU को कसकर पकड़े रहेगा, लेकिन कम से कम disk ZIP files से नहीं भरेगी
    [0] https://blog.nytsoi.net/2025/03/01/obliterated-by-ai

    • “generated ZIP archives से disk भर गई” का मतलब है कि on-the-fly ZIP file बनाना खराब software design है
    • शायद बेहतर होगा कि आप ऐसे अच्छे software पर switch करें जो public internet पर serve होने के लिए ठीक से designed हो
      ZIP files generate करना, उन्हें पूरा का पूरा disk पर लिखना, और फिर एक साथ client को भेजना—यह design पूरी तरह भयानक और अनुपयोगी है। सही design में न्यूनतम memory और बिल्कुल disk इस्तेमाल किए बिना incremental तरीके से generate करके client को stream करना चाहिए
      ऐसा बेतुका design होना इस बात का संकेत है कि developers ने efficiency को लगभग ignore किया है, और ऐसे ही कई critical issues होने की संभावना है
      उदाहरण के लिए Forgejo source code को सरसरी तौर पर देखने पर लगता है कि सभी Git operations के लिए dedicated library इस्तेमाल करने के बजाय वह “git” process spawn करता है। मैंने verify नहीं किया है, लेकिन अगर वे operations उस काम को करने के सबसे efficient तरीके से बहुत दूर हों तो मुझे हैरानी नहीं होगी
      इतना ज्यादा कमजोर software चलाने पर CPU का 100% पर अटक जाना और server का unusable हो जाना कोई आश्चर्य की बात नहीं है

  • यहाँ बड़ा निष्कर्ष यह है कि Google और कुल मिलाकर विज्ञापनों का वेब पर वर्चस्व खत्म हो रहा है
    बॉट्स को रोकने का एकमात्र तरीका CAPTCHA है, लेकिन इससे search indexer भी साइट को index नहीं कर पाते। आखिरकार search engine साइट को index नहीं कर पाते और फिर वे कोई value नहीं दे पाते
    मौजूदा LLMs में मौजूद ज्ञान के सूखने में थोड़ा time lag होगा, लेकिन आगे कोई भी automated तरीके से वेब scrape नहीं कर पाएगा
    लगता है सब जलकर खत्म हो जाएगा

    • असल में यह भेड़ियों और खरगोशों की आबादी जैसी Lyapunov stability होगी। इस scenario में हम खरगोश हैं
      AI की population घटेगी तो human content बढ़ेगा, जो AI के लिए ज्यादा चारा बनेगा और AI फिर बढ़ेगा। फिर human expression दब जाएगा और इंसान और शांत हो जाएंगे। AI का चारा घटने से AI कम होगा, noise घटेगा और इंसान फिर बढ़ेंगे। यह चक्र उबाऊ ढंग से बार-बार दोहराएगा
    • निजी तौर पर मुझे लगता है कि यह Web Environment Integrity की असली motivations में से एक था। Google को index करने देना और बाकी जगहों को नहीं
      हम एक मुश्किल दोराहे में फंसे हैं। क्या हमें जमे हुए मौजूदा बड़े खिलाड़ी चाहिए, या सस्ती और open hosting?
    • Google पहले से ही sites को scrape करके search results में सीधे जवाब दिखाता है। अगर traffic आपके लिए अहम है और आप ad inventory बेचना चाहते हैं, तो अब मैं क्यों चाहूं कि Google मेरी site को index करे?
      ad-based sites में से काफी अंधेरे में चली जाएंगी। Visitors तो सिर्फ bots होंगे
    • अगर authenticated crawling की तरफ जाना पड़े, तो मौजूदा search engines की स्थिति और मजबूत होगी। क्योंकि सिर्फ invited crawlers को ही access मिल पाएगा
      अगर कोई simple tool हो तो ज्यादातर लोग Google, Bing और ज्यादा से ज्यादा एक-दो और को ही allow करेंगे
    • जिस AI company के पास सबसे अच्छी CAPTCHA bypass technology होगी, वही जीतेगी, और वह LLM output में ज्यादा sophisticated तरीके से ads insert करेगी

  • अगर किसी को छोटी-मोटी sabotage में दिलचस्पी है, तो लगता है कि मैंने अपने microblog की असली जानकारी को कुछ हद तक “डुबोने” में सफलता पा ली है
    LLaMa से हर असली post के लिए दर्जनों विरोधाभासी posts बनाईं और उन्हें इस तरह invisibly link किया कि इंसान click न करें। कहें तो Bannon-style में zone को कचरे से flood करना

    • मैंने इस approach का इस्तेमाल होते देखा है, लेकिन success rate ठीक से नहीं जानता। logically तो plausible है
      ऐसे paths को explicitly reference करना जिन्हें इंसान सच में देख नहीं सकते, और उन paths को hit करने वाले traffic को bot मानना। Bots खुद को रोक नहीं पाते
    • सही। लेकिन इसे robots.txt में जरूर add करना चाहिए ताकि सिर्फ bad robots को ही नुकसान हो
    • कल यह पढ़कर मैंने सोचा कि इसे बड़े scale पर mitigate कैसे किया जा सकता है। तरीका यह कि website random virtual paths या endpoints बनाए, bots को locally served Library of Babel[0] में धकेल दे, और बेकार text से spiders को contaminate करे
      यह उन well-structured sites पर काम नहीं करेगा जहां bot को पता है कि उसे कौन सा exact endpoint scrape करना है, लेकिन ज्यादा exploratory spider threads को धीमा कर सकता है
      [0] https://libraryofbabel.info/
    • कचरे से flood करने के बजाय, ZIP bomb जैसी चीज serve करना या compute resources बर्बाद कराना जैसी direct sabotage कैसी रहेगी?

  • VideoLAN है
    हमारे forums और Gitlab भी इसी तरह AI company bots से पिट रहे हैं
    ज्यादातर robots.txt का पालन नहीं करते

    • क्या आपने इसे हल करने के लिए उठाए गए steps को document किया है?

  • पागलपन है। सोच रहा हूं कि क्या आखिरकार हम वेब के ऐसे version की तरफ जाएंगे जो search engines में index नहीं होता। एक ऐसा web जो 90s browsing जैसा ज्यादा हो, जहां websites को पता चलने के लिए एक-दूसरे को link करना पड़ता था
    LLM scraping का solution access allow करने से पहले browser से proof of work करवाना है—यह बात मुझे पसंद है। सोच रहा हूं कि क्या नई sites इसे अपनाना शुरू करेंगी
    तब वे search engines में index नहीं होंगी, लेकिन intellectual property को protect करने में मदद मिलेगी

    • नमस्ते! मैं वही कर रहा हूं। ज्यादा जानकारी के लिए https://github.com/TecharoHQ/anubis देखें

  • अभी तक मैंने इस बारे में सोचा नहीं था, लेकिन यह पागलपन है कि जो companies LLM products और cloud computing services दोनों देती हैं, वे दोहरी कमाई करती हैं
    उन्हें बेचने लायक LLM product मिलता है, और साथ ही बढ़े हुए load के egress traffic costs और computing costs भी मिलते हैं। इस नजरिए से देखें तो inefficient LLM scraping की परवाह करने का incentive कहां है? जितना ज्यादा इसे बेतरतीब रहने दें, उतना ही वे अपने दूसरे empire—cloud storage egress costs—से पैसा कमाते हैं