- AI crawlers के लिए कंटेंट मालिकों को access पर शुल्क लेने की नई सेवा की घोषणा
- कंटेंट creators के पास तीन विकल्प होंगे: मुफ्त अनुमति, पूरी तरह ब्लॉक, या paid access की अनुमति
- बिलिंग मानक HTTP 402 Payment Required response पर आधारित होगी, और Cloudflare payment और settlement infrastructure उपलब्ध कराएगा
- crawlers और कंटेंट मालिक programmatic authentication और payment के जरिए transparency और security सुनिश्चित कर सकते हैं
- यह सेवा private beta के रूप में शुरू होगी, और भविष्य में विभिन्न use cases तथा dynamic pricing के लिए इसका विस्तार किया जाएगा
AI consumption environment में बदलाव
- अब तक कई publishers, content creators, website owners के पास AI crawlers के लिए केवल दो ही द्विआधारी विकल्प थे: या तो पूरा access दें या पूरी तरह block करें
- Cloudflare का मूल सिद्धांत content owners के control को मजबूत करना है, ताकि वे चाहें तो सभी AI crawlers को block करें, मुफ्त access दें, या केवल चुनिंदा crawlers को अनुमति दें
- सैकड़ों media companies, publishers और बड़े social platforms के साथ चर्चा से यह सामने आया कि AI crawlers को access देकर उसके बदले भुगतान पाने की मांग काफी बड़ी है
- पहले crawlers के साथ अलग-अलग negotiation के बाद ही access देना संभव था, लेकिन scale और negotiation power की कमी के कारण छोटे sites के लिए यह व्यावहारिक रूप से लगभग असंभव था
'pay per crawl' मॉडल की शुरुआत
- मुफ्त या block जैसे चरम विकल्पों के अलावा, Cloudflare ने तीसरा विकल्प access billing के रूप में पेश किया
- इससे content owners इंटरनेट के scale पर अपने digital assets को monetize कर सकते हैं
- इसका मुख्य तकनीकी आधार लगभग भुला दिया गया HTTP 402 Payment Required status code है: यदि crawler भुगतान की इच्छा दिखाए तो 200 OK के साथ content दिया जाएगा, अन्यथा 402 response के जरिए price बताया जाएगा
- Cloudflare Merchant of Record की भूमिका निभाते हुए payment processing और technical infrastructure की जिम्मेदारी लेगा
publishers का control और pricing policy
- publisher पूरे site के लिए fixed price सेट कर सकता है
- अनुमति (मुफ्त उपलब्धता)
- शुल्क (निर्धारित कीमत पर payment होने पर उपलब्ध)
- block (access नहीं, साथ में भविष्य के संबंध की संभावना का संकेत)
- crawler-विशेष billing exceptions, free access, individual negotiation जैसी flexible policy operations का भी समर्थन
- Cloudflare की security policies (WAF, bot management आदि) के साथ integration होगा; मौजूदा firewall rules पहले लागू होंगे, उसके बाद pay per crawl rules काम करेंगे
authentication और payment protocol: Web Bot Auth
- इसे इस तरह डिज़ाइन किया गया है कि सिर्फ specific crawlers को ही payment और access अधिकार मिलें, जिससे crawler ID spoofing रोकी जा सके
- crawler को Ed25519 key pair बनाना होगा, JWK format public key directory में register करना होगा, और Cloudflare को जानकारी देनी होगी
- HTTP message signature (
Signature-Agent, Signature-Input, Signature) headers के जरिए identity और payment intent का प्रमाण दिया जाएगा
paid content access का तरीका
- दो protocols का समर्थन
- reactive (discovery-first): crawler paid URL request करता है, 402 response और price मिलता है → सहमति होने पर दोबारा request में
crawler-exact-price header शामिल
- proactive (intent-first): पहली request में
crawler-max-price header के जरिए payment ceiling भेजी जाती है → यदि कीमत सीमा के भीतर हो तो 200 OK और billing details मिलती हैं
- price negotiation और payment intent की अभिव्यक्ति programmable तरीके से संभव होगी
settlement और financial processing
- crawler operators और content owners, दोनों को Cloudflare account में payment information register करनी होगी
- प्रमाणित payment requests और हर 200 OK response पर billing event record होगा, जिसे Cloudflare aggregate करके crawler से charge करेगा और publisher को settlement देगा
agent era की ओर बदलाव की शुरुआत
- pay per crawl, online content control technology के evolution का प्रतीक है
- programmable asset valuation के जरिए creators की सुरक्षा और नए BM (business model) विस्तार की उम्मीद है
- भविष्य में content type/path-based dynamic pricing, AI traffic scale-based pricing, large-scale license management जैसी कई विस्तार संभावनाओं पर काम हो सकता है
- HTTP 402 adoption के जरिए AI/agents के लिए digital resources के access terms को programmatically negotiate करने वाले भविष्य की तैयारी संभव होगी
शुरुआत कैसे करें
- pay per crawl फिलहाल private beta के रूप में उपलब्ध है
- इसे उपयोग करना चाहने वाले crawlers और content creators अलग application link के जरिए inquiry कर सकते हैं
- Cloudflare DDoS protection, internet acceleration, internet applications building, hacker blocking, Zero Trust implementation जैसी सेवाएं भी देता है
संबंधित अतिरिक्त जानकारी और रुझान
- 'Content Independence Day' जैसे अभियानों के साथ crawlers की free crawling को block करने की प्रवृत्ति और Cloudflare की robot management solutions का विस्तार जारी है
- 2024~2025 के बीच AI crawler traffic में 18% वृद्धि, GPTBot 305%, Googlebot 96% growth के आंकड़े साझा किए गए
- public key-based message signing के जरिए crawler authentication को मजबूत करने वाली सुविधा भी साथ में पेश की गई
5 टिप्पणियां
अनुवाद: https://rosettalens.com/s/ko/introducing-pay-per-crawl
यह तय कैसे करेंगे कि वह AI bot है या नहीं?
AI है या नहीं, इससे अलग बात है, लेकिन अगर कोई ठान ले तो crawling को भी पकड़ पाना मुश्किल है।
Cloudflare का मकसद पैसा कमाना है
आखिरकार जो लोग पैसा कमाना चाहते हैं, वे सब उधर ही इकट्ठा होंगे
Cloudflare का वॉल्यूम बढ़ेगा
और data की quality में गिरावट आएगी
Naver, Instagram, YouTube—जहाँ भी पैसे का दांव होता है, वहाँ सबमें यही प्रवृत्ति दिखती है
Hacker News की राय
मुझे लगता है कि यह वही micro-payment का रूप है जिसकी हमें तलाश थी। Coinbase ने हाल ही में cryptocurrency और 402 status code का उपयोग करने वाली एक library पेश की है, वही x402 है x402 GitHub लिंक
मुझे लगता है कि web business model को ad middlemen की जगह ऐसा ही होना चाहिए। adtech industry ने हमारे data का स्थायी शोषण किया है, media को प्रदूषित किया है, और democracy को भी नुकसान पहुंचाया है। उम्मीद है कि कुछ दशकों बाद लोग समझेंगे कि आज का advertising model कितना हानिकारक है, और Big Tobacco की तरह इस क्षेत्र की कंपनियों को regulate और punish किया जाएगा। Brave का BAT भी एक अच्छा प्रयास है, लेकिन x402 अधिक सामान्य समाधान जैसा लगता है। हालांकि cryptocurrency को लेकर नकारात्मक धारणा और advertising industry के शक्तिशाली प्रभाव के कारण इस तरह का मॉडल जम पाना आसान नहीं दिखता
मैं cryptocurrency इस्तेमाल नहीं करना चाहता, cryptocurrency में content का भुगतान नहीं लेना चाहता, और किसी middleman को fee भी नहीं देना चाहता। micro-payment में cryptocurrency का उपयोग वास्तव में cryptocurrency ecosystem को बढ़ावा देने का तरीका लगता है। ऊपर से, हर कोई किस coin में भुगतान करेगा इस पर सहमत होना भी मुश्किल है। अगर हर site अलग-अलग coin ही ले, या केवल एक stablecoin ही स्वीकार करे, तो उसे नियंत्रित करना भी कठिन हो जाएगा। Cloudflare का तरीका बेहतर है। इसमें कमाई करने वाली तरफ़ खर्च उठाती है, आम users से पैसे नहीं मांगे जाते। और cryptocurrency भी इस्तेमाल नहीं होती
उम्मीद है मैं गलत साबित होऊं, लेकिन लगता है कि micro-payment का मौका हम पहले ही गंवा चुके हैं। पुराने feature phone के prepaid recharge की तरह अगर “इंटरनेट में 10,000 won recharge” करके site उसी से micro-payment काट लेतीं, तो शायद यह ठीक से स्थापित हो जाता। लेकिन अब इस system को लागू करने और पूरे market को इसमें शामिल करने के लिए बहुत अधिक infrastructure और consensus चाहिए, इसलिए लगता है समय निकल चुका है
यह तकनीक सच में बहुत दिलचस्प लगती है। अगर मैंने सही समझा है, तो मुझे हैरानी है कि protocol को इस तरह design क्यों नहीं किया गया कि address और payment amount मिलते ही तुरंत response दे। अगर बाद की कोशिशें amount और wallet address का checksum लौटने तक block रहें, और इस checksum को कोई third party verify करे, तो हर server को अपनी verification logic implement नहीं करनी पड़ेगी। एक सही digital economy बनाने के लिए दो चीज़ें चाहिए: 1) content ऐसा हो कि केवल requester ही उसे consume कर सके और उसकी copy/store न हो सके, 2) content के साथ इंसानों द्वारा दी गई reputation या rating system हो। पहली चीज़ DRM या homomorphic encryption से, और दूसरी DAO-आधारित rating agencies से हल हो सकती है। evaluator के रूप में DAO में भाग लेने के लिए blockchain-आधारित proof of track record साझा करना होगा, और महंगी cryptocurrency stake (=license) करनी होगी ताकि trust बढ़े। BitTorrent index की तरह content और evaluators को जोड़ा जा सकता है, जिससे intermediary advertising भी हट सकती है। अगर यह ढांचा पूरा हो जाए, तो विशेषज्ञता रखने वाले लोग value creation में शामिल होते हुए middlemen को हटा सकते हैं, और इंसान content economy के केंद्र में आ सकते हैं। अगर content के double-payment वाले मसले का समाधान हो जाए, तो लोग लगातार reward पाते हुए अपनी offline expertise भी विकसित कर सकते हैं। उदाहरण के लिए, अच्छी किताब या फिल्म खोजते समय हम Amazon या Goodreads ratings देखते हैं, लेकिन मौजूदा rating providers का उतना stake नहीं होता। अगर rating content को किसी rating agency जैसी विश्वसनीयता मिल जाए, तो individual works की value भी बढ़ सकती है। हर कोई अपनी reputation बनाए रखने के लिए प्रेरित होगा
यह concept अपने-आप में नया नहीं है। मैंने भी 2018 में ln-paywall नाम का एक project बनाया था, जो 402 status code का उपयोग करता था
मेरे हिसाब से यह तरीका पूरी तरह गलत दिशा में है। Cloudflare बस इतना कह रहा है, “पहले की तरह crawl करो, लेकिन अब ज़्यादा पैसे दो,” और उसके बदले कोई उचित value नहीं दे रहा। crawling AI companies या नए search engines के लिए competitive advantage नहीं है। यह बस cost बढ़ाने और attention बिखेरने वाला काम है। इनके लिए infrastructure share करके cooperate करना ज़्यादा तर्कसंगत है। हर company को अलग-अलग sites पर जाने की ज़रूरत नहीं होनी चाहिए; आदर्श रूप से एक ही crawler सभी sites पर जाए और companies अपने filters सेट करें, फिर matching URLs के अनुपात में योगदान दें। कई बार traffic भेजने की जगह अगर एक single crawler हो, और robots.txt rules को technical और contractual दोनों रूप से enforce किया जाए, तो unwanted content दिया ही नहीं जाएगा, और उसे bypass करने के लिए उन्हें अपना crawler technical रूप से maintain करना पड़ेगा, जो बड़ा बोझ होगा। इसमें payment जोड़ भी दें, तब भी संभावना यही है कि लोग अनदेखे countless junk pages के लिए भुगतान करेंगे, इसलिए इसका value proposition कमजोर है। इस मॉडल में AI companies और search engines के लिए crawling सस्ती और आसान होगी, और sites के लिए load बहुत कम होगा और blocking ज़्यादा असरदार होगी। लेकिन Cloudflare का विचार बस “पैसे दो” तक सीमित है, इसलिए इसमें imagination भी कम है और persuasion भी
मुझे लगता है कि यहां सही incentive structure देखने के लिए market के दूसरे पक्ष को देखना चाहिए। content producers के लिए समस्या site पर traffic आना नहीं है, समस्या यह है कि उन्हें उस traffic का उचित भुगतान नहीं मिलता। अगर 8 companies मेरी site के हर page पर दिन में 10 बार आएं, लेकिन मुझे market rate के अनुसार payment मिले, तो कोई समस्या नहीं। तब ये 8 companies cost को externalize नहीं कर पाएंगी, इसलिए collaborate करके unified crawling करने के लिए प्रेरित होंगी। यह तरीका उल्टे सभी के लिए ज़्यादा तर्कसंगत है
Common Crawl वास्तव में यही भूमिका निभाने वाला था, लेकिन विडंबना यह है कि AI startups उसके data को इतनी लालच से खींच रहे हैं कि हाल में उस पर इतना load है कि वह लगभग इस्तेमाल लायक नहीं रहा। ऐसे मुद्दों की वजह से web crawling outsourcing का market बन सकता है, और company के नज़रिये से crawler को outsource करना कई मायनों में फायदेमंद हो सकता है। बेशक, यह ज़रूरत इतनी बड़ी है कि एक मज़बूत business market बना देगी या नहीं, यह अभी स्पष्ट नहीं है, लेकिन सही web data access या crawling capability की ज़रूरत होना तय है
इस राय के विपरीत कि web crawling AI companies के लिए competitive advantage नहीं है, ताज़ा जानकारी या specific sources को जल्दी reflect करने की क्षमता निश्चित रूप से competitive edge है। समस्या यह है कि ये companies site content ले जाती हैं, बदले में sites को कुछ नहीं देतीं, और traffic भी नहीं भेजतीं, इसलिए web ecosystem को नुकसान पहुंचता है। खासकर site owner के नज़रिये से, AI bot मेरे data को पढ़े और मुझे उससे zero value मिले, यह विनाशकारी है
अगर crawling traffic कुछ हद तक पैसे दे भी, तो infrastructure cost उठाना कोई समस्या नहीं होगी। अतीत में भी high-volume traffic के कारण sites का मर जाना दुर्लभ था। हाल के समय में 1) ज़्यादा से ज़्यादा sites bots, scrapers आदि को सीधे block कर रही हैं, या 2) जो ऐसा नहीं कर पातीं (जहां access control कठिन है या revenue model नहीं है), वे बुरी तरह bombard होती हैं। अगर इस ढांचे में वास्तव में sites को payment मिले, तो कम-से-कम excessive bot traffic का बोझ cover हो सकता है, और उससे भी अधिक लाभ मिल सकता है
फिर भी मुझे लगता है कि ऐसी cost structure cooperation के लिए direct incentive बन सकती है
आखिरकार इसी वजह से Google AI में भी बढ़त बनाए रखेगा। ज़्यादातर लोग चाहते हैं कि Googlebot उनकी site को crawl करे। उससे traffic आता है, और Google उसी index का उपयोग AI training में भी करता है। यह monopolistic हो सकता है, लेकिन दोनों पक्षों के लिए फायदेमंद लगता है। लेकिन अगर OpenAI, Anthropic, Meta जैसी companies crawl करें और कोई compensation न दें, तो शायद ही कोई चाहेगा कि उनकी site crawl हो। इसलिए मुझे Cloudflare की यह policy सही समय पर आई हुई लगती है। अगर यह policy सफल होती है, तो Cloudflare के लिए भी यह बहुत बड़ा अवसर होगा
Google के “AI Overview” की वजह से click-through rate बहुत गिर रहा है। पहले Google 2 pages crawl करता था तो 1 visitor आता था, 6 महीने पहले यह 6:1 था, और अब 18:1 है। क्या बदला? AI Overviews। OpenAI इससे भी बदतर है: 6 महीने पहले 250:1 था, अब 1,500:1 है, यानी AI मूल link traffic को पूरी तरह intercept कर रहा है। (Twitter संदर्भ: https://twitter.com/ethanhays/status/1938651733976310151)
मैं startup चला रहा हूं, इसलिए मैं तो चाहता हूं कि मेरी site AI द्वारा crawl की जाए। जब लोग ChatGPT में पूछें “$CompanyName क्या है”, तो मैं चाहता हूं कि हमारी company की strengths और key messaging सही तरीके से reflect हों। पारंपरिक SEO content भी AI training data के रूप में उपयोग हो सकता है। अगर आप AI tools से web के strengths/weaknesses summarize करने को कहें, तो “top 10 tools for X” जैसे list-style posts, जो companies खुद अपने blog पर डालती हैं, अक्सर source बन जाते हैं। tourism boards जैसी बड़ी organizations, या वे संस्थाएं जो अपने perspective को दुनिया भर में प्रभावशाली ढंग से फैलाना चाहती हैं, उन पर भी यही बात लागू होती है
आपने कहा कि OpenAI, Anthropic, Meta इंसानों द्वारा लिखे content को crawl कर लेते हैं और कोई compensation नहीं देते, लेकिन सच यह भी है कि governments या large enterprises जैसी संस्थाओं के लिए crawl होना कभी-कभी फायदेमंद होता है। उदाहरण के लिए, अगर global AI “kangaroo कैसे देखें?” के जवाब में Australia की जगह New Zealand के zoo की सिफारिश करने लगे, तो यह समस्या होगी। सही जानकारी का AI models में reflect होना बहुत व्यापक स्तर पर influence डाल सकता है
Google के पास Google Books जैसे projects भी हैं, इसलिए दूसरी western companies के लिए इतनी large-scale training material इकट्ठा करना कठिन है, और Chinese companies copyright को इतना गंभीरता से नहीं लेतीं, इसलिए यह बड़ा अंतर बनता है
मुझे नहीं लगता कि Google AI में अनिवार्य रूप से आगे है। consumer के नज़रिये से Google का AI Overview कई बार बहुत गलत होता है। technical तौर पर वह शानदार API, quality या features दे सकता है, लेकिन आम user को दिखने वाला मुख्य AI experience खास अच्छा नहीं है
तकनीक अपने-आप में शानदार है, लेकिन यह बात पसंद नहीं कि सभी crawlers को Cloudflare का ही उपयोग करना पड़े। मुझे याद है कि Google Chrome developers ने कभी Web Monetization API का प्रस्ताव दिया था; अगर decentralized payment structure लाया जाए, तो किसी एक कंपनी पर निर्भर नहीं रहना पड़ेगा
दिशा अच्छी है, लेकिन अभी इसमें कई कमियां हैं। सबसे आदर्श ढांचा यह होगा कि उपयोग के उद्देश्य के आधार पर अलग-अलग pricing हो। उदाहरण के लिए, अगर कोई site को “research purpose” से crawl करता है, तो यह लगभग मुफ्त होना चाहिए। लेकिन “commercialized AI training” के लिए यह बहुत महंगा होना चाहिए। अफसोस है कि हमें इस तरह सोचना पड़ रहा है, लेकिन अब पुराना मॉडल व्यवहारिक रूप से लगभग प्रतिबंधित हो चुका है, इसलिए बिना भुगतान वाला पूर्ण free public access संभव नहीं दिखता। सच कहूं तो अगर कोई सारी जानकारी मुफ्त देने वाली एक world library बना दे, और उसके अनुरूप IP compensation system भी हो, तो पूरी मानवता को लाभ हो सकता है। तकनीकी सीमाएं तो ज़्यादातर अब खत्म हो चुकी हैं, फिर भी आज लगभग cartel-जैसी पाबंदियां बनी हुई हैं। इसलिए फिलहाल मजबूरी में रुख यही है: “तो फिर कम-से-कम भुगतान करो”
ऐसा होने पर आखिरकार मुनाफ़ा चाहने वाले लोग हर loophole ढूंढकर उसका दुरुपयोग करेंगे, या इरादे के विपरीत data को resell करेंगे, या system में घुसपैठ करेंगे। उदाहरण के लिए, अगर “research use free” कहा जाए, तो कोई बस इतना कह देगा “मैं research के लिए आया हूं!”, जबकि वास्तव में वह अपने affiliates को data बेचकर फायदा कमा सकता है
ऐसी “सभी data को मुफ्त साझा करने वाली library” तकनीकी रूप से संभव लग सकती है, लेकिन असली समस्या economic sustainability है। अगर access cost बहुत कम हो जाए, तो infinite copying और excessive abuse बढ़कर system को collapse कर सकते हैं। उल्टा, कुछ स्तर की scarcity cooperation और quality improvement के लिए बेहतर incentives पैदा करती है। (biology के r/K strategy की तरह) सीमाएं होने पर प्रति इकाई value बढ़ती है, जिससे high-quality information और services का विस्तार हो सकता है। आखिरकार offline public library शायद इसी optimum के काफ़ी करीब थी
लगता है HN इस issue को कम करके देख रहा है, जबकि यह बहुत बड़ा बदलाव है। पूरे web का 20% Cloudflare पर है। अगर यह feature सभी customers को, यहां तक कि free bloggers को भी मिले, तो blog owners के लिए भी earning का एक दिलचस्प ढांचा बन सकता है
डर है कि जल्द ही browser इस्तेमाल करते समय हर बार micro-payment देना पड़ेगा और इंटरनेट जैसा हम जानते हैं, खत्म हो जाएगा
मैं तो पहले ही Cloudflare की bot detection में बहुत समय गंवा चुका हूं। मैं Chrome + uBlock का उपयोग करता हूं, और लगता है कि जल्द ही payment मांगने वाली screen भी दिखेगी। CAPTCHA दिखे तो मैं बस site छोड़कर कहीं और चला जाता हूं
सच कहें तो शायद यह दर्जनों ads और paywalls झेलने से बेहतर भी हो सकता है
हमें उन स्थितियों के बारे में भी सोचना चाहिए जहां AI crawlers का उपयोग विकलांग लोगों के लिए web navigation assistive tools के रूप में किया जाए। UI automation features पहले से ही कई authentication processes में बाधाओं का सामना कर रहे हैं
site owner ऐसे crawlers को अनुमति दे सकता है। बुरे actors का अच्छे इरादे का दिखावा करके access लेना कोई नई समस्या नहीं है; अभी भी ऐसे मामले हैं जहां लोग Google web crawler को allow करना चाहते हैं लेकिन Gemini training को block करना चाहते हैं, इसलिए इसके लिए technical solution की ज़रूरत है
मुझे ठीक से समझ नहीं आता कि individual user द्वारा crawler का उपयोग करके web को “navigate” करने का क्या मतलब है। AI browser सीधा crawler नहीं होता। crawler वह tool है जो पूरे websites को बड़े पैमाने पर collect/harvest करता है
ARIA जैसा standard accessibility technology पहले से मौजूद है, और प्रमुख sites इसे लागू भी करती हैं। accessibility के लिए AI की न तो खास ज़रूरत होनी चाहिए, न ही उसका उपयोग किया जाना चाहिए
पहले मैं उन companies को “अच्छी company” मानता था जो इंटरनेट पर उपयोगी search उपलब्ध कराती थीं। और अब Cloudflare DDoS protection, CDN, AI से सुरक्षा जैसी “अच्छी चीज़ें” करता दिखता है। लेकिन संभव है कि आगे चलकर लोग इसे भी नापसंद करने लगें
Cloudflare ऐसी company नहीं है जिसे हर कोई नापसंद करता हो, लेकिन जैसे-जैसे उसका influence बढ़ता है, तनाव भी बढ़ता है। Bluesky ने कहा था “the company is tomorrow's adversary”, और Cloudflare भी एक शक्तिशाली ‘adversary’ बनता जा रहा है
मेरे आसपास के real-life दोस्त तो पहले से ही Cloudflare को नापसंद करते हैं
इंटरनेट पर ‘अच्छा काम’ करने का दावा होता है, लेकिन Cloudflare की authentication/verification friction की वजह से मैं Stack Exchange की बजाय LLMs का अधिक उपयोग करने लगा हूं
कुल मिलाकर मैं इस विचार से सहमत हूं, लेकिन बड़ी companies data तक पहुंच के लिए तरह-तरह के bypass routes ढूंढ लेंगी (खासकर Google, जो search engine होने के नाम पर free crawling करेगा), और अगर यह सच में सफल हुआ तो इसकी cost आख़िरकार हम end users पर ही डाली जाएगी
अगर Google search के नाम पर data free में crawl करे भी, तो क्या दूसरे चरण में Google को page-by-page fee नहीं देनी चाहिए? हर article में ऐसे sections अलग-अलग fee tiers पर सेट किए जा सकते हैं जहां crawler access न कर सके; जैसे major news के लिए महंगी pricing हो, और general information, LLM training, internal research आदि के लिए अलग-अलग licenses के साथ prices साफ़ लिखी हों। अगर Cloudflare लाखों sites के बीच एक intermediate hub की भूमिका निभाए, तो यह ढांचा पूरी तरह संभव है
ज़्यादा publishers Googlebot को भी block करना शुरू करेंगे। वजह यह है कि Google पहले ही AI search answers के कारण publishers की revenue छीन रहा है