Perplexity ने क्रॉलिंग प्रतिबंध निर्देशों से बचने के लिए अघोषित और गुप्त क्रॉलर का इस्तेमाल किया
(blog.cloudflare.com)- Perplexity ने क्रॉलिंग प्रतिबंध निर्देशों को दरकिनार करने के लिए अपनी पहचान छिपाने वाला वेब क्रॉलर इस्तेमाल किया
- robots.txt फ़ाइल को अनदेखा करने और IP तथा User Agent को बार-बार बदलने जैसी गतिविधियाँ दर्ज की गईं
- नए डोमेन के प्रयोग में, ब्लॉक सेटिंग के बावजूद यह पाया गया कि Perplexity ने साइट की सामग्री तक पहुँच बनाई
- Cloudflare ने इन गतिविधियों को रोकने के लिए Perplexity को आधिकारिक प्रमाणित बॉट सूची से बाहर कर बॉट प्रबंधन नियमों में बदलाव किए
- OpenAI जैसे सदाशयी/उत्तरदायी बॉट ऑपरेटरों की तुलना में Perplexity का स्टेल्थ व्यवहार एक बड़ी समस्या के रूप में उभरा
Perplexity के गुप्त क्रॉलर उपयोग व्यवहार का सारांश
- Perplexity एक AI-आधारित क्वेरी/उत्तर इंजन है, जो औपचारिक रूप से रिपोर्ट किए गए User Agent से वेबसाइटों का प्रारंभिक क्रॉल करता है
- लेकिन जब नेटवर्क ब्लॉक का सामना होता है, तो यह अपनी पहचान छिपाने के लिए User Agent बदलता है और विभिन्न ASN (Autonomous System Number) के जरिए एक्सेस करने की कोशिश करता है
- इसी दौरान कई मामलों में robots.txt फ़ाइल को अनदेखा किया गया या बिना उसे अनुरोध किए सीधे एक्सेस करने के प्रयास मिले
वेबसाइट और क्रॉलर के बीच भरोसे के सिद्धांत और समस्या व्यवहार
- पिछले कई दशकों में इंटरनेट ने भरोसे के आधार पर विकास किया है, और क्रॉलर के लिए पारदर्शिता, उद्देश्य की स्पष्टता तथा स्पष्ट संचालन नियमों का पालन करना अपेक्षित है
- क्रॉलर को वेबसाइट मालिकों के दिशानिर्देशों और प्राथमिकताओं का सम्मान करना चाहिए; Perplexity के इस अवलोकित व्यवहार ने इन सिद्धांतों का उल्लंघन किया
- इसी कारण Cloudflare ने Perplexity को आधिकारिक प्रमाणित बॉट सूची से निकाला और स्टेल्थ क्रॉलर डिटेक्शन/ब्लॉक के लिए अतिरिक्त प्रबंधन नियम लागू किए
प्रयोग और खोज उदाहरण
- Cloudflare ने Perplexity के क्रॉलिंग व्यवहार की जाँच करने के लिए एक नया डोमेन बनाया
- robots.txt में सभी स्वचालित एक्सेस पर प्रतिबंध लगाया और WAF नियम जोड़े गए
- Perplexity के आधिकारिक User Agent और IP को ब्लॉक करने के बाद भी, उसने फिर भी अपनी पहचान छिपाकर साइट सामग्री एकत्र करने का प्रयास किया
- Perplexity ने दोनों प्रकार के User Agent से कंटेंट एक्सेस की कोशिश की: आधिकारिक और स्टेल्थ दोनों; स्टेल्थ वाला वास्तविक ब्राउज़र (
Chrome) की तरह दिखने की कोशिश करता है
| वर्ग | User Agent उदाहरण | दैनिक अनुरोध मात्रा |
|---|---|---|
| आधिकारिक | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) | 20,000,000~25,000,000 |
| गुप्त | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 | 3,000,000~6,000,000 |
- कई IP और ASN उपयोग में लिए गए जो आधिकारिक IP रेंज का हिस्सा नहीं थे, और लगातार IP बदलकर ब्लॉक नीतियों को चकमा देने की कोशिश की गई
- परिणामस्वरूप, दसियों हजारों डोमेन और लाखों अनुरोधों में यह गतिविधि पहचानी गई; Cloudflare ने machine learning और network signals के आधार पर इस क्रॉलर को टैग किया
स्टेल्थ क्रॉलर बायपास केस और सीमाएँ
- जब स्टेल्थ क्रॉलर को ब्लॉक किया जाता है, तो Perplexity अन्य वेबसाइटों जैसे बाहरी स्रोतों का उपयोग करके उत्तर देने की कोशिश करती है
- हालाँकि, इस स्थिति में सामग्री की गहराई/विवरण उल्लेखनीय रूप से घटता दिखा
जिम्मेदार बॉट ऑपरेटर मानक और OpenAI की बेहतरीन प्रथाएँ
- अच्छी तरह संचालित बॉट में पारदर्शिता, पहचान की स्पष्टता, गतिविधि उद्देश्य का सार्वजनिक खुलासा, प्रत्येक गतिविधि के लिए अलग क्रॉलर का उपयोग और वेबमास्टर नियमों (robots.txt आदि) के अनुपालन जैसे मानक होने चाहिए
- OpenAI आधिकारिक IP, User Agent और क्रॉलर गतिविधि उद्देश्य पारदर्शी तरीके से देता है तथा robots.txt का सख्ती से पालन करता है
- वास्तविक परीक्षणों में ChatGPT क्रॉलर ने भी
disallowसेटिंग या नेटवर्क ब्लॉक मिलने पर अतिरिक्त क्रॉलिंग प्रयास बंद कर दिए - Web Bot Auth जैसे मानकीकृत ऑथेंटिकेशन तंत्र भी सक्रिय रूप से अपनाए जा रहे हैं
सुरक्षा उपाय और प्रतिक्रिया
- Perplexity के अघोषित User Agent से होने वाली सभी क्रॉलिंग को Cloudflare के बॉट प्रबंधन सिस्टम में डिटेक्ट करके ब्लॉक किया गया है
- Cloudflare की मौजूदा बॉट ब्लॉकिंग या challenge नियम सक्रिय करने वाले ग्राहक पहले से ही सुरक्षित हैं
- स्टेल्थ क्रॉलर ब्लॉक करने वाली एडमिनिस्ट्रेटर नियम सभी ग्राहकों (फ्री ग्राहकों सहित) को उपलब्ध कराई गई है
- Content Independence Day के बाद 2,500,000 से अधिक वेबसाइटों ने AI क्रॉलिंग प्रतिबंध नीति लागू की
- बॉट ऑपरेटरों के लगातार बदलते evasion प्रयासों के अनुरूप Cloudflare भी अपनी प्रतिक्रिया प्रणाली और तकनीकों को लगातार विकसित कर रहा है
नीति प्रयास और आगे की दिशा
- Cloudflare वैश्विक टेक्नोलॉजी और नीति विशेषज्ञों, IETF आदि के साथ मिलकर robots.txt एक्सटेंशन के मानकीकरण पर सक्रिय रूप से काम कर रहा है
- भरोसेमंद क्रॉलर नियम स्थापित करने और तेजी से बदलते AI एवं क्रॉलर वातावरण में पारदर्शिता और कॉम्प्लायंस पर जोर देने की दिशा में आगे बढ़ रहा है
2 टिप्पणियां
Perplexity का समर्थन कर रहा हूँ।
Hacker News टिप्पणी
मुझे लगता है कि यह मुद्दा सच में कठिन है
तुम खुद शॉपिंग करो या मोबाइल से सारे सामान स्कैन करके प्राइस तुलना करो, इसमें कोई फर्क नहीं पड़ता
लेकिन कोई तीसरा सर्विस provider यदि अपना कर्मचारी भेजकर stock जाँच करे, या ऑनलाइन ऑर्डर के बाद सामान उठा ले, तो यह allow नहीं होता
कारण अलग-अलग हो सकते हैं: प्रोडक्ट क्वालिटी पर नियंत्रण खोने का डर (खाद्य सामग्री ठंडी हो जाना, दाम बढ़ जाना, गलत substitute हो जाना), सीधे ग्राहक सेवा से रिलेशन बनाना, या सिर्फ तीसरे-पक्ष डिलीवरी के खिलाफ होना
किसी असंबंधित कंपनी को मेरे ऑफ़लाइन स्टोर के अंदर काम करने से रोकना मुझे तर्कसंगत निर्णय लगता है
मुझे लगता है यही logic digital services पर भी लागू होता है
यह स्केल का मामला है
शायद तुम जिस अगले चरण की बात कर रहे हो, वह यही है
जब लोग निजी research bot चलाकर कई वेबसाइटों से जवाब खोजें और page requests इंसान से बहुत तेज़ गति से डालें
तय करना ज़रूरी है कि कितनी सीमा तक अनुमति देनी चाहिए
क्या personal crawling ठीक है? या क्या bot थोड़ा smarter होकर यूज़र के पूछने से पहले अनुमान लगा सके और हमेशा नई जानकारी से crawl करे?
या अगर स्केल और बढ़ जाए और कई उपयोगकर्ताओं के लिए massive crawling शुरू हो जाए, तभी समस्या पैदा होगी?
मुझे लगता है कि "crawler" और "fetcher" शब्दों से bulk scraping और यूज़र-टारगेटिंग agent को अलग पहचानना बेहतर है
मैं अभी AI agent detection tool बनाने में involved हूँ (संदर्भ: https://stytch.com/blog/introducing-is-agent/); वेबसाइट ऑपरेटरों के लिए AI agent को पहचानकर सीमित access विकल्प सुझा पाना वास्तविक value है
जबकि crawlers किसी और का नाम चुरा कर प्रतिष्ठित crawler बनने का दिखावा करके robots.txt को bypass कर के bad behavior कर सकते हैं
अभी का standard solution शायद IP की reverse DNS lookup ही है, लेकिन साइट ऑपरेटर के लिए ये भी cumbersome लगता है
शायद इससे बेहतर यह है कि सभी suspicious access को सीधे ब्लॉक कर देना ही ज्यादा efficient हो
मैं ads model में मौजूद बहुत-सी समस्याओं से सहमत हूँ
लेकिन AI कंपनियों का कंटेंट निर्माता और यूज़र को अलग कर देने वाली स्थिति मुझे उस भविष्य के इंटरनेट जैसी नहीं लगती जो मैं देखना चाहता हूँ
उदाहरण के लिए कोई व्यक्ति पेइड न्यूजलेटर चलाता है, उसका कुछ हिस्सा फ्री में डालकर interested visitors लाता है, और उनमें से कुछ को paid users में convert करता है
ऐसे निर्माता की अपेक्षा होती है कि 'कंटेंट देख कर upsell' यानी conversion भी साथ में हो
अगर AI crawler यह प्रक्रिया छोड़कर सिर्फ महत्वपूर्ण कंटेंट ही उठाकर ले जाए, तो उसे मुफ्त में वेब पर डालने की कोई वजह नहीं रहती
अगर AI crawler जीतता है, तो अंत में सभी को नुकसान होगा
दुनिया में विज्ञापन से भरे नहीं, ऐसे पेज भी सच में बहुत हैं
पुराने search engines के बीच एक implicit समझौता था: 'हम तुम्हारी pages crawl करेंगे, तुम हमें traffic दोगे'
private-model AI crawlers इस समझौते को तोड़ देते हैं
डेटा से मॉडल बनाकर QA (question-answering) फीचर दे दिया जाता है, और LLM ऑपरेटर वेबसाइट से crawler के जरिए मिली knowledge से अरबों की कमाई करते हैं, जबकि वेबसाइट को कुछ नहीं मिलता
सिर्फ यूज़र requests के लिए लाने का दावा करें तब भी LLM provider राजस्व का अधिकांश हिस्सा ले जाता है और वास्तविक कंटेंट लेखक शायद visit तक नहीं पा पाते
अगर Perplexity का यह कहना सही हो कि वे robots.txt और ब्लॉक्स को ignore करके सिर्फ user requests के लिए pages लाते हैं, तब भी उम्मीद करना कठिन है कि वही data future training या अतिरिक्त crawling में नहीं जाएगा
बदलाव तेज़ी से हो रहे हैं, यह सच में दिलचस्प है
शायद इंटरनेट का बेहतर भविष्य यह है कि यह 'ग्लोबल' की बजाय छोटे या member-centric (भौगोलिक नहीं, सामाजिक) समुदायों पर केंद्रित हो
अपना community बनाकर लोगों को ज़्यादा private जगह में invite करने का मॉडल आगे और महत्त्वपूर्ण होगा
पुराने ओपन इंटरनेट का इस्तेमाल शायद machines के लिए हो जाएगा
पहले हम bubble (अपना निजी दायरा) को नापसंद करते थे, लेकिन सच पूछो तो bubble होना स्वाभाविक है और अगर वह सिर्फ अकेलेपन तक सीमित न हो तो उसका अर्थ होता है
अगर वेब पर machine और machine-generated content का अंबार आ गया, तो आखिरकार लोग फिर से एक-दूसरे से जुड़ने का तरीका सीखेंगे
Perplexity AI से query करके test किया कि blocked domains की details दे रहा है या नहीं, उस प्रयोग के बारे में
यह महसूस होता है कि किसी एक कंपनी (Perplexity) पर निशाना साधे हुए marketing-style लेख के नतीजे बहुत साफ़ नहीं हैं
Perplexity ने सीधे पूरी साइटों को crawl किया (systematically हर page scan करना) या सिर्फ user requests पर एक बार fetch किया, यह स्पष्ट नहीं
ज़्यादातर लोग दोनों में फर्क करते हैं, और दूसरा पहले से कहीं अधिक acceptable लगता है
इसमें कहीं Perplexity ad जैसा लगता है
इस बार भी Cloudflare को good और Perplexity को bad दिखाया गया, जबकि Cloudflare भी आजकल web बचाने वाला marketing काफी जोरदार चला रहा है
दलील सतही है और दोनों को देखकर “giant vs giant fight” जैसा लगता है, इसलिए शायद Perplexity के लिए यह PR-wise उल्टा फायदा बन जाए
यूज़र की तरफ से pages लेने को सिद्धांततः allow किया जा सकता है, लेकिन AI कंपनियाँ पहले से ही copyright आदि नियमों को ignore करती रही हैं, इसलिए content को बाद में save करके model training या अतिरिक्त crawling में इस्तेमाल करने की संभावना को अनदेखा नहीं किया जा सकता
HTTP spec (specification) में भी यह फर्क indirect दिखता है
'user agent' कॉन्सेप्ट/टर्म में ही वास्तविक अलगाव दिखता है
यदि AI cached/archived परिणामों को कई लोग इस्तेमाल करते हैं, तो आखिरकार वह scraper से अलग नहीं रहेगा
सिर्फ cached data से training कर लेना काफी है
बीच का proxy बनकर महत्वपूर्ण कंटेंट हटाकर data-value signal भी निकाल लेना इसका तरीका है
Perplexity के TechCrunch को भेजे जवाब के मुताबिक
Cloudflare का blog post सिर्फ 'salesmanship' से आगे कुछ नहीं है, ऐसा कहा गया
ऊपर से blog के screenshot से दावा किया गया कि 'कोई भी कंटेंट accessed नहीं हुआ'
और blog में बताये गए bots उनके नहीं हैं, यह भी जोड़ा
Perplexity खुद crawlers को block करता है
अगर browser user agent का भेष बदलो, फिर भी वही block मिलता है
लगता है वे काफी sophisticated crawler detection इस्तेमाल कर रहे हैं
शायद किसी ने यह सवाल पहले ही CEO से पूछ लिया था https://x.com/AravSrinivas/status/1819610286036488625
मज़ेदार यह है कि Perplexity खुद भी Cloudflare इस्तेमाल करता है
हमेशा 'stealth' crawler ही जीतते हैं
browser automation tools (W3C WebDriver2, Chrome DevTools Protocol) से scraper बनाना detection को लगभग impossible कर देता है
captcha लगाया जा सकता है, लेकिन developer चाहें तो human-in-the-loop workflow डाल सकते हैं जिससे call center समय में वास्तविक लोगों से manual handling हो
करीब 15 साल पहले game development testing में भी 'raster (screen-image) आधारित' scraping techniques इस्तेमाल होती थीं, और ऐसा तरीका आज इंटरनेट policing के लिए काफी कठिनाई पैदा करेगा
इंटरनेट को micro-payments सिस्टम चाहिए
यदि crawler प्रति page 1 cent भी दे दे, तो 24x7 crawling पूरी तरह welcome है
यदि मैं खुद 1 cent दे कर content देखूँ, तो क्लिक-लैब या अजीब ad नियमों को झेलना नहीं पड़ेगा
मुफ्त access को हमेशा block करने की जरूरत नहीं है (हालाँकि व्यावहारिक रूप से शायद block होगा, और उसका भी अर्थ है)
उदाहरण के लिए Reddit higher fee लगाकर अच्छी content पर refund देकर quality सुधारने का तरीका सोच सकता है
“prepay-withdraw-penalty” जैसा नया सिस्टम भी संभव है: साइनअप पर deposit, ban होने पर forfeiture, सामान्य गतिविधि पर वापस — इससे moderation सरल होगा और quality बेहतर होगी
यह सोच इसलिए ज़रूरी है क्योंकि इंटरनेट धीरे-धीरे ज्यादा junk से भरता जा रहा है
दूसरा idea: Google आदि में प्रति search 1 cent दें, और अगर result पसंद न आए तो refund मिल जाए
Google AI satisfaction score दे, और यदि satisfactory search न मिले तो केवल ad-heavy ranked results दिखाए
तब users अपना खर्च दूसरे search engine पर shift करेंगे
यदि कोई वेबसाइट को अंधाधुंध crawl करके public internet trustworthiness को खतरे में डालता है, तो Cloudflare जैसी authority का खुलकर 'fraudulent scraping' को criticize करना सकारात्मक लगता है
इस तरह की controversy का conversation को ignite करना ही अर्थपूर्ण है
आख़िरकार major players को पहले जैसे कम-से-कम rules follow करने वाले खोज के दौर में वापस जाना होगा
मैं खुद बनाए हुए personal search engine से भी Perplexity-जैसी फंक्शनलिटी काफी हद तक बना सकता हूँ
दोस्तों के साथ तुलना करने पर लगभग पचास-पचास प्रतिशत पसंद मिली
engine शोध उद्देश्यों के लिए webpages download कर सकता है
पर अगर captcha में फंस जाए या block हो जाए तो तुरंत छोड़ देता है
जबकि बड़े IT कंपनियाँ अरबों venture funding पर बैठकर जैसे कुछ भी कर सकती हैं, उस attitude से गुस्सा आता है
यह claim आया कि "Cloudflare managed robots.txt feature या AI crawler block rules का उपयोग करके 2.5 मिलियन से ज्यादा वेबसाइटों ने AI training का पूर्ण block चुना"
लेकिन वास्तविकता यह थी कि Cloudflare CEO ने इस feature को सभी customers पर default के रूप में apply कर दिया था
जो कंपनियाँ AI recommendations चाहती हैं या traffic को प्राथमिकता देती हैं, उन्हें financial नुकसान से बचने के लिए वह option off करना चाहिए
मैंने ख़ुद Cloudflare साइट्स चेक कीं और जब कोई सेटिंग नहीं की गई थी, तब यह feature default नहीं थी
अगर robots.txt मौजूद नहीं है, तो सिर्फ "Cloudflare managed robots.txt enable करने पर विचार करें" जैसा संदेश आता है
अगर existing file मौजूद हो तो वही रहती है, और AI traffic notice भी manually off ही रहता है
"AI recommendation चाहिए तो setting off करो" वाले claim पर
content marketing, gamified SEO और ad spam ने Google search quality को काफी नुकसान पहुँचाया है
जबकि LLM में अभी ऐसा भारी gamification नहीं दिख रहा
किसी दिन LLM भी खराब search की तरह गिर सकते हैं, लेकिन मैं चाहता हूँ कि OpenAI या Anthropic भी यह समझें कि OpenAI/Anthropic या अन्य द्वारा search quality गिरने को Google traffic loss का कारण माना न जाए
"default लागू claim" पूरी तरह गलत है
वास्तव में कोई भी सेटिंग बिना बदलें feature में auto opt-in नहीं होता
और वह दौर भी अब नहीं है जब यह claim सही था; शुरुआत से ही यह वास्तविकता से अलग था