🚨 घटना का सारांश
4 अगस्त 2025 को Cloudflare ने AI सर्च इंजन Perplexity को "वेब मानकों का उल्लंघन करने वाला" कहकर सार्वजनिक रूप से आलोचना की।
⚔️ दोनों पक्षों के दावे
Cloudflare का दावा: "Stealth crawling"
- Perplexity ने क्रॉलिंग ब्लॉक को 4 चरणों में बाइपास किया
- आधिकारिक बॉट के रूप में एक्सेस करने की कोशिश
- ब्लॉक होते ही तुरंत रणनीति बदलना
- Chrome ब्राउज़र का भेस धारण करना
- IP पते बदल-बदलकर दोबारा एक्सेस करना
- robots.txt से ब्लॉक की गई साइटों से भी बिना अनुमति डेटा एकत्र करके सारांश उपलब्ध कराना
Perplexity का प्रत्युत्तर: "उपयोगकर्ता प्रतिनिधि एजेंट"
- यह पारंपरिक crawler नहीं, बल्कि उपयोगकर्ता अनुरोधों को संभालने वाला AI है
- सामग्री को सहेजे बिना केवल real-time जवाब देने के लिए उपयोग करना
- Cloudflare पर BrowserBase ट्रैफिक का गलत विश्लेषण करने का आरोप लगाना
💡 लेखक की राय: Cloudflare ज्यादा तर्कसंगत
- पहचान छिपाकर काम करना किसी उचित व्यवहार में शामिल नहीं
- robots.txt 1994 से मान्य वेब मानक का पालन है
- मूल साइटों की कमाई को siphon करने वाली परजीवी संरचना
- OpenAI की तरह स्टैंडर्ड फॉलो करने वाले उदाहरण पहले से मौजूद हैं
🔮 भविष्य की दिशा
- AI युग के अनुरूप robots.txt में सुधार
- AI crawlers के लिए प्रमाणीकरण/सत्यापन ढांचा
- कंटेंट एक्सेस के पे-पर-यूज़ / सब्सक्रिप्शन मॉडल का विस्तार
- कानूनी नियमन में सख्ती
अभी कोई टिप्पणी नहीं है.