अगर आप अपनी वेबसाइट पर Cloudflare इस्तेमाल करते हैं, तो संभव है कि RSS उपयोगकर्ता ब्लॉक हो रहे हों

 (openrss.org)
3 पॉइंट द्वारा GN⁺ 2024-10-18 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • कई उपयोगकर्ता वेबसाइट की सामग्री को अपडेटेड रखने के लिए RSS feed reader का उपयोग करते हैं
    • लेकिन अगर वेबसाइट पर Cloudflare सक्रिय है, तो संभावना है कि ऐसे RSS उपयोगकर्ताओं को सामग्री तक पहुँचने से ब्लॉक कर दिया जाए।
  • Cloudflare dashboard में bot traffic को ब्लॉक करने के लिए टूल मौजूद हैं। खास तौर पर Bot Fight Mode और "AI scrapers and crawlers" ब्लॉक करने का विकल्प।
    • इन सुविधाओं को सक्षम करने पर RSS reader के जरिए वेबसाइट तक पहुँचने वाले उपयोगकर्ता ब्लॉक हो सकते हैं.

Cloudflare RSS reader को कैसे ब्लॉक करता है

  • Cloudflare वेबसाइट विज़िट को AI scraper या bot मानकर ब्लॉक कर देता है।
  • जब RSS reader वेबसाइट को पढ़ने की कोशिश करता है, तो Cloudflare एक ऐसा challenge दिखाता है जिसे इंसान को हल करना होता है। RSS reader इसे हल नहीं कर सकता।
  • दूसरे मामलों में, यह बिना किसी कारण RSS reader की पहुँच को भी ब्लॉक कर देता है।

Cloudflare का उपयोग करते हुए RSS reader को अनब्लॉक करना

  • Cloudflare का उपयोग करते हुए भी RSS reader को whitelist में जोड़कर उनका ब्लॉक हटाया जा सकता है।
  • Cloudflare के analytics dashboard में ब्लॉक किए गए RSS reader के user agent को ढूँढना होगा।
  • user agent string या IP address के आधार पर custom rules बनाकर उस traffic को अनुमति दी जा सकती है।

Cloudflare को RSS reader की अनुमति देने का बेहतर तरीका चाहिए

  • Cloudflare bot verification program देता है, जिसमें RSS reader के मालिक मैन्युअली आवेदन कर सकते हैं, लेकिन यह program गारंटीड नहीं है और इसमें कई समस्याएँ हैं।
    • verification process स्थिर नहीं है।
    • verified RSS reader भी फिर भी ब्लॉक हो जाते हैं।
    • कई वेबसाइटों पर RSS reader को अनब्लॉक करना झंझटभरा है।

GN⁺ का सार

  • Cloudflare के security tools दुर्भावनापूर्ण bots और हमलों को रोकने में उपयोगी हैं, लेकिन RSS tool उपयोगकर्ताओं को वेबसाइट की सामग्री तक पहुँचने देने की भी ज़रूरत है।
  • Cloudflare को RSS reader block होने की समस्या आसानी से हल करने का तरीका देना चाहिए।
  • Cloudflare की security settings इस्तेमाल करने वाले वेबसाइट मालिकों के लिए यह महत्वपूर्ण जानकारी है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-10-18
Hacker News टिप्पणियाँ

  • NewsBlur के संचालक को Cloudflare की ब्लॉकिंग के कारण RSS feed इकट्ठा करने में कठिनाई हो रही है, और उपयोगकर्ता refund मांग रहे हैं। Cloudflare के साथ IP address सूची साझा की गई, लेकिन उसका असर नहीं हुआ। उम्मीद है कि Cloudflare इस सूची को allowlist में जोड़ देगा

  • Listen Notes सेवा सुरक्षा प्रबंधित करने के लिए Cloudflare का उपयोग करता है, और ट्रैफ़िक के प्रकार के अनुसार subdomain अलग करके हर एक पर उपयुक्त firewall और page rule लागू करता है। इससे सर्वोत्तम सेवा उपलब्ध कराने की गारंटी मिलती है

  • OpenBSD पर Firefox को सख्त privacy settings के साथ चलाने पर, Cloudflare के पीछे मौजूद वेबसाइटों में 403 Forbidden त्रुटि आती है। यह Cloudflare की समस्या लगती है

  • किसी विशेष user-agent को whitelist में जोड़ना अंतहीन manual काम है, और दुर्भावनापूर्ण actor इसे बायपास कर सकते हैं। इसके बजाय bot blocking को disable करने वाला page rule बनाकर सभी RSS reader की समस्या हल करने की सिफारिश की गई है। Cloudflare की default settings की समस्या कई वर्षों से हल नहीं हुई है

  • Cloudflare के jgc@cloudflare.com ईमेल के माध्यम से RSS reader मालिकों के अनुभव सुनना चाहती है, और टीम से इस समस्या की विस्तार से जांच करने का अनुरोध करने की योजना है

  • एक RSS reader मालिक ने कहा कि बहुत से support request "feed काम नहीं कर रही" जैसी समस्या के कारण आते हैं, और यह केवल Cloudflare ही नहीं बल्कि विभिन्न firewall settings की वजह से भी होता है

  • Cloudflare RSS reader के feed संग्रहण में बाधा डालता है, और वेबसाइट मालिकों से अलग-अलग exception जोड़ने का अनुरोध करने के अलावा कोई समाधान नहीं है

  • Cloudflare इस्तेमाल करने वाली वेबसाइटें Safari, Chrome उपयोगकर्ताओं या सभी उपयोगकर्ताओं को ब्लॉक कर सकती हैं, जिससे वेबसाइट मालिकों को नुकसान होता है। Cloudflare तक सीधे पहुँचने पर ऐसी ब्लॉकिंग नहीं होती

  • जब सरकारी वेबसाइटें Cloudflare के कारण ब्लॉक हो जाती हैं, तब समस्या समझाना और समाधान का अनुरोध करना लगभग असंभव होता है। हल हो जाने के बाद भी कुछ हफ्तों में वही समस्या फिर हो जाती है

  • Cloudflare थाईलैंड IP और Linux Firefox fingerprint पर web access में बाधा डालता है, और web admin इन समस्याओं से अनजान रहते हैं। Scrapfly web scraping API का उपयोग करके RSS bridge बनाकर इस समस्या का समाधान किया गया। आधुनिक web असामाजिक हो गया है और Web 2.0 के उस आदर्श से दूर जा चुका है जिसमें सब कुछ API के जरिए जुड़ने वाला था