- हाल ही में web traffic का विश्लेषण करते समय पाया गया कि Thinkbot नाम का web bot सबसे अधिक traffic पैदा कर रहा था
- यह bot
robots.txt को अनदेखा करता है, और उसका self-introduction भी बेहद लापरवाह है—बस इतना कि “अगर समस्या है तो IP block कर दो”
- एक महीने के दौरान इसने 74 अलग-अलग IP का इस्तेमाल किया, जो 41 network blocks में फैले हुए थे
- जांच में पता चला कि ये सभी network blocks Tencent के स्वामित्व में थे, जिससे यह संदेह पैदा हुआ कि कहीं यह Great Firewall की लागत दूसरों पर डालने से जुड़ा मामला तो नहीं
- अंततः लगभग 4.7 लाख से अधिक IPs को शामिल करने वाला एक विशाल block rule जोड़ा गया
Thinkbot का उभरना
- web traffic के विश्लेषण के दौरान पाया गया कि Thinkbot नाम का web bot शीर्ष हिस्सेदारी ले रहा था
- User-Agent string इस तरह बेहद लापरवाह थी
> “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In_the_test_phase,_if_the_Thinkbot_brings_you_trouble,_please_block_its_IP_address._Thank_you.)”.
- “test phase में समस्या हो तो IP block कर दीजिए” जैसी पंक्ति के अलावा कोई reference URL भी नहीं था
- इसने
robots.txt फ़ाइल का बिल्कुल सम्मान नहीं किया और crawling जारी रखी
- website operator के तौर पर इसे block करना चाहें तो भी यह किसी एक IP से नहीं, बल्कि 74 IP addresses का इस्तेमाल कर रहा था
- इसे trace back करके ASN देखा गया तो पता चला कि यह 41 network blocks से आ रहा था
- इसका मतलब था कि सिर्फ एक IP block करके इससे बचाव संभव नहीं था
Tencent से संबंध
- ये सभी 41 network blocks Tencent के स्वामित्व में थे
- लेखक को संदेह है कि चीनी सरकार इसे नज़रअंदाज़ कर रही हो या प्रोत्साहित कर रही हो, और इसे बाहरी दुनिया पर Great Firewall की लागत थोपने की कोशिश के रूप में पढ़ा जा सकता है
- चीन के भीतर content collection की अनुमति रहती है, और बाहर से block कर दिया जाए तो भी CCP के नज़रिए से यह समस्या नहीं, लेकिन block करने की कोशिश करने वाले दूसरे देशों और sites पर इसका बोझ पड़ता है
Firewall block कार्रवाई
- लेखक ने सीधे badbots firewall rules में Tencent network blocks जोड़ दिए
- उदाहरण:
43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19 आदि
- कुल 40 से अधिक network blocks जोड़े गए; ये Tencent के सभी IPs को कवर नहीं करते, लेकिन इनमें 476,590 से अधिक unique IPs शामिल हैं
निष्कर्ष और रूपक
- लेखक ने इस स्थिति को इस वास्तविकता के रूप में व्यक्त किया कि “internet पर अब अच्छी चीज़ें बरकरार नहीं रखी जा सकतीं”
- यह सिर्फ bot traffic block करने का मामला नहीं, बल्कि पूरे internet ecosystem में भरोसे की गिरावट और अपरिहार्य रक्षात्मक प्रतिक्रिया को दिखाने वाला उदाहरण है
अभी कोई टिप्पणी नहीं है.