हो सकता है कि आपको अपने स्मार्ट उपकरणों की जांच करनी चाहिए

• Sourceware पर Anubis honeypot द्वारा जुटाए गए 26.7 लाख से अधिक unique IP में से 89.3% मौजूदा threat lists में नहीं थे, यानी सिर्फ ज्ञात block lists के आधार पर ज़्यादातर scraper गतिविधि की पहचान करना कठिन है
• challenge page में अर्थहीन लेकिन HTML की दृष्टि से वैध markup और “Don't click me” लिंक डालकर, उसे follow करने वाले कमज़ोर scrapers को बेकार content और अतिरिक्त links की ओर मोड़ा गया
• 2,678,193 unique IP में से 286,161 पते (10.7%) database में दर्ज थे, और उनमें 98.6% abuse category में थे; कुल traffic 229 देशों और 21,116 ASN में फैला था
• traffic का कुछ हिस्सा proxy networks में भाग लेने वाले संक्रमित smart उपकरणों से आ सकता है, लेकिन सिर्फ एकत्रित data के आधार पर वास्तविक device type या infection को साबित नहीं किया जा सकता
• किसी खास देश या telecom network तक सीमित न रहने वाली scraping से निपटने के लिए Anubis जैसे web application firewall की ज़रूरत है, जबकि मूल समाधान के लिए एक साथ समन्वित वैश्विक प्रतिक्रिया चाहिए

---

मौजूदा threat lists से छूट जाने वाले scrapers

• Anubis reputation database बनाते समय honeypot feature ने जो access record किए, उनमें से 80~90% ऐसे IP से थे जो मौजूदा threat monitoring lists में नहीं थे
• Sourceware ने पिछले कुछ महीनों में जो data इकट्ठा किया, उसमें 2,678,193 unique IP शामिल थे
  • non-IP entries या duplicate के कारण हटाए गए पते नहीं थे
  • database में दर्ज पते 286,161 थे, यानी कुल का 10.7%
  • non-registered पते 2,392,032 थे, यानी कुल का 89.3%
• पूरी input table Appendix A: Full tables for the reputation database input में देखी जा सकती है

दर्ज IP का वर्गीकरण और providers

• database में दर्ज पतों में abuse category के 282,182 पते थे, जो 98.6% थे
  • datacenter 7,918 (2.8%)
  • proxy 2,562 (0.9%)
  • vpn 1,264 (0.4%)
  • crawler 46
  • tor 17
• अलग flags के आधार पर is_datacenter 7,918, is_proxy 2,562, is_vpn 1,264, is_crawler 46 गिने गए
• providers की संख्या 126 थी, जिनमें netshield का हिस्सा सबसे बड़ा था: 237,945 (83.2%)
  • bitwire 96,539 (33.7%), magicteamc 26,475 (9.3%), ipinsights 17,378 (6.1%), threathive 8,422 (2.9%)
  • इसके अलावा netmountains, multacom, fyvri, cbuijs, x4bnet, solispirit, dailyproxy, blackwall, hproxy, Scaleway, AWS, Alibaba Cloud, OVHcloud आदि शामिल थे
  • एक ही IP पर कई categories या provider सूचनाएं लागू हो सकती हैं, इसलिए प्रतिशतों का योग 100% से अधिक है

देशों और networks में फैला वितरण

• कुल पते 229 देशों में देखे गए, यानी यह किसी एक क्षेत्र तक सीमित नहीं है
  • पतों की संख्या के हिसाब से Brazil 270,937, India 185,091, Saudi Arabia 120,372, Mexico 95,449, Türkiye 87,258 सबसे ऊपर थे
  • database registration rate Bangladesh 29.9%, Ukraine 27.6%, Iraq 21.9%, Venezuela 21.3%, Pakistan 20.0% रहा
  • United States में 40,828 में से 3,347 पते दर्ज थे, यानी 8.2%
• ISO 3166-1 में 249 देशों/क्षेत्रों के शामिल होने और उनमें 193 UN member states होने की तुलना में, scraper गतिविधि दुनिया भर में फैली हुई दिखती है
• पते 21,116 ASN में वितरित थे
  • AS55836 Reliance Jio Infocomm Limited: 57,029 में से 1,749 दर्ज, यानी 3.1%
  • AS45899 VNPT Corp: 56,910 में से 6,831, यानी 12.0%
  • AS14593 Space Exploration Technologies Corporation: 31,569 में से 4,597, यानी 14.6%
  • AS9541 Cyber Internet Services: 21,386 में से 3,696, यानी 17.3%
  • table में बाकी 18,069 ASN छोड़े गए हैं

Anubis honeypot scrapers को कैसे फंसाता है

• scraping समस्या के फैलाव को मापने के लिए Anubis सभी challenge pages में नीचे जैसा अर्थ की दृष्टि से अवैध HTML डालता है

/init">Don't click me

• सामान्य processing में इस लिंक को ignore किया जाना चाहिए, लेकिन इसे follow करने पर कम cost में बनने वाला और लगभग बिना उपयोगी जानकारी वाला content लौटाया जाता है
  • लौटाए गए content में फिर दो links होते हैं जो दूसरे pages की ओर ले जाते हैं
• यह संरचना खराब तरीके से लिखे गए scrapers को संरक्षित website के बजाय honeypot के भीतर मोड़ने और समस्या के पैमाने को मापने के लिए बनाई गई है

smart उपकरणों के संक्रमित होने की संभावना और प्रतिक्रिया की सीमाएँ

• देखे गए traffic का बड़ा हिस्सा proxy networks को traffic देने वाले संक्रमित smart उपकरणों से आ सकता है
• हालांकि यह अभी अनुमान ही है; एकत्रित data किसी individual IP के वास्तविक device type या infection status को सीधे साबित नहीं करता
• देशों और ASN में फैली इस समस्या पर वास्तविक असर डालने के लिए एक साथ समन्वित वैश्विक प्रतिक्रिया की ज़रूरत है
• scraping का पैमाना इतना व्यापक है कि Anubis जैसे web application firewall चलाने की आवश्यकता है
• प्रकाशन के बाद तथ्य और परिस्थितियाँ बदल चुकी हो सकती हैं, इसलिए किसी भी अस्पष्ट या गलत हिस्से पर जल्दबाज़ी में निष्कर्ष निकालने से पहले उसकी पुष्टि करनी चाहिए

[GN⁺]

Lobste.rs की रायें

• script type=ignore कमाल की तरकीब है। elinks जैसे tools और scrapers द्वारा इस्तेमाल किया जाने वाला headless Chrome, दोनों इसे पूरी तरह ignore कर देते हैं, लेकिन content खुद मूल जगह तक पहुँचकर task queue में जोड़ा जा सकता है
• असल दिलचस्प सवाल पर बात नहीं की गई। जानना चाहूँगा कि जाँच कैसे की जाए, और अगर hostile behavior मिले तो क्या करना चाहिए
  खासकर संक्रमित device command-and-control (C&C) server से communicate कर रहा है या नहीं, इसे detect करने के तरीके के बारे में और जानना चाहूँगा
  • जब यह भी नहीं पता कि सभी संभव smart TV models की पहचान कैसे करें, तो हर model के malware की जाँच का तरीका बताना और भी मुश्किल है। ज़्यादा से ज़्यादा यही सलाह दी जा सकती है कि free TV का लालच देने वाली illegal apps install न करें
  • यह कुछ हद तक network engineering के बिना मुश्किल लगता है। सबसे पक्का तरीका router पर LAN के source device के हिसाब से traffic analyze करना है
    कुल traffic volume या connect किए गए अलग-अलग destination IPs की संख्या को आधार बनाया जा सकता है
• यहाँ abuse category से क्या मतलब है, यह जानना चाहूँगा
  • इसमें कई meanings मिले-जुले हैं, इसलिए इन्हें अलग करना ज़रूरी है, लेकिन आम तौर पर इसका मतलब ऐसे targets से है जो email spam sources के तौर पर जाने जाते हैं या FireHOL में दिखाई देते हैं। इस file में abuse search करें: https://github.com/TecharoHQ/reputationdb/…