रेज़िडेंशियल प्रॉक्सी का खतरा

• रेज़िडेंशियल प्रॉक्सी traffic को घरेलू addresses या समान network endpoints के जरिए reroute करते हैं, और data center IP blocking से बचने की scraping demand के साथ इनका इस्तेमाल बढ़ रहा है
• Websites को आम users की access खुली रखते हुए अनचाहे automated traffic को filter करना पड़ता है, और single IP या cloud server based scanning जल्दी block हो जाती है
• Proxy networks app SDK embedding, अपर्याप्त consent screens, router hacking, malware pre-installed सस्ते devices आदि से बनाए जा सकते हैं, और users अनजाने में botnet का हिस्सा बन सकते हैं
• जब home और enterprise networks proxy exit nodes बन जाते हैं, तो bandwidth consumption, website access blocking, investigation agencies के visit की संभावना, और internal network access risk पैदा होता है
• घरों में important devices को अलग करना और traffic volume monitoring जरूरी है, और enterprises में unknown devices को block करना, protected DNS, threat intelligence, और traffic inspection practical defense methods बनते हैं

---

रेज़िडेंशियल प्रॉक्सी क्यों इस्तेमाल होते हैं

• रेज़िडेंशियल प्रॉक्सी आम तौर पर घरेलू addresses पर installed proxies को कहते हैं, और website scraping जैसी activities में इस्तेमाल होते हैं
• Internet services को आम जनता को service देते हुए भी अनचाहे traffic को detect और remove करना होता है
• किसी बड़े website को single IP address से monitor करने पर अक्सर जल्दी block कर दिया जाता है
• कई cloud providers के server IPs तक scanning फैलाने पर भी data center traffic को bulk में block करना आसान होता है
• इसी gap का फायदा उठाने वाला alternative रेज़िडेंशियल endpoints किराये पर इस्तेमाल करना है

वैध उपयोग और दुरुपयोग के बीच

• Scraping unwanted activity हो सकती है, लेकिन अपने-आप में हमेशा illegal नहीं होती
• हालांकि intensive scraping websites के लिए ऐसा operational issue बन जाती है जिससे उन्हें defend करना पड़ता है
• Use cases paid network monitoring जैसे legitimate examples से लेकर criminal abuse तक व्यापक रूप से फैले हैं
• Websites पर हमला करना चाहने वाले criminals tracing छिपाने के लिए residential proxies का इस्तेमाल भी करते हैं
• AI और AI agents का फैलाव demand को और बढ़ाता है
  • AI vendors internet content को training में इस्तेमाल करना चाहते हैं
  • AI users अपने tools को भी वही unrestricted access देना चाहते हैं जिसका वे खुद लाभ उठाते हैं
  • माना जाता है कि फिलहाल bots humans से ज्यादा internet traffic generate करते हैं

Scraping economy बदलने के लिए payment attempts

• Bots से access cost pay करवाकर scraping economy को adjust करने का तरीका संभावित solution के रूप में चर्चा में है
• Cloudflare ने 2025 में pay-per-crawl idea पेश किया, और बाद में Coinbase के साथ x402 standard बनाया
• AWS ने हाल ही में इस payment protocol को अपने WAF product में support करने वाला feature add किया

Network बनाने के तरीके: SDK और अपर्याप्त consent

• Residential proxy operations के लिए दुनिया भर में फैले बहुत सारे network endpoints चाहिए
• कुछ तरीके ऊपर से वैध रूप लेते हैं
  • Phones और TVs जैसे बड़े पैमाने पर मौजूद devices के लिए software development kit बनाना
  • App developers को पैसे देकर proxy software को applications में शामिल करवाना
  • सबसे खराब स्थिति में, free apps के साथ proxy code चुपचाप distribute हो जाता है
  • सबसे अच्छी स्थिति में भी end users को consent screen दिखाकर उन्हें proxy exit node चलाने के लिए opt-in कराया जाता है, लेकिन सवाल रह जाता है कि क्या यह पर्याप्त समझ के साथ दिया गया consent है
• Include Security की smart TV कैसे AI scraping economy का node बनती है, इस पर report यह structure समझाती है
• Synthient के अनुसार अधिकांश victims residents होते हैं

Illegal build methods: router hacking और pre-installed malware

• दूसरा तरीका illegal methods समेत हर possible तरीके से network बनाना है
• Router hacking अभी भी effective build method है
• कुछ low-cost devices के residential proxy malware pre-installed हालत में बिकने के documented cases हैं
• User ने family photos के लिए digital photo frame खरीदा हो, लेकिन असल में वह Trojan horse की तरह काम कर botnet का हिस्सा बन सकता है
• KrebsOnSecurity ने ऐसे networks के operation methods पर deep report प्रकाशित की

Home network को होने वाला नुकसान

• अगर किस्मत अच्छी हो तो बात सिर्फ इतनी रह सकती है कि कोई user के IP address से scraping करे और थोड़ी bandwidth use करे
• IP address residential proxy network से जुड़ जाए तो कुछ websites तक access बंद हो सकती है
• इससे भी खराब स्थिति में, कोई user के IP address को cyber attack के transit point की तरह इस्तेमाल कर सकता है, जिससे FBI या local government agency का visit हो सकता है
• Residential proxy networks का इस्तेमाल criminals द्वारा internal network तक access पाने के रास्ते के रूप में बढ़ता जा रहा है

Internal network access का जोखिम

• कुछ providers दावा करते हैं कि वे private IP address access को restrict करते हैं, लेकिन वह code आम तौर पर अच्छी तरह लिखा नहीं होता
• कई Android-based devices apparently manufacturer troubleshooting के लिए design किए गए Android Debug Bridge के साथ ship होते हैं
• उसी network के अंदर ऐसे devices जल्दी root किए जा सकते हैं
• Enterprise networks में भी residential proxy traffic के evidence बढ़ रहे हैं
• Infoblox की report बताती है कि protected DNS service customers में से 65% तक में residential proxy networks की ओर traffic है
  • Customers में detection ratio: {p:65}

घरों और enterprises के defense points

• घरों में important devices को बाकी devices से अलग करने के लिए virtual network के इस्तेमाल पर विचार किया जा सकता है
• Traffic volume monitoring भी मददगार है
• हालांकि अगर घर में कोई TV पर नया app install कर सकता है, तो कोई पक्का solution नहीं है
• Enterprise environment में unknown devices को network पर allow न करना ideal है, लेकिन इसे practically लागू करना आसान नहीं है
• आम residential proxy networks को पहचानने वाली protected DNS service ऐसा traffic रोकने और problematic devices खोजने में मदद करती है
• कुछ devices DNS bypass करके hardcoded IP addresses से सीधे connect कर सकते हैं
• ऐसे मामलों में अच्छी threat intelligence और enterprise traffic inspection व monitoring की जरूरत होती है

[GN⁺]

Lobste.rs की टिप्पणियाँ

• यह सोचकर व्यंग्यात्मक हंसी आती है कि ऐसे बाज़ार को चलने लायक किसने बनाया 🙄

  • असल में ~~residential proxies~~ botnet समस्या पूरी industry द्वारा दशकों तक नज़रअंदाज़ किए जाने का नतीजा है
    करोड़ों IoT devices, smart TVs और network equipment अब updates नहीं पाते, और कई मामलों में manufacturers भी गायब हो चुके हैं
    कुछ तो शुरू से ही malware के साथ shipped हुए थे, लेकिन ज़्यादातर बस छोड़ दिए गए—किसी एक की ज़िम्मेदारी नहीं, पर सबकी समस्या बन गए
  • मुझे लगता है इसकी शुरुआत 2010s में तब से हुई, जब Netflix ने VPN blocking को और ज़्यादा आक्रामक तरीके से आगे बढ़ाया

• यह जानने की उत्सुकता है कि home network के devices ऐसा व्यवहार कर रहे हैं या नहीं, इसे man-in-the-middle तरीके से monitor करने के अलावा आसानी से detect करने का कोई तरीका है क्या

  • आसान तरीका तो नहीं पता, लेकिन इस newsletter ने जिस Krebs on Security article से link किया है, वह आगे A tool provided by Synthient तक ले जाता है
    यह tool शायद यह check करता है कि मेरे IP address या किसी दूसरे IP के residential proxy के रूप में इस्तेमाल होने के संकेत हैं या नहीं
    accuracy के बारे में नहीं पता, और dynamic IP इस्तेमाल करने पर results प्रभावित हो सकते हैं ऐसा लगता है

• “कई Android-based devices manufacturer troubleshooting के लिए बने Android Debug Bridge को enabled रखकर shipped होते हैं, और उसी network से device को आसानी से root किया जा सकता है” वाली बात पर मैंने तुरंत भरोसा खो दिया

  • यह सच में होता है
    lab में नए builds test या debug करते समय device पर adb remote इस्तेमाल करना बहुत सुविधाजनक होता है, और तेज़ी से iteration वाली development में development build और customer release build अलग-अलग बनाना झंझट भरा होता है
    मैंने भी एक बार ADB पूरी तरह खुला हुआ device ship होने से रोका था, और तब मैंने इस मुद्दे को काफी ज़ोर से उठाया था
    मेरा मानना है कि दूसरी जगहों पर शायद इसे यूँ ही जाने दिया गया होगा

• residential proxies बेचने वाली कंपनियों में से एक Bright Data है, और linked article में भी इसका ज़िक्र है
  कहा जाता है कि ये अपने provided SDK के अंदर proxy embed करने वाला SDK route इस्तेमाल करते हैं
  Meta और X ने इसका मुकाबला करने की कोशिश की, लेकिन हार गए