Precursor: पूरे सत्र में एजेंट व्यवहार का पता लगाने वाला Cloudflare सिस्टम

 (blog.cloudflare.com)
1 पॉइंट द्वारा GN⁺ 2 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • लॉगिन·साइनअप·पेमेंट जैसे अलग-अलग verification points भर से, असली browser और JavaScript का उपयोग करने वाली automation को छांटना कठिन होता जा रहा है, इसलिए Cloudflare ने पूरी user journey के behavioral signals का लगातार विश्लेषण करने वाला Precursor पेश किया है
  • HTML responses में dynamically assembled हल्का JavaScript inject करके pointer movement, keyboard activity, focus, page visibility state इकट्ठा की जाती है और इन्हें edge evaluation और मौजूदा bot defense system में real time में reflect किया जाता है
  • कलाई की movement, cognitive delay, hand tremor, speed·direction·correction rhythm जैसी चीजें session भर में दोहराना automation के लिए कठिन है, खासकर जब वह सीधी movement, स्थिर speed या जरूरत से ज्यादा precision दिखाती है; यही session-level classification का आधार बनती हैं
  • वास्तविक key input के बजाय सिर्फ timing और rhythm इकट्ठा किए जाते हैं, और behavioral signals को user account, persistent profile या customer dashboard से सीधे नहीं जोड़ा जाता; इसके लिए privacy-preserving design अपनाया गया है
  • यह अभी Enterprise Bot Management feature के रूप में rollout हो रहा है और इस साल के अंत में GA से पहले तक मुफ्त उपलब्ध है; इसे application में बदलाव किए बिना background observation या unverified sessions पर Challenge force करने के तरीके से चलाया जा सकता है

अलग-अलग verification points से पूरे session तक

  • bot defense एक adversarial competition है जिसमें attackers का adaptation और defenders की response strategy लगातार दोहराई जाती है; Cloudflare नेटवर्क-व्यापी visibility और client environment के signals दोनों का साथ में उपयोग करता है
    • वैश्विक नेटवर्क पर हर दिन 1 ट्रिलियन से अधिक requests का विश्लेषण करके, वेब के 20% से ज्यादा हिस्से में reputation, patterns और anomalies की पहचान की जाती है
    • Cloudflare Turnstile CAPTCHA के विकल्प से आगे बढ़कर user verification के लिए friction level को नियंत्रित करने वाला risk-based managed Challenge बन चुका है
  • Turnstile लॉगिन, साइनअप, पेमेंट जैसे sensitive points पर हर दिन लगभग 3 बिलियन बार चलता है, लेकिन इनके बीच की पूरी user journey में इंसान और bot कैसे व्यवहार करते हैं, यह केवल सीमित रूप से ही समझा जा पाता था
  • Precursor इस visibility gap को भरने के लिए पूरे web application में client behavioral signals को लगातार इकट्ठा करता है और session स्तर पर classification करता है
    • यह Challenge द्वारा दी जा रही client-side detection को पूरे application तक विस्तार देता है
    • यह Turnstile को चुनिंदा रूप से पूरक करता है, और दोनों features Enterprise Bot Management में शामिल हैं

छोटे क्षणों से ज्यादा कठिन है व्यवहार की निरंतरता की नकल करना

  • आधुनिक automation JavaScript चला सकती है, वास्तविक browser environment का उपयोग कर सकती है, और अलग-अलग CAPTCHA भी पार कर सकती है; इसलिए छोटे समयखंडों में वह सामान्य user जैसी दिख सकती है
  • लेकिन पूरे session में लगातार मानव-जैसा behavior दोहराना ज्यादा कठिन है, और Precursor इस behavioral continuity को fraud और abuse detection signal के रूप में इस्तेमाल करता है
    • हर निर्णय में ज्यादा signals जोड़कर human और automation के बीच फर्क करने की precision बढ़ती है
    • आक्रामक Challenge पर निर्भरता कम होती है, जिससे वास्तविक users के लिए अनावश्यक interruptions घटते हैं
    • bot developers को पूरा session imitate करना पड़ता है, इसलिए automation को बनाना और maintain करना महंगा होता है और large-scale operation की reliability घटती है

मानव त्रुटियां और भौतिक सीमाएं

  • bot developers mouse movement में Gaussian noise या uniform random delay जोड़ते हैं, लेकिन मानव movement में साधारण noise से कहीं अधिक भौतिक और cognitive constraints होते हैं
    • wrist rotation axis: कलाई की range of motion और forearm rotation की वजह से mouse अक्सर arc के रूप में चलता है
    • cognitive load: checkbox देखने और उस पर click करने के बीच measurable delay आता है
    • hand tremor: स्थिर हाथ में भी physiological tremor frequency के अनुरूप हल्का कंपन दिखता है
  • automation अक्सर linear interpolation या गणितीय रूप से आदर्श Bézier curves का उपयोग करती है, और ऐसी precision से click करती है जिसे इंसान के लिए दोहराना कठिन है
  • उदाहरण automation libraries mouse को पूरी तरह सीधी रेखा में चलाती हैं, हमेशा origin पर लौटती हैं और एक जैसी speed से प्रतिक्रिया देती हैं
  • इसके विपरीत, इंसान एक ही site पर भी irregular paths, छोटे corrections, target से थोड़ा आगे निकलना, और speed·timing·direction में बदलाव दिखाते हैं
  • अलग-अलग interactions भले विश्वसनीय लगें, लेकिन पूरे session में behavioral patterns का अंतर उभर आता है; Precursor interactions जारी रहने के दौरान इन behavioral signatures को पकड़कर उनका मूल्यांकन करता है

client injection और signal collection

  • Precursor सक्रिय होने पर Cloudflare network से गुजरने वाली site के HTML responses में हल्का script अपने-आप inject हो जाता है
    • किसी अतिरिक्त configuration, अलग network connection या third-party embedding की जरूरत नहीं होती
    • bundle छोटा, obfuscated और हर response के लिए dynamically assembled होता है
    • इसे इस तरह design किया गया है कि hosted web application के दूसरे page logic में बाधा न आए
  • script हल्के event listeners के जरिए pointer movement, keyboard activity, focus changes और page visibility state को capture करता है
    • events को compressed format में serialize करके memory में buffer किया जाता है
    • buffer में जमा data को समय-समय पर evaluation layer में भेजा जाता है

edge evaluation और cross-validation

  • edge server incoming Precursor payload को behavioral input के रूप में deserialize करता है, और dispatcher के जरिए कई evaluators चलाता है
  • हर evaluator जरूरत के अनुसार Precursor stream पढ़ता है और shared detection registry में signals दर्ज कर सकता है
  • यह किसी एक event पर निर्भर नहीं करता, बल्कि अलग-अलग data का cross-validation करता है
    • यह जांचता है कि pointer activity, page visible रहने के समय से मेल खाती है या नहीं
    • यह देखता है कि keyboard events केवल text field पर focus होने पर ही हो रहे हैं या नहीं
  • लगातार आती जानकारी को individual detection signals में समेकित किया जाता है और detection weights निकालने में उपयोग किया जाता है

session accumulation और आगे की detection layers

  • Precursor data session scope में accumulate होता है, इसलिए bot page refresh करे या नए Challenge से फिर शुरू करे, तब भी behavioral signature reset नहीं कर सकता
  • session metadata आगे की detection layers तक भी भेजा जाता है
    • shadow mode heuristics और session analysis
    • expected completion और actual completion की तुलना
    • session delinquency heuristics
  • edge पर देखी गई जानकारी detection को बेहतर बनाने के लिए log की जाती है और session के bot score को adjust करने में उपयोग होती है

privacy-preserving design

  • event listeners केवल उतनी ही न्यूनतम जानकारी इकट्ठा करते हैं जितनी human patterns और automation·abuse patterns में अंतर करने के लिए जरूरी है
    • keyboard activity में वास्तव में कौन-सी key दबाई गई, यह नहीं; केवल timing और rhythm capture किए जाते हैं
    • अलग-अलग actions के बजाय aggregated behavioral patterns का मूल्यांकन किया जाता है
  • behavioral signals का उपयोग केवल Cloudflare के bot detection system के भीतर किया जाता है
    • इन्हें customer dashboard पर सीधे नहीं दिखाया जाता
    • इन्हें user account, login identity या persistent profile से नहीं जोड़ा जाता
  • इससे वास्तविक users पर पड़ने वाला friction कम करते हुए behavioral evaluation लगातार अपडेट किया जा सकता है

session-based Security Analytics

  • Security Analytics में individual requests की बजाय पूरी visitor journey दिखाने वाला session-based view जोड़ा गया है
  • dashboard में इन सवालों की जांच की जा सकती है
    1. site पर सामान्य session कैसा दिखता है
    2. expected behavior से विचलन कहाँ होता है
    3. समय के साथ automation के संकेत दिखाने वाले session कौन-से हैं
  • request-level analysis से पकड़ना कठिन requests के बीच का behavior भी अब analysis का हिस्सा बनता है
  • Precursor data सीधे मौजूदा bot score, Challenge decisions और security rules तक भेजा जाता है, इसलिए जोड़ा गया session context मौजूदा defense system में तुरंत उपयोग किया जा सकता है

आगे का विस्तार और activation के तरीके

  • Precursor पूरे application में bot detection का विस्तार करने की बुनियाद है, और Cloudflare आगे इन क्षेत्रों का विस्तार जारी रखने की योजना बना रहा है
    • security में उपयोग होने वाले behavioral signals की range और depth
    • session-level information का bot management protection पर असर
    • session data को visualize करने और उस पर action लेने के नए तरीके
  • जैसे-जैसे bots आगे बढ़ते हैं, detection को भी अलग-थलग verification points से आगे बढ़कर पूरे user activity flow को संभालना होगा
  • अभी Cloudflare dashboard में zone के हिसाब से Precursor को activate किया जा सकता है, और इस साल के अंत में GA release से पहले तक यह मुफ्त उपलब्ध है
  • session verification की तीव्रता दो तरीकों से चुनी जा सकती है
    • low-friction mode में background में behavior observe किया जाता है
    • यदि पूरी तरह verified session चाहिए, तो मौजूदा session न होने पर Challenge force किया जाता है
  • activate करते ही मौजूदा bot defense मजबूत हो जाता है और application में किसी बदलाव की जरूरत नहीं होती
  • यदि आप पहले से Bot Management या Turnstile इस्तेमाल कर रहे हैं, तो detection coverage मौजूदा Challenge points से आगे बढ़कर बाकी session और protected points के बीच की activity तक फैल जाती है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2 시간 전
Hacker News की राय

  • Cloudflare का blocking और allowing दोनों तरफ bots का निर्णायक बनता दिखना चिंताजनक है, और पूरे internet के लिए भी स्वस्थ नहीं लगता

    • उल्टा देखें तो Cloudflare paid crawling (pay for crawl) का रास्ता बना रहा है, और मुझे लगता है कि यह एक नेक और महत्वाकांक्षी लक्ष्य है
      लगभग 20 साल से यह अफसोस जताया जाता रहा है कि content creators को ads से बेहतर compensation का तरीका चाहिए, और यह उसका जवाब हो सकता है
      Anthropic और OpenAI पर चोरी किए गए content के ऊपर बने होने की आलोचना भी लगातार होती रही है, इसलिए इस reality को नजरअंदाज करते हुए दोनों तरफ की चीजें चाहना संभव नहीं है
    • प्रतिस्पर्धी services बनाना Cloudflare के competitors पर निर्भर है
    • Cloudflare बस अपने द्वारा चलाए जाने वाली services के लिए optional रूप से enable की जा सकने वाली protection layer देता है
      क्या बात यह है कि उसका scope बहुत व्यापक है, या यह कि कोई और similar services नहीं दे रहा—सिर्फ ऐसी व्यापक आलोचना से समझना मुश्किल है
    • यह बस सामान्य business activity है, और consumers को अपने wallet से vote करना चाहिए

  • Cloudflare का agent products बेचते हुए साथ ही web पर agents के इस्तेमाल को block करने जैसी service लाना थोड़ा अजीब लगता है
    mouse path के अलावा वे कहीं ज्यादा signals इस्तेमाल करते होंगे, लेकिन touchscreen या ThinkPad TrackPoint जैसे non-traditional input devices पर पहचान पहले से ही कठिन हो सकती है
    accessibility mouse tools इस्तेमाल करने वालों को bot समझ लेना गंभीर होगा, लेकिन उन्हें exception देने से agent browsing के लिए bypass route भी बन सकता है
    फिर भी agent bots के abuse और spam को घटाने के लिहाज से यह लगभग निश्चित रूप से अच्छा कदम है

    • अच्छे bots और बुरे bots में फर्क किया जाए तो यह कम अजीब लगता है
      अच्छे bots के लिए इस्तेमाल होने वाली service देते हुए बुरे bots को block करने में मदद की जा सकती है
      अगर कोई bot mouse movements की खराब नकल करता है तो वह मजबूत anomaly signal होगा, और अगर bot अच्छा है तो वह robots.txt का पालन करेगा और यह नहीं छिपाएगा कि वह bot है
    • यह किसी दुकान को protection money बेचने वाले gangsters जैसा थोड़ा महसूस होता है

  • 6 साल पहले hCaptcha ने ये सारी capabilities implement कर दी थीं
    उसने सिर्फ इंसान और bot में फर्क ही नहीं किया, बल्कि जब वही इंसान कई accounts बनाता या कई credit cards test करता था, तब दिखने वाले keyboard और mouse behavior तक पहचान लिए थे
    जब Cloudflare 2020 में hCaptcha पर switch हुआ तो इस तरह का abuse detection शामिल था, और जब 2022 में hCaptcha छोड़ा तो मुझे लगा था कि उन्होंने पहले ही अपना implementation बना लिया होगा

    • लगता है reCAPTCHA v3 भी similar था। याद है कि background में चुपचाप monitoring करना उसका मुख्य selling point था

  • page पर accessibility खोजने पर कोई result नहीं मिलता, इसलिए ऐसी mouse movement astrology visually impaired और keyboard-only users को internet के बड़े हिस्से से पूरी तरह बाहर कर देगी, ऐसा लगता है

    • visually impaired और keyboard-only users anonymous internet से बाहर किए जाने की संभावना ज्यादा है
      अगर वे login करके anonymity छोड़ दें, तो शायद उन्हें bot नहीं माना जाएगा
    • mouse movement शायद उचित weight पाने वाले कई signals में से एक होगा, लेकिन मैं सच में इन users का feedback देखना चाहूंगा
    • Cloudflare पहले से allowlist में न होने वाले पश्चिमी देशों के बाहर के users से कई-कई मिनट तक motorcycles पहचानने को कहता है, इसलिए लगता नहीं कि वह कुछ visually impaired accessibility को लेकर बहुत चिंतित होगा
    • docs में “Mouse movement is just one example of the signals Precursor evaluates” तीन बार आता है। यानी mouse movement कई signals में से सिर्फ एक है
    • यह वैसा ही है जैसे services को smartphone-centric design करते हुए बिना smartphone वाले बुजुर्गों और disabled लोगों को बाहर कर देना
      कुछ क्षेत्रों में smartphone के बिना flight check-in तक नहीं कर सकते, इसलिए travel itself impossible हो जाता है, लेकिन ज्यादातर लोग इसे सामान्य मान लेते हैं

  • Agent detection एक नया बनता हुआ field है और आगे चलकर बहुत ज्यादा महत्वपूर्ण होगा
    related products में Foil(https://usefoil.com/), Kasada https://www.kasada.io/, DataDome(https://datadome.co/), Castle(https://castle.io/), Fingerprint(https://fingerprint.com/), HUMAN(http://humansecurity.com/), असल में reCAPTCHA का successor Google Cloud Fraud Defense(https://cloud.google.com/security/products/fraud-defense?hl=...), और Cloudflare Precursor हैं
    फिलहाल मुख्य use cases automated credential stuffing, fake accounts और free trial abuse तथा उससे जुड़ी Twilio SMS cost, payment fraud, LLM scraping, tickets और sneakers की automated scalping रोकना हैं
    उत्सुकता है कि कौन-सा use case enterprise demand को drive करेगा, और उम्मीद है कि agents को बिना शर्त block करने के बजाय detect करके agent-only route पर भेजा जा सकेगा, ताकि वे users की ओर से web browse कर सकें और tasks कर सकें

    • bot blocking को निष्प्रभावी करने वाले products के रूप में https://brightdata.com/, https://www.zenrows.com/, https://www.capsolver.com/, https://scrapfly.io/ भी हैं
      ये करोड़ों residential IPs, human-like browser fingerprints, custom browser binaries देते हैं, और Turnstile, reCAPTCHA v3, Kasada, DataDome, AWS WAF आदि सामने आते ही automatically bypass कर देते हैं
    • Darwinium(darwinium.com) भी similar product है
      यह profiling और step-transition probabilities को मिलाकर digital assets के सिर्फ खास हिस्सों—जैसे chargeback risk वाले payments—पर agents से extra authentication मांगने या उन्हें block करने देता है
      फिलहाल Precursor उसी site से कई documents ले जाने वाली scraping detection पर ज्यादा focus करता दिखता है

  • सोच रहा हूँ कि अगर कोई bot या agent इंसान के cursor movement की नकल करते हुए सूक्ष्म jitter जोड़ दे, तो उसे किससे रोका जा सकता है
    दूसरे signals भी इस्तेमाल होते होंगे, लेकिन कम-से-कम यह signal तो ऐसा लगता है कि bot थोड़ा भी sophisticated हो जाए तो आसानी से bypass कर सकता है

    • इसे bypass करने के लिए थोड़ा नहीं, बल्कि काफी sophistication चाहिए
      बुनियादी machine learning clustering से ही bot के mouse, keyboard और touch behaviour को इंसानों से अलग किया जा सकता है, लेकिन इससे eye tracking जैसे assistive features इस्तेमाल करने वाले disabled लोगों के साथ भेदभाव होने की संभावना भी बहुत ज्यादा है
      सिर्फ एक हाथ इस्तेमाल करने वाले व्यक्ति का behaviour typical user से काफी अलग हो सकता है, और अभी अमेरिका में California, Illinois, NY के बाहर ADA enforcement भी कमजोर है
      Cloudflare जैसी प्रभावशाली कंपनी को conservative filtering करनी चाहिए ताकि disabled लोग इस तरह के behavioural analysis के शिकार न हों
      यह कहकर जिम्मेदारी नहीं टाली जानी चाहिए कि “हम सिर्फ bot होने की संभावना का score देते हैं और threshold हर website तय करती है”, और फिर disabled लोगों के block होने को website द्वारा threshold बहुत strict रखने का नतीजा बताना ठीक नहीं है
      इस scale पर फैसलों के secondary और tertiary effects तक की जिम्मेदारी लेनी पड़ती है
      यह data सिर्फ bots ही नहीं, बल्कि gender, dominant hand, लगभग उम्र, typing pattern के आधार पर native language, चोट और recovery process, mental और physical disabilities तक अलग कर सकता है
      site navigation के तरीके से ADHD, schizophrenia, Parkinson’s disease, drug use और treatment effects तक अनुमानित किए जा सकते हैं, इसलिए इन सभी signals में typical इंसानों वाले cluster में आने लायक नकल करना बेहद मुश्किल है
    • साधारण random jitter नहीं, बल्कि इंसानी cursor movement जैसा jitter synthesize करना होगा, इसलिए यह बहुत कठिन है
    • उत्सुक हूँ कि 2027 में jitter generation, pre-planning, post-verification, और Cloudflare के anti-jitter countermeasures पर कितने tokens खर्च करने पड़ेंगे
    • CAPTCHA fail कराने के लिए जानबूझकर jitter detection को हराने की कोशिश करता हूँ, लेकिन एक बार भी सफल नहीं हुआ, फिर भी कोशिश करता रहता हूँ
    • तकनीकी रूप से रोकने वाली कोई चीज नहीं है, लेकिन Cloudflare के पास वास्तविक jitter data कहीं ज्यादा है, इसलिए शुरुआत से ही नुकसान में हैं
      short term में चल भी जाए, तो समय के साथ स्पष्ट patterns सामने आ जाएंगे, और specific sites व layouts के हिसाब से jitter data भी विविध है, इसलिए artificial imitation आसानी से पकड़ी जा सकती है

  • एक ही user की movement भी input device के हिसाब से बदल जाती है
    work PC पर mouse, personal laptop पर touchpad, और work laptop पर ThinkPad TrackPoint इस्तेमाल करने से एक ही व्यक्ति के तीन behaviour profiles बन जाते हैं
    AI की movement से तो अलग होगा, लेकिन अगर mouse movement fingerprint एक और gate बन गया, तो कई दिलचस्प outliers दिख सकते हैं

  • Cloudflare को यह दिखावा नहीं करना चाहिए कि वह internet की रक्षा कर रहा है
    https://developers.cloudflare.com/browser-run/quick-actions/...
    यह कंपनी तंबाकू बेचते हुए अस्पताल भी बनाने वाली कंपनी जैसी है

  • उस दिन का इंतजार है जब Cloudflare मेरी wrist condition का data insurance companies को बेचेगा। हमने खुद जो surveillance hell बनाया है, वह सचमुच शानदार है

  • हाल में Cloudflare के false positives की वजह से sessions में loading ही चलता रहता है और actual page पर नहीं जाता, ऐसा अक्सर हो रहा है
    अगर वे रोज़ अंदाजे से code किए हुए नए solutions release करते रहेंगे, तो service quality पर भी बुरा असर पड़ेगा, इसकी चिंता है

    • user agent, IP address, या browser extensions में से कोई एक वजह हो सकता है
    • local ISP fibre line इस्तेमाल करने के मुकाबले Starlink पर मुझे बहुत ज्यादा बार block target माना जाता है