आधुनिक CAPTCHA पर अनुभवजन्य अध्ययन और मूल्यांकन

 (arxiv.org)
1 पॉइंट द्वारा GN⁺ 2023-12-18 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • CAPTCHA अब भी bots से बचाव का व्यापक रूप से इस्तेमाल होने वाला साधन है, लेकिन वास्तविक deployment मामलों और user experience को साथ देखने पर security और usability का संतुलन काफी डगमगाता दिखता है
  • 200 लोकप्रिय websites के सर्वे और MTurk user study में reCAPTCHA click-type median 3.7 सेकंड के साथ सबसे तेज था, जबकि game-type, slider-type और कठिन hCAPTCHA में अधिक समय लगने की प्रवृत्ति दिखी
  • तेज CAPTCHA हमेशा सबसे अधिक पसंद किया जाए, यह जरूरी नहीं था; game-type और slider-type जैसे कुछ प्रकारों को, solve time लंबा होने के बावजूद, अपेक्षाकृत अच्छी rating मिली
  • account creation flow के भीतर CAPTCHA रखने वाली contextualized setting में सीधे solve करने की तुलना में average solve time अधिकतम 57.5% बढ़ा, और dropout rate भी अधिक हुआ
  • उम्र बढ़ने के साथ अधिकांश CAPTCHA को solve करने का समय बढ़ा, और मौजूदा bot performance studies से तुलना करने पर कई प्रकारों में bots के humans से तेज और अधिक accurate होने के मामले पाए गए

CAPTCHA को फिर से मूल्यांकन का विषय क्यों बनाया गया

  • CAPTCHA लगभग 20 वर्षों से bot defense के रूप में व्यापक रूप से इस्तेमाल होता रहा है, लेकिन इसे bypass करने या automatically solve करने की techniques भी लगातार विकसित हुई हैं
  • शुरुआती CAPTCHA में distorted text को image से पढ़कर enter करना होता था, लेकिन computer vision और machine learning की प्रगति से 2014 में automated tools द्वारा 99% से अधिक accuracy हासिल करने के मामले सामने आए
  • वर्तमान CAPTCHA कई रूपों में बंट चुका है
    • object recognition type: “जिस box में संबंधित object हो उसे चुनें”
    • distorted text type
    • puzzle type: “block slide करना”
    • user behavior analysis पर आधारित methods
  • यह study वास्तविक web पर इस्तेमाल होने वाले unmodified CAPTCHA को target करती है
    • 200 लोकप्रिय websites का manual survey
    • MTurk आधारित 1,000 लोगों की मुख्य user study
    • dropout rate को अलग से देखने के लिए अतिरिक्त MTurk study
    • पूरा anonymized dataset और analysis code प्रकाशित: captcha-study

200 लोकप्रिय websites में CAPTCHA distribution

  • Alexa Top websites list के आधार पर top 200 sites का manual survey किया गया
    • 185 sites में account creation process था
    • 142 sites में वास्तव में account creation संभव था
    • हर site को Chrome incognito mode और Tor Browser से अलग-अलग visit किया गया
  • देखे गए CAPTCHA types में reCAPTCHA का झुकाव सबसे स्पष्ट था
    • reCAPTCHA: 68 sites, survey targets का 34%
    • slider-based CAPTCHA: 14 sites, 7%
    • distorted text CAPTCHA: 14 sites, 7%
    • game-based CAPTCHA: 9 sites, 4.5%
    • hCAPTCHA: 1 site
    • invisible CAPTCHA: 12 sites, 6%
    • अन्य: scratch lottery जैसा CAPTCHA, image में Chinese characters खोजने वाला CAPTCHA, NuCaptcha आदि
  • survey scope की स्पष्ट सीमाएं हैं
    • यह manual survey था, इसलिए केवल top 200 sites शामिल थीं
    • सभी features execute नहीं किए गए, इसलिए वास्तविक CAPTCHA deployments की संख्या अधिक हो सकती है
    • यह किसी खास समय की website rankings और CAPTCHA status पर निर्भर है
    • dark web जैसी special-purpose sites के CAPTCHA शामिल नहीं हैं
  • BuiltWith के 673 million websites वाले dataset में CAPTCHA इस्तेमाल करने वाली 15.2 million sites में reCAPTCHA 97.3% और hCAPTCHA 1.4% है
    • study में इस्तेमाल CAPTCHA types इस बड़े dataset के आधार पर 98% से अधिक को cover करते हैं

User study design

  • मुख्य user study MTurk पर 1,000 लोगों के साथ की गई, और participants ने random order में 10 CAPTCHA solve किए
  • प्रक्रिया चार चरणों में बनी थी
    • study introduction
    • pre-questionnaire: demographic information collection
    • CAPTCHA solving tasks
    • post-questionnaire: अभी solve किए गए CAPTCHA पर preference आदि के सवाल
  • इस्तेमाल किए गए CAPTCHA कुल 10 प्रकार के थे
    • reCAPTCHA v2 के 2 variants: users के लिए सबसे आसान setting, सबसे secure setting
    • Arkose Labs game-type के 2 variants: object rotation, सही दिशा वाला object चुनना
    • hCAPTCHA के 2 variants: easy setting, difficult setting
    • Geetest slider CAPTCHA का 1 variant
    • distorted text CAPTCHA के 3 variants: simple, masking, moving text
  • experimental context की तुलना के लिए दो settings इस्तेमाल की गईं
    • direct setting: participants को बताया गया कि यह CAPTCHA solve करने की study है और 10 CAPTCHA सीधे दिखाए गए
    • contextualized setting: participants को account creation study बताया गया, और हर account creation form submit करने के बाद CAPTCHA दिखने के लिए setup किया गया
  • contextualized setting में personal information collection से बचने के लिए synthetic information दी गई, और असली उद्देश्य task पूरा होने के बाद बताया गया
    • इस method को IRB approval मिला, और incomplete disclosure तथा consent change से जुड़े documents भी approved हुए
    • उद्देश्य बताए जाने के बाद data use के लिए सहमति न देने वाले participants का data collect नहीं किया गया
  • participant compensation शुरुआत में direct setting के लिए 0.30 डॉलर और contextualized setting के लिए 0.75 डॉलर था
    • completion time median क्रमशः 4.4 मिनट और 11.5 मिनट होने की पुष्टि के बाद इसे retroactively बढ़ाकर 0.60 डॉलर और 1.50 डॉलर किया गया

Solve time और preference में अंतर

  • CAPTCHA type के हिसाब से solve time काफी अलग-अलग रहा
    • reCAPTCHA click-type median 3.7 सेकंड के साथ सबसे तेज था
    • easy setting और difficult setting के बीच अंतर बड़ा नहीं था
    • simple distorted text CAPTCHA, distorted text types में सबसे जल्दी solve हुआ
    • masking type और moving text type का solve time समान था
    • hCAPTCHA में easy setting और difficult setting का अंतर स्पष्ट था, और difficult setting ने अधिक कठिन image tasks या अधिक rounds दिए
    • game-type और slider-type CAPTCHA में आम तौर पर median solve time ज्यादा था, लेकिन कुछ participants ने इन्हें 10 सेकंड से कम में solve किया
  • user preference solve time से पूरी तरह मेल नहीं खाती
    • reCAPTCHA click-type सबसे तेज था और preference भी सबसे अधिक थी
    • game-type और slider-type में अधिक समय लगा, लेकिन इन्हें high preference scores मिले
    • सबसे पसंदीदा CAPTCHA, reCAPTCHA click-type, को भी 18.9% participants ने 1 या 2 points दिए
    • overall सबसे कम preference वाले hCAPTCHA को भी 31.0% से अधिक ने 4 या 5 points दिए

Experimental context से पैदा हुआ अंतर

  • direct setting और contextualized setting की तुलना करने पर अधिकांश CAPTCHA में contextualized setting का average solve time अधिक था
    • reCAPTCHA easy click-type में average solve time 1.8 सेकंड बढ़ा, यानी 57.5% वृद्धि
    • Arkose rotation type में 10 सेकंड की वृद्धि हुई, यानी 56.1% वृद्धि
    • सभी CAPTCHA types के average में, direct setting की तुलना में contextualized setting में 26.7% वृद्धि हुई
    • hCAPTCHA difficult setting का overall median solve time सबसे ज्यादा था, लेकिन दोनों settings के बीच average solve time का अंतर significant नहीं था
  • Kruskal-Wallis test में Geetest, reCAPTCHA image-type, और hCAPTCHA difficult setting को छोड़कर सभी CAPTCHA types में average solve time का अंतर statistically significant था
  • दोनों settings के बीच कई potential confounding factors बाकी हैं
    • contextualized setting के participants ने अधिक tasks किए
    • compensation difference और task completion को लेकर perception difference ने motivation या dropout possibility को प्रभावित किया हो सकता है

Demographics, accuracy, dropout rate

  • उम्र CAPTCHA solve time से संबंधित थी
    • reCAPTCHA easy image-type को छोड़कर सभी types में younger participants का average solve time कम होने की प्रवृत्ति दिखी
    • पहले की research ने text-based CAPTCHA में उम्र के हर 1 साल पर 0.03 सेकंड वृद्धि report की थी, लेकिन इस study में सभी CAPTCHA types के average में हर साल 0.09 सेकंड वृद्धि दिखी
  • education level और gender में solve time का बड़ा अंतर नहीं देखा गया
    • पहले की study में कहा गया था कि PhD participants ने अन्य education groups से तेज solve किया, लेकिन इस study में self-reported education level और solve time correlated नहीं थे
  • device और input method में कुछ अंतर थे
    • computer users का average solve time mobile phone users की तुलना में distorted text CAPTCHA और reCAPTCHA difficult click-type में कम था
    • physical keyboard और touch input के बीच simple/masking distorted text, reCAPTCHA click-type, और Arkose selection-type में statistically significant difference था
  • accuracy comparison में type के हिसाब से बड़ा अंतर था
    • reCAPTCHA image classification accuracy easy setting में 81%, difficult setting में 81.7%
    • hCAPTCHA accuracy easy setting में 81.4%, difficult setting में 70.6%
    • distorted text में case-insensitive करने पर participants के बीच agreement rate average 20% बढ़ा
      • simple: 84% से 93%
      • masking: 50% से 73%
      • moving text: 62% से 90%
  • मौजूदा literature की bot performance से तुलना करने पर, कई CAPTCHA types में bots ने humans से तेज और accurate results दिए
    • reCAPTCHA click-type: humans 3.1~4.9 सेकंड, bot 1.4 सेकंड और 100% accuracy का मामला
    • Geetest: humans 28~30 सेकंड, bot 5.3 सेकंड और 96% accuracy का मामला
    • distorted text: humans 9~15.3 सेकंड और 50~84% accuracy, bot 1 सेकंड से कम और 99.8% accuracy का मामला
    • reCAPTCHA image-type: humans 15~26 सेकंड और 81% accuracy, bot 17.5 सेकंड और 85% accuracy का मामला
    • hCAPTCHA: humans 18~32 सेकंड और 71~81% accuracy, bot 14.9 सेकंड और 98% accuracy का मामला
  • अलग dropout rate study में पहले CAPTCHA के दिखने के बाद 18~45% participants ने study छोड़ दी
    • contextualized setting participants में direct setting participants की तुलना में dropout की संभावना 120% अधिक थी
    • CAPTCHA के कारण users task छोड़ दें, तो इससे purchase या account creation जैसी website activities का नुकसान हो सकता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-18
Hacker News टिप्पणियाँ

  • मेरा मानना है कि Google CAPTCHA को AI training mechanism के रूप में डिज़ाइन और तैनात किया गया था, और इसलिए यह आज इस रूप में है
    इसके आसपास का security theater ज़्यादातर साइड इफ़ेक्ट जैसा है, और अब AI इसका हल अच्छी तरह निकाल लेता है, इसमें भी कोई हैरानी नहीं है। हम उसे सालों से इसी के लिए ट्रेन कर रहे हैं

    • कुल मिलाकर यह सही है, लेकिन भले ही यह यूज़र को एक तकलीफ़देह security उपाय जैसा लगे, कई मामलों में इसका वास्तविक उद्देश्य brute-force attack rate limiting भी होता है
      कम से कम इससे हमलावर पर कुछ लागत तो पड़ती है
    • यह व्याख्या पूरी तरह फिट नहीं बैठती। reCAPTCHA वास्तव में अपने नाम वाला काम करता है, लेकिन उसका तरीका यूज़र को दिखने वाली पहेली से लगभग जुड़ा ही नहीं है
      असली बात behavior analysis है, और इसमें यह भी शामिल है कि यूज़र के पेज लोड करने से पहले ही Google ने जो डेटा इकट्ठा किया है, उसके आधार पर bot होने की संभावना का आकलन किया जाए
      मैं यह नहीं नकार रहा कि reCAPTCHA, Google के training data का एक स्रोत है। यह कोई संयोग नहीं हो सकता कि reCAPTCHA V2 की समस्याएँ लगातार traffic object identification पर ही केंद्रित रहती हैं, भले ही Google self-driving AI नहीं बना रहा हो
      लेकिन वह business model है, मुख्य function नहीं, और वह training data CAPTCHA-solving bot डेवलपर्स को ज्यों-का-त्यों दिया भी नहीं जाता
    • मुझे लगा था कि सही जवाब से ज़्यादा timing और mouse movement का इस्तेमाल यह परखने के लिए होता है कि सामने इंसान है या नहीं
    • एक बार यह पूरी तरह सीख लिया गया, तो मुझे नहीं पता कि वेबसाइटें intelligent bots और वास्तविक इंसानों में फर्क कैसे कर पाएँगी
      अभी हम filtering को Cloudflare जैसी services पर छोड़ देते हैं, लेकिन अगर इस तरह की learning चलती रही, तो Cloudflare भी bots और इंसानों में फर्क कैसे करेगी, यह सवाल है
    • मज़ेदार बात यह है कि AI शायद इंसानों से बेहतर CAPTCHA हल करे
      मैंने कई बार देखा है कि Google CAPTCHA सही जवाब भी ठुकरा देता है, तो हो सकता है कि bots को गलत जवाब स्वीकार करवाने के लिए ट्रेन करने का यह नतीजा हो
      फिर भी अच्छा है कि अब यह stop sign नहीं है। अगर Google एक तरफ “self-driving” कारें बेचता और दूसरी तरफ यह दिखता कि robots stop sign पहचान ही नहीं पा रहे, तो वह काफ़ी शर्मनाक होता

  • यह शोध इंसान CAPTCHA कैसे हल करते हैं, इसके कई पहलुओं पर लगता है, और मुझे इसमें AI इंसानों से बेहतर है वाली बात नहीं मिली। क्या किसी को वह section पता है?
    reCAPTCHA v2/v3 को हल करना checkbox क्लिक और image puzzle से कहीं ज़्यादा माँगता है। अगर सिर्फ़ वही होता, तो अब तक बड़ा हंगामा हो चुका होता
    CAPTCHA, AI training के लिए है — यह बात व्यापक अर्थ में सही है, लेकिन आधुनिक CAPTCHA के काम करने के तरीके में यह ज़्यादा से ज़्यादा एक side effect जैसा लगता है
    reCaptcha V2+ जैसी चीज़ें browsing history या पेज पर mouse movement जैसे behavior analysis की निगरानी करती हैं। इसलिए ज़्यादातर लोगों को बस checkbox क्लिक करना पड़ता है
    मुझे यह भी नहीं पता कि mouse movement को input modality के रूप में शामिल करने वाले बड़े multimodal models हैं भी या नहीं
    CAPTCHA तोड़ने के लिए डिज़ाइन किया गया AI भी Google वगैरह का डेटा training में इस्तेमाल नहीं कर सकता। अगर चिंता यह है कि Google अपने bots को CAPTCHA bypass करवाने के लिए ट्रेन करेगा, तो वह असंभव तो नहीं, लेकिन अलग बात है

    • सही। यह शोध असल में AI द्वारा CAPTCHA हल करने पर नहीं, बल्कि इंसान इसे कैसे हल करते हैं, इस पर है
      शीर्षक काफ़ी clickbait है, और अफ़सोस की बात है कि HN पर ऐसे शीर्षक अच्छे चलते हैं
    • यह Table 3 में है

  • आगे चलकर, जब भी कोई sign-up करेगा, तो शायद payment card verification अगला कदम बन जाएगा
    शायद शुरुआत prepaid BIN को ब्लॉक करने से होगी। यह काफ़ी भयानक होगा, लेकिन इस समय हाल यह है कि CAPTCHA हल करने से बेहतर मुझे 0.01 डॉलर देना लगेगा, इसलिए कुछ न कुछ तो चाहिए
    खासकर “सभी bicycle चुनें” वाली चीज़ तो ज़िंदगी की बर्बादी है

    • अब इस तरह की friction इतनी बढ़ गई है कि यह लोगों को शुरू से ही ऐसे काम न करने की तरफ धकेल रही है
      लोग कम सामान खरीदते हैं, social media कम इस्तेमाल करते हैं। प्रकृति में टहलना और काग़ज़ की किताबें CAPTCHA नहीं माँगतीं
    • अगला कदम device attestation होगा। अगर मुझे सही याद है, Safari यह पहले से कर रहा है, इसलिए जहाँ support हो, वहाँ CAPTCHA दिखना नहीं चाहिए
      किसी भी browser में इसे काम कराने के लिए कुछ ऐसा किया जा सकता है: attestation support वाले iPhone या Android device से QR code स्कैन कराओ, login approve करना है या नहीं पूछो, और वही device आपकी तरफ़ से attestation दे दे
      अगर वह device bad actor साबित हो जाए, तो वेबसाइट उसे ब्लॉक कर सकती है, इसलिए एक ही device से बड़े पैमाने पर हमला करना भी मुश्किल होगा
    • भारत का UPI देखना चाहिए। “payment card verification” जैसी चमकदार चीज़ें बहुत error-prone हैं, पुरानी हैं, outdated हैं, और merchants के लिए महँगी भी
      UPI में QR code लो या UPI ID डालो, payment दबाओ और काम हो गया
      अगर “fraud prevention” की चिंता है, तो eBay या card company जैसे मध्यस्थों पर निर्भर रहने के बजाय बैंक, विक्रेता और अदालतों के साथ इसे सुलझाना चाहिए
    • प्लीज़। पिछली बार जब मैंने CAPTCHA हल किया, तो VPN इस्तेमाल करने की सज़ा के तौर पर मुझे bicycle, motorcycle, bus, traffic light पर लगातार क्लिक करते-करते 15 मिनट बर्बाद करने पड़े थे। यह अतिशयोक्ति नहीं है
    • अगर यह standard बन गया, तो बहुत डरावना होगा
      मुझे याद है कि जब मैं {Country} में रहता था, तब ऐसे card तक मेरी कोई पहुँच ही नहीं थी जिन्हें international payment के लिए स्वीकार किया जाता हो

  • क्या HN ने कभी CAPTCHA माँगा है? बुनियादी लेकिन परखे हुए operations और anti-spam tools, और बहुत ज़िद्दी DDoS न हो तो उससे निपटने वाली rate limiting के साथ, लगता है कि यह काफ़ी अच्छी तरह टिका रहता है
    scraping या third-party clients पर भी कोई बेहूदा पाबंदियाँ दिखती नहीं हैं
    फिर भी यह हर महीने 5 million unique visitors और हर दिन 10 million page views संभालता है[0]
    [0] https://news.ycombinator.com/item?id=33454140

    • असल में HN इतना आकर्षक target नहीं है
      कोई कर भी क्या सकता है, spam posts? हमलावर के नज़रिए से उसकी सीधी monetary value कम है, और ऐसी चीज़ों से निपटने के tools, जैसा आपने कहा, दशकों से मौजूद हैं
      यह उन दूसरी sites से बहुत अलग है जहाँ पैसे कमाने की संभावना कहीं ज़्यादा साफ़ और सीधे तौर पर होती है
    • जब कोई पोस्ट सामान्य से ज़्यादा लोकप्रिय हो जाती है, तो यह काफ़ी दबाव में आ जाता है
    • अगर मुझे सही याद है, तो sign-up page कुछ मामलों में reCAPTCHA दिखाता है
    • एक मशीन से, यानी :)
    • HN काफ़ी बार डाउन हो जाता है। शायद इसकी availability लगभग four nines रही होगी
      समझ नहीं आता कि इसे सिर्फ़ कुछ ही machines पर चलाने की ज़िद क्यों है। पैसे की कमी तो नहीं होगी, और YC के promotion effect से भी यह फ़र्क आसानी से कवर हो सकता है

  • CAPTCHA अस्पष्टता और इमेज पूरी तरह लोड न होने की समस्या की वजह से बहुत कष्टदायक है
    1 मिनट इंतज़ार करने पर भी कुछ इमेज आखिर तक नहीं दिखतीं। दिखें भी तो साइकिल, मोटरसाइकिल, ज़ेब्रा क्रॉसिंग वाली तस्वीरें बहुत ज़्यादा होती हैं
    जब कोई बहुत छोटा हिस्सा हल्का-सा दूसरे टाइल में चला जाता है, तो उसे क्लिक करना चाहिए या नहीं, यह हमेशा उलझन पैदा करता है। जो एक इमेज लोड नहीं हुई, सिर्फ़ उसी को refresh भी नहीं कर सकते, और refresh करने पर ज़्यादातर लगता है कि फिर से शुरू से करना पड़ता है
    जैसा दूसरों ने भी कहा, Tor इस्तेमाल करने पर CAPTCHA का बिल्कुल लोड न होना आम बात है। तस्वीरें दिखाए बिना बस अटक जाता है। आम वेबसाइटें Tor पर भी ज़्यादातर ठीक चलती हैं, इसलिए यह CAPTCHA वाली तरफ़ की समस्या लगती है

    • जब कोई छोटा टुकड़ा हल्का-सा दूसरे टाइल में चला जाता है, तो हर बार खुद से पूछना पड़ता है कि क्या इसे क्लिक करना चाहिए

  • 7 साल पहले ही ऐसी भविष्यवाणी की गई थी: “मशीनें कैसे कब्ज़ा करेंगी? अगर CAPTCHA इतना कठिन हो जाए कि सिर्फ़ AI ही उसे हल कर सके, तो इंसान इंटरनेट से पूरी तरह बाहर कर दिए जाएँगे।” https://twitter.com/lapcatsoftware/status/771857826130034688

    • मेरा मानना है कि यह लगभग 7 साल पहले से ही होने लगा था
      “इस इमेज में कौन-सा टेक्स्ट है” वाले CAPTCHA कुछ समय तक काफ़ी कम हो गए थे, और शायद इसकी एक वजह यही रही होगी

  • सबमिशन का शीर्षक “AI bots are now outperforming humans in solving CAPTCHAs” था, और यह HN के शीर्षक नियम “अगर वह भ्रामक या clickbait नहीं है तो मूल शीर्षक का इस्तेमाल करें, उसे संपादित न करें” का उल्लंघन था
    अगर पोस्ट जमा करने वाला लेख में उसे जो बात महत्वपूर्ण लगती है, वह कहना चाहता है, तो वह उसे थ्रेड में कमेंट के रूप में लिख सकता है। तब उसका वह मत बाकी लोगों की तरह समान शुरुआती स्थिति में रखा जाएगा: https://hn.algolia.com/?dateRange=all&page=0&prefix=false&sort=byDate&type=comment&query=%22level%20playing%20field%22%20by:dang

  • शीर्षक को भ्रामक ढंग से संपादित किया गया था। असली शीर्षक और सार में यह नहीं कहा गया है कि AI “अब” इंसानों से बेहतर है
    वास्तविक शीर्षक An Empirical Study & Evaluation of Modern CAPTCHAs है
    लगभग 20 वर्षों से CAPTCHA बॉट्स को रोकने के लिए एक सुरक्षा उपाय के रूप में व्यापक रूप से इस्तेमाल होता रहा है, और इसके उपयोग बढ़ने के साथ इसे तोड़ने या bypass करने की तकनीकें भी लगातार विकसित हुई हैं
    साथ ही CAPTCHA भी परिष्कार और विविधता के मामले में विकसित हुआ है, और अब यह सिर्फ़ बॉट्स के लिए नहीं बल्कि इंसानों के लिए भी लगातार अधिक कठिन होता जा रहा है
    चूँकि यह पुरानी arms race जारी है, इसलिए यह जाँचना महत्वपूर्ण है कि सामान्य उपयोगकर्ताओं को आधुनिक CAPTCHA हल करने में कितना समय लगता है और वे उसे कैसे देखते हैं
    इस अध्ययन ने वास्तविक रूप से deploy किए जा रहे CAPTCHA में बदलाव किए बिना, लोकप्रिय वेबसाइटों के manual survey और user study के माध्यम से उनका मूल्यांकन किया
    1,400 प्रतिभागियों ने कुल 14,000 CAPTCHA हल किए, और सबसे लोकप्रिय प्रकारों के बीच बड़े अंतर दिखाई दिए
    दिलचस्प रूप से, हल करने में लगने वाला समय और उपयोगकर्ता की धारणा हमेशा आपस में संबंधित नहीं थे
    CAPTCHA को सीधे हल करने और account creation जैसे अधिक स्वाभाविक कार्य के हिस्से के रूप में हल करने के बीच के अंतर की भी तुलना की गई, और यद्यपि कई confounding factors थे, फिर भी experimental context का प्रभाव हो सकता है, इसलिए भविष्य के शोध में इसे ध्यान में रखना चाहिए
    अंत में, उन प्रतिभागियों का विश्लेषण भी किया गया जिन्होंने काम शुरू तो किया लेकिन पूरा नहीं किया, ताकि यह देखा जा सके कि CAPTCHA की वजह से उपयोगकर्ता काम बीच में छोड़ते हैं या नहीं

  • ऐसे पेपर यह बात चूक जाते हैं कि CAPTCHA में कई difficulty levels होते हैं
    जो लोग enterprise account इस्तेमाल करते हैं या CAPTCHA provider के साथ क़रीबी सहयोग में काम करते हैं, उन्हें बहुत अलग परिणाम दिखेंगे
    आजकल कई CAPTCHA provider कठिन मोड में कौन-सा CAPTCHA दिखाना है, यह तय करते समय इस आधार का इस्तेमाल करते हैं कि बड़े language model उसे हल न कर सकें
    CAPTCHA को जानबूझकर बहुत ज़्यादा कठिन न बनाने की एक वजह यह है कि pex.com जैसी जगहों को copyright enforcement के लिए उसे bypass कर पाना चाहिए
    मैं hcaptcha का संस्थापक रहा हूँ, इसलिए यह बता दूँ कि मेरी अपनी पक्षपातपूर्ण स्थिति हो सकती है

  • हाल के CAPTCHA, जैसे किसी object को घुमाकर puzzle मिलाना या समान item ढूँढना, बेहतर लगते हैं
    पुराने विकृत अक्षर पहचानने वाले तरीके, ख़ासकर i, 1, l में से कौन-सा है यह पहचानना, उससे भी ज़्यादा चिढ़ दिलाने वाला था