Curl: हमें अब तक AI की मदद से लिखी गई कोई वैध सुरक्षा रिपोर्ट नहीं मिली है

 (linkedin.com)
7 पॉइंट द्वारा GN⁺ 2025-05-07 | 3 टिप्पणियां | WhatsApp पर शेयर करें
  • curl प्रोजेक्ट ने AI-आधारित security report के दुरुपयोग के कारण AI का उपयोग करने वाले रिपोर्टरों को तुरंत ब्लॉक करने की नीति अपनाई है
  • अब से सभी security reporters को "क्या आपने AI का उपयोग किया है?" इस सवाल का स्पष्ट जवाब देना होगा, और AI उपयोग करने पर अतिरिक्त verification questions पूछे जाएंगे
  • प्रोजेक्ट की ओर से ज़ोर देकर कहा गया कि AI द्वारा लिखी गई रिपोर्टें ज़्यादातर बेकार "AI slop" हैं, और वास्तव में वैध रिपोर्ट का एक भी उदाहरण नहीं मिला
  • यह निष्कर्ष निकाला गया कि HackerOne के ज़रिए AI दुरुपयोग वाली रिपोर्टें हद से आगे बढ़ गई थीं, और इसे लगभग DDoS attack स्तर की बाधा माना गया
  • इस समस्या की शुरुआत का उदाहरण https://hackerone.com/reports/3125832 है, और यही रिपोर्ट प्रतिक्रिया नीति बदलने की वजह बनी

संबंधित पढ़ाई

3 टिप्पणियां

 
sagee 2025-05-07

लगभग ऐसा ही विचार
 
imnotarobot 2025-05-07

क्या आप रोबोट हैं?
 
GN⁺ 2025-05-07
Hacker News राय

  • मैं मिलियन-डॉलर स्तर के bug bounty program की reports संभालता हूँ

    • AI spam गंभीर है
    • मुझे LLM के जरिए कभी कोई वैध report नहीं मिली
    • लोग यह वजह कि bug report वैध नहीं है, फिर से LLM में डालते हैं और उससे और भी उलझाऊ नतीजे मिलते हैं
    • "spam के रूप में बंद" करने के अलावा जवाब देना भी उचित नहीं लगता
    • मुझे भरोसा है कि कभी न कभी शानदार code security tools आएँगे, लेकिन समस्या यह है कि लोग मानते हैं कि वह दिन आज ही है
    • मुझे उन लोगों की चिंता है जो सच और कचरे में फर्क नहीं कर पाते

  • जो लोग लिंक पर क्लिक नहीं करना चाहते, उनके लिए https://hackerone.com/reports/3125832 गलत curl report का ताज़ा उदाहरण है

  • अगर किसी बड़े open source project में vulnerability डालनी हो, तो एक आसान तरीका यह होगा कि AI का इस्तेमाल करके उनकी vulnerability reports पर DDOS जैसा हमला कर दिया जाए ताकि असली reports ढूँढना मुश्किल हो जाए

    • नकली reports को देखने पर वे असली इंसान की तरह नहीं लगतीं
    • अगर मकसद पहचान पाना नहीं है, तो समझ नहीं आता कि लोग ऐसा क्यों कर रहे हैं

  • वह commit जिसने आख़िरी वार किया, उसे पढ़ें तो समस्या अच्छी तरह समझ आती है: https://hackerone.com/reports/3125832

    • ऐसी चीज़ों की तह तक जाना सच में गुस्सा दिलाने वाला होगा
    • सोचता हूँ कि क्या यहाँ reputation system काम कर सकता है
    • मेरा सुझाव है कि AML/KYC provider के साथ पहचान सत्यापित करने वाले लोगों को reputation दी जाए, और हर बार सही vulnerability खोजने पर वह reputation बढ़े
    • AI इस क्षेत्र की अर्थव्यवस्था बदल रहा है

  • report खोले बिना भी पता चल जाता है कि यह सब hallucination होगा

    • मूल patch file और segfault दोनों ही गलत हैं
    • लगता है ये लोग बिना verify किए AI-generated output को यूँ ही random तरीके से भेज रहे हैं

  • evilginx ने severity बढ़ा दी

    • report लिखने वाले ने साफ़ लिखा कि वह नौकरी चाहता है
    • सोचता हूँ क्या वह ChatGPT का इस्तेमाल करके AI-generated project spam भेजने के लिए किसी को ढूँढ रहा है

  • ज़्यादातर LLM, जब उनसे code में security vulnerabilities ढूँढने को कहा जाता है, तो पूरी तरह काल्पनिक चीज़ें बना देते हैं

    • गलत code की वजह से बेमानी "fixes" मिलते हैं
    • user की माँग और system की प्रभावशीलता के बीच का mismatch मुख्य समस्या है

  • जो बात AI का बहुत इस्तेमाल करने वाले लोगों से बातचीत में निराशाजनक लगती है, वह यह है कि वे अक्सर "मैंने ChatGPT से पूछा, और उसने कहा..." से शुरू करते हैं

    • अगर chatbot ने जो सिखाया उसे आपने समझ लिया है, तो उसे समझाकर बताइए; और अगर समझा नहीं या भरोसा नहीं है, तो उसका ज़िक्र ही मत कीजिए

  • समाधान सरल है

    • security report submit करने से पहले reporter $10 escrow में जमा करे, और अगर submission AI-generated कचरा निकले तो वह reviewer को दे दिया जाए

  • एक अलग राय यह है कि हमारे पास CVE हैं, और फर्क यह है कि हमारे co-founder एक aggressive kernel researcher थे

    • system औसत व्यक्ति की तुलना में बेहतर तरह से tuned है
    • curl को मिली गलत reports की मात्रा बेहद ज़्यादा है
    • tools वास्तव में काम कर रहे हैं, लेकिन जल्दी पैसा कमाने की कोशिश करने वाले बहुत लोग हैं, इसलिए इस शोर को फ़िल्टर करना पड़ता है