$5 के प्रॉम्प्ट से मैंने $2,418 की भेद्यता खोजी

पूरा एक-पंक्ति सारांश

• LLM प्रॉम्प्ट और source code bundling पर आधारित एक सस्ते पाइपलाइन से Django और FastAPI(Starlette) में denial-of-service भेद्यताओं के 3 मामले खोजे गए (CVE-2025-64458, CVE-2025-64460, CVE-2025-62727)

सारांश

• DEF CON LiveCTF और DARPA AIxCC में शीर्ष टीमों को LLM की मदद से binaries तोड़ते और नए 0-day तक खोजते देखकर यह महसूस हुआ कि वास्तविक offensive research क्षेत्र में भी LLM इंसानों से बेहतर दक्षता दिखा सकता है
• AIxCC में भाग लेने वाली टीमों (Team Atlanta, Theori) के GitHub archives और RoboDuck डिज़ाइन को खंगालते हुए लगा कि "fuzzing की जगह LLM से bug ढूंढने" वाला दृष्टिकोण vulnerability discovery workflow में अपनाया जा सकता है
• Django, DRF, Python में कई security issues report करते हुए जुटाए गए context का उपयोग कर, LLM की मदद से Django framework में denial-of-service श्रेणी की नई भेद्यताएँ ढूंढना एक स्पष्ट पहला लक्ष्य बनाया गया
• binaries analysis और patching तक सब कुछ automate करने वाले AIxCC प्रतिभागी मॉडलों के विपरीत, script-based Django को लक्ष्य बनाकर केवल “संदिग्ध दिखने वाले code segment candidates इकट्ठा करने वाले चरण” को automate किया गया, ताकि लागत कुछ डॉलर तक सीमित रहे
• LLM को "Django में security vulnerabilities खोजने वाला security researcher" की भूमिका दी गई, और DoS उदाहरण CVE diff, <tips> constraints, तथा output format examples को मिलाकर एक लंबा प्रॉम्प्ट बनाया गया, ताकि अनावश्यक patch suggestions रोकी जा सकें और false positive दर कम हो
• Django source code को एक ही directory के हिसाब से XML में bundle करके 40K tokens से छोटे हिस्सों में बांटकर GPT-5 को दिया गया, ताकि इस तरीके से पूरे framework पर एक बार चलाने की लागत लगभग 5 डॉलर के आसपास बनी रहे
• Workflow में मिले false-positive candidates की समीक्षा करते समय कई वर्षों से छूटे हुए कमजोर patterns भी सामने आए। वैधता जांच की प्रक्रिया में भी इसने security issue के root cause की व्याख्या और PoC लिखने में बेहतरीन क्षमता दिखाई
• बाद में OpenAI API की जगह Codex CLI के साथ AGENTS.md प्रॉम्प्ट जोड़कर Django source को सक्रिय रूप से खंगाला गया, और उसके परिणामस्वरूप HttpResponseRedirectBase के URL hostname handling में O(n²) DoS भेद्यता मिली, जिसे CVE-2025-64458 के रूप में पंजीकृत किया गया
• यही प्रॉम्प्ट FastAPI (सटीक रूप से Starlette) पर लागू करने पर यह सामने आया कि FileResponse की Range header merge logic regex-आधारित O(n²) processing के कारण ReDoS उत्पन्न कर सकती है, जिसे CVE-2025-62727 के रूप में सार्वजनिक किया गया और Snyk के अनुसार CVSS 8.7 (High) रेटिंग मिली

[kdy1234]

कमाल की पहल.. बहुत शानदार है

[princox]

यह इतना अच्छा उदाहरण है कि इसे बाहरी प्रस्तुति सामग्री में उद्धृत किया जा सकता है। इसे सहेजकर रखना चाहिए।

[heycalmdown]

पूंजी के नज़रिए से, मेरा मानना है कि जितना अधिक किसी high-context काम के लिए सूक्ष्म और लंबे prompts की ज़रूरत होती है, उसका प्रतिस्थापन उतना ही देर से हो पाएगा।

मुझे भी यह हिस्सा एक शानदार insight लगा।

[gguimoon]

मुझे भी सिर्फ़ रुचि ही थी और मैंने वास्तव में इसमें गहराई से काम नहीं किया था, लेकिन यह लेख प्रेरणा और insight दोनों देता है। अच्छी लेख-सिफारिश है।

[heycalmdown]

सिर्फ सारांश देखकर मेरी जो शुरुआती धारणा बनी थी (क्लिकबेट जैसा लगा..) उसके मुकाबले लेख की सामग्री कहीं बेहतर है। जिनकी रुचि हो, उन्हें मूल लेख पढ़ने की सलाह दूँगा।