Firefox की सुरक्षा मजबूत करने के लिए Anthropic–Mozilla सहयोग

• Claude Opus 4.6 ने Mozilla के साथ सहयोग के माध्यम से Firefox में 22 कमजोरियाँ खोजीं, जिनमें से 14 को उच्च-जोखिम श्रेणी में वर्गीकृत किया गया
• इससे यह साबित हुआ कि AI मॉडल जटिल software में zero-day कमजोरियों का तेजी से पता लगा सकते हैं, और इनके fixes Firefox 148.0 version में शामिल किए गए
• Claude ने JavaScript engine सहित code के अलग-अलग हिस्सों में हज़ारों files का विश्लेषण किया और 112 reports जमा कीं, जिनके आधार पर Mozilla ने fixes किए
• यह भी पुष्टि हुई कि AI की कमजोरियाँ पता लगाने की क्षमता बहुत मजबूत है, लेकिन वास्तविक exploit (attack code) लिखने की क्षमता अभी सीमित है
• Anthropic ने AI-आधारित security research collaboration model का प्रस्ताव रखा और open source ecosystem के साथ सहयोग के ज़रिए defender-केंद्रित security strengthening पर ज़ोर दिया

---

Mozilla के साथ सहयोग का अवलोकन

• Claude Opus 4.6 ने 2 हफ्तों के विश्लेषण में Firefox की 22 कमजोरियाँ खोजीं, जिनमें से 14 को Mozilla ने उच्च-जोखिम माना
  • यह 2025 में Firefox में ठीक की गई उच्च-जोखिम कमजोरियों का लगभग 20% है
  • fixes Firefox 148.0 version में शामिल होकर करोड़ों उपयोगकर्ताओं तक पहुँचे
• Mozilla ने Anthropic की reports की पुष्टि करते हुए bug report standards और process साझा किए, जिससे एक collaborative verification system बना
• इस सहयोग को AI-आधारित security researchers और maintainers के बीच collaboration model के एक उदाहरण के रूप में पेश किया गया

AI मॉडल का उपयोग करके कमजोरी खोजने की प्रक्रिया

• Anthropic ने CyberGym benchmark से आगे बढ़कर अधिक यथार्थवादी test के लिए Firefox CVE dataset बनाया
  • Firefox एक जटिल और उच्च-सुरक्षा वाला open source project है, इसलिए यह AI की detection capability को परखने के लिए उपयुक्त लक्ष्य था
• Claude ने पहले पुराने CVE को reproduce किया, फिर latest version में नई कमजोरियों को खोजने की कोशिश की
  • पहले 20 मिनट में ही Use After Free memory vulnerability मिली, जिसे स्वतंत्र रूप से verify करने के बाद Mozilla को report किया गया
• इसके बाद Claude ने लगभग 6,000 C++ files का विश्लेषण कर 112 unique reports जमा कीं
  • इनमें से अधिकांश समस्याएँ Firefox 148 में ठीक की गईं, जबकि कुछ का समाधान आने वाले versions में किया जाएगा

कमजोरी exploit प्रयोग

• Claude की security capability की ऊपरी सीमा का आकलन करने के लिए यह प्रयोग किया गया कि क्या खोजी गई कमजोरियों को वास्तविक attack code में बदला जा सकता है
  • इसके लिए सैकड़ों tests और लगभग 4,000 डॉलर की API cost लगी
  • नतीजतन केवल 2 मामलों में ही वास्तविक exploit सफल हुआ, यानी detection की तुलना में attack generation क्षमता कम रही
• सफल exploit केवल test environment में काम किए, जहाँ वास्तविक browser की sandbox security features हटाई गई थीं
  • Firefox की multi-layered defense system ऐसे attacks को कम कर सकती है
• Anthropic ने इस प्रयोग के ज़रिए AI द्वारा attack tools के automated generation की संभावना को लेकर चेतावनी दी

AI-आधारित security research की best practices

• Anthropic ने patching agent research के ज़रिए ऐसे तरीके विकसित किए जिनसे LLM bug fix और verification कर सके
  • इसमें Task verifier नामक सहायक tool का उपयोग किया गया, जो AI के नतीजों की real time में जाँच करता है
  • यह अपने आप test करता है कि कमजोरी हटाई गई है या नहीं और program की functionality बनी हुई है या नहीं
• Mozilla द्वारा भरोसेमंद मानी गई reports के तीन मुख्य घटक थे
  • न्यूनतम reproducible test case
  • विस्तृत Proof-of-Concept
  • candidate patch code
• शोधकर्ताओं को सलाह दी गई कि LLM-आधारित vulnerability reports जमा करते समय verifiability और reproducibility के प्रमाण भी साथ दें

आगे की दिशा और सुरक्षा मजबूत करने की आवश्यकता

• Claude Opus 4.6 ने Firefox के अलावा Linux kernel जैसे प्रमुख projects में भी कमजोरियाँ खोजीं
• फिलहाल AI की detection और patching capability, exploit generation capability से बेहतर है, जो defenders के लिए अनुकूल स्थिति है
• लेकिन models की प्रगति की गति को देखते हुए, attack capability gap के जल्दी कम होने की संभावना है
• Anthropic फिलहाल Claude Code Security के माध्यम से researchers और maintainers को vulnerability detection और patching capabilities दे रहा है
• कंपनी ने developers से security strengthening के golden time का उपयोग करने की अपील की और
  • vulnerability discovery collaboration
  • bug report classification tools का विकास
  • automated patch suggestion features के विस्तार
    की योजना बताई

[mammal]

Mozilla Foundation Security Advisory 2026-13

यह वाकई कमाल है।

लगता है यह फिर से याद दिलाने वाला मामला है कि सख्त test cases कितने महत्वपूर्ण होते हैं।

[GN⁺]

Hacker News की रायें

• अगर आप किसी open source project की security maintenance संभाल रहे हैं, तो Claude Code से security audit करवाने पर विचार करना चाहिए
  Firefox जैसे बड़े project पर यह मुश्किल हो सकता है, लेकिन ज़्यादातर projects में token cost लगभग 3 डॉलर के आसपास रहती है
  संभव है कि हमलावर पहले से ऐसे audit कर रहे हों, इसलिए खुद यह न करना अब ज़िम्मेदाराना रवैया नहीं माना जा सकता
  Zulip core codebase का audit करते समय मॉडल से हर नतीजे की self-review भी करवाई गई, और इस प्रक्रिया में ज़्यादातर false positives हट गए
  उसके बाद बचे हुए मुद्दे भी code comments जोड़कर security model की मंशा स्पष्ट करने पर दोबारा audit में लगभग गायब हो गए

  • मैं AI के ऐसे इस्तेमाल की सिफारिश नहीं करूंगा
    “एक हफ्ते का काम कुछ सेकंड में कर दो” जैसी मांग व्यावहारिक रूप से संभव नहीं है
    नतीजे भरोसेमंद लग सकते हैं, लेकिन असलियत से अलग हो सकते हैं
    अगर AI को intern की तरह मानेंगे, तो निराशा नहीं होगी — क्या आप इतने बड़े program की पूरी security audit किसी intern को सौंपेंगे?
  • सोच रहा हूँ कि क्या AI security audit की best practices पर कोई लंबा लेख मौजूद है
    कुछ मामलों में यह बहुत अच्छा काम करता है, लेकिन कुछ में पूरी तरह बेकार साबित होता है
    फर्क आखिरकार context engineering और test harness की quality पर निर्भर लगता है
    यह मामला भी दिलचस्प था, लेकिन अगर और ठोस विवरण होते तो अच्छा होता

• मैंने भी हाल ही में अपना project open source किया, और एक Reddit user ने Claude से पूरा security audit चलाकर 15 vulnerabilities ढूंढ निकालीं
  FTS injection, LIKE wildcard injection, API authentication की कमी, privacy protection की कमी जैसी कई बातें थीं जो मुझसे छूट गई थीं
  सबसे चौंकाने वाली बात यह थी कि नतीजे बहुत systematic थे — severity classification, file path और line number, और documentation व actual code के बीच mismatch तक शामिल था
  खासकर “spec और reality के बीच gap” वाला analysis सबसे उपयोगी लगा
  LLM security audit की असली ताकत नया zero-day ढूंढने में नहीं, बल्कि उन दोहराव वाले और बारीक checks को संभालने में है जिन्हें इंसान अक्सर झंझट समझकर टाल देता है

• Firefox जैसे browser vulnerabilities की complexity को बहुत कम लोग समझते हैं
  एक साधारण UAF को wasm shellcode तक escalate करने में भी कई दिन लग जाते हैं
  AI cyber capability race अभी शांत दिख रही है, लेकिन लगता है कि इस साल के भीतर हालात बदलेंगे
  मैंने भी Anthropic की तरह Claude को VM और verifier देकर exploit generation के लिए कहा था, और kctf-eval environment में यह काफ़ी अच्छा चला
  लेकिन मॉडल वास्तव में क्या “समझता” है, या सिर्फ reward signal के हिसाब से नकल कर रहा है, यह अब भी साफ़ नहीं है

• यह दिलचस्प है कि Mozilla ने security advisory update किया
  मैं सोच रहा था कि एक release में 22 vulnerabilities किसने खोजीं, अब जाकर यह स्पष्ट हुआ

  • “Use After Free” बार-बार दिख रहा है, लेकिन ऐसी vulnerability का असल असर क्या हो सकता है, इस पर ठोस जानकारी कम है
    अगर यह सिर्फ file drop कराने जैसी चीज़ है तो खतरा सीमित है, लेकिन session data theft जैसी बात कहीं ज़्यादा गंभीर और दिलचस्प है
  • कई परिचित नाम दिख रहे हैं

• यह अजीब लगा कि bugs का ठोस विवरण नहीं दिया गया
  जानना चाहता हूँ कि ये सिर्फ edge cases हैं या वाकई अर्थपूर्ण समस्याएँ
  LLM जाने-पहचाने failure patterns अच्छी तरह पकड़ लेते हैं, लेकिन इसका मतलब यह नहीं कि वे हमेशा महत्वपूर्ण हों

  • Anthropic के मूल लेख और Mozilla की security advisory में bug list देखी जा सकती है
  • Claude द्वारा पाए गए कुछ bugs काफ़ी serious थे
    मैं security expert नहीं हूँ, लेकिन इसे सिर्फ “LLM है, इसलिए बड़ी बात नहीं” कहकर टालना सही नहीं लगता
  • पाए गए bugs में से एक पर विस्तृत analysis भी है
  • बिना ठोस विवरण के यह marketing article जैसा लगता है

• AI agents के साथ मेरा अनुभव मिश्रित रहा है
  test coverage बढ़ाने, fuzz testing setup करने, और static analysis tools configure करने में यह उपयोगी रहा
  लेकिन कई बार यह तब भी “बहुत सुरक्षित” घोषित कर देता है जब असल में कोई security boundary होती ही नहीं
  local bugs पकड़ने में अच्छा है, लेकिन कई features के interaction से बनने वाली complex vulnerabilities लगभग नहीं पकड़ पाता
  आखिरकार मॉडल के safety claims को हमेशा verify करना पड़ता है

  • [Mozilla employee] मैं इस बात से सहमत हूँ कि LLM अक्सर गलत होते हैं
    इस तरीके की असली value यह है कि यह verifiable testcases देता है
    यह साधारण analysis report की तुलना में कहीं अधिक efficient है
    पहले “यह सिर्फ local bugs ही पकड़ता है” वाली बात सही थी, लेकिन agentic SDK की वजह से अब हालात बदल गए हैं
  • अगर AI से coverage पूरी करवाएँ, तो बहुत सारे बेकार tests बन जाते हैं
    अगर coverage पहले से ही ऊँची है, तो बचा हुआ हिस्सा स्वभाव से ही मुश्किल क्षेत्र होता है
  • पारंपरिक static analysis भी pattern matching पर आधारित था, लेकिन हाल के AI-based static analysis tools कहीं बेहतर नतीजे दे रहे हैं
    खासकर कुछ मामलों में वे business logic vulnerabilities तक पकड़ लेते हैं
  • सच तो यह है कि ऐसी सीमाएँ असली developers में भी होती हैं
    local bugs जल्दी दिख जाते हैं, लेकिन अधूरी security boundaries शुरू में अक्सर पर्याप्त लगती हैं
  • Anthropic के red-team-only Claude का इस्तेमाल करने वालों और आम users की access level अलग है

• Anthropic ने Firefox को चुना, इसकी वजह साफ़ है
  यह व्यापक रूप से इस्तेमाल होने वाला open source project है और इसमें security validation भी सक्रिय रूप से होती रहती है
  Chromium Google का Gemini इस्तेमाल करता है, और Safari की development culture अधिक बंद है, इसलिए collaboration मुश्किल होता

  • Firefox, Chromium जितना ही complex है, लेकिन resources बहुत कम वाला project है, इसलिए प्रयोग के लिए उपयुक्त है
  • Safari में black-box attack की ज़रूरत पड़ती, इसलिए इस तरह का approach वहाँ कठिन होता

• Anthropic के लेख के मुताबिक, Claude द्वारा लिखा गया exploit सिर्फ test environment में चला
  क्योंकि असली browser की sandbox functionality हटाई गई थी
  इसलिए Firefox की defense in depth इस तरह के हमले को कम कर सकती थी

  • [Anthropic employee, former Mozilla] Firefox sandbox के अंदर की vulnerabilities को भी independent security issue मानता है
    Chrome भी लगभग यही policy अपनाता है
    संबंधित दस्तावेज़ Security Severity Ratings में देखे जा सकते हैं
  • sandbox होने का मतलब यह नहीं कि vulnerability को नज़रअंदाज़ किया जाए
    sandbox escape भी संभव है, इसलिए हर bug को fix करना ज़रूरी है
  • sandbox रोक भी दे, तब भी vulnerability fix करना महत्वपूर्ण है
    हमलावर ऐसे partial zero-days जमा करके बाद में जोड़कर इस्तेमाल कर सकते हैं
    इस बार की fix ने इस खतरे को कम किया, इसलिए यह स्पष्ट security improvement है

• मैं भी AI agents को रात भर चलाकर tests लिखवाता हूँ, और Claude से formal verification कराने की कोशिश भी कर चुका हूँ
  लगता है Anthropic ने भी कुछ ऐसा ही approach अपनाया
  आगे मैं property testing और fuzz testing automate करने वाले prompts जोड़ने की योजना बना रहा हूँ

  • जानना चाहता हूँ कि क्या हल्की formal verification के कोई वास्तविक उदाहरण हैं
    मुझे लगता है कि जिन समस्याओं पर मैं काम करता हूँ, उनमें इतनी भारी तकनीक की ज़रूरत नहीं, लेकिन हो सकता है मेरा आकलन गलत हो

• लगता है कि कभी न कभी Google के OSS-Fuzz जैसी कोई automated security audit system open source के core projects के लिए आएगी
  Anthropic पहले ही OSS maintainers को Claude access मुफ़्त दे रहा है
  LLM की वजह से bug bounty programs में fake reports की बाढ़ आ गई है, लेकिन नए models अब real vulnerabilities अलग पहचानने के स्तर तक पहुँच रहे हैं
  अगर आप free या low-cost models से मूल्यांकन करेंगे, तो quality कम लगना स्वाभाविक है
  इसके बजाय advanced LLM का इस्तेमाल करके security audit program चलाया जाए, तो quality सुनिश्चित की जा सकती है
  bug bounty को बचाने के लिए entry fee लगाना या LLM-based verification लाना भी एक तरीका हो सकता है

  • Google पहले से Big Sleep नाम का AI-based security project चला रहा है, और कई open source projects को vulnerabilities report कर रहा है
    संबंधित लिंक
  • अगर bug reports को अपने-आप verify करने वाली system हो, तो अच्छा होगा
    जैसे VM चलाकर agent से reproduction test कराया जाए
  • मुझे याद है कि Anthropic की free offering हर 6 महीने में auto-renew होने वाले रूप में चलती है