Project Glasswing: शुरुआती अपडेट

 (anthropic.com)
1 पॉइंट द्वारा GN⁺ 3 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Project Glasswing एक सहयोगी प्रोजेक्ट है जिसका उद्देश्य अधिक शक्तिशाली AI मॉडल के दुरुपयोग से पहले महत्वपूर्ण सॉफ़्टवेयर की रक्षा करना है, और इसमें लगभग 50 पार्टनर शामिल हैं
  • Claude Mythos Preview ने पार्टनर कोड में 10,000 से अधिक high और critical vulnerabilities खोजीं, और कई पार्टनरों की खोज की गति 10 गुना से अधिक बढ़ गई
  • 1,000 से अधिक open source प्रोजेक्ट्स में 23,019 vulnerabilities का अनुमान लगाया गया, और सत्यापित 1,752 में से 90.6% वास्तव में true positive निकले
  • bottleneck vulnerability खोज से हटकर validation, reporting, patching, deployment पर चला गया है, और high/critical bugs को patch होने में औसतन 2 हफ्ते लगते हैं
  • Anthropic ने अभी तक Mythos-स्तर के मॉडल को आम तौर पर जारी नहीं किया है, और developers व defenders को patch cycle घटाने और बुनियादी security controls मजबूत करने की ज़रूरत है

शुरुआती नतीजे और प्रकटीकरण के सिद्धांत

  • Project Glasswing एक सहयोगी प्रोजेक्ट है जिसका लक्ष्य अधिक शक्तिशाली AI मॉडल के दुरुपयोग से पहले वैश्विक रूप से महत्वपूर्ण सॉफ़्टवेयर की रक्षा करना है
  • Anthropic और लगभग 50 पार्टनरों ने Claude Mythos Preview की मदद से महत्वपूर्ण सॉफ़्टवेयर में 10,000 से अधिक high-severity या critical vulnerabilities खोजीं
  • सॉफ़्टवेयर सुरक्षा में bottleneck नई vulnerabilities खोजने की गति से हटकर AI द्वारा खोजी गई बड़ी संख्या की vulnerabilities को validate, disclose, patch करने की गति पर आ गया है

  • vulnerability disclosure का तरीका

    • सामान्य vulnerability disclosure प्रथा में नई vulnerability मिलने के 90 दिन बाद उसे सार्वजनिक किया जाता है, या यदि 90 दिन से पहले patch तैयार हो जाए तो patch उपलब्ध कराने के लगभग 45 दिन बाद सार्वजनिक किया जाता है
    • Anthropic की Coordinated Vulnerability Disclosure policy भी इसी तरीके का पालन करती है, ताकि end users को हमले से पहले update करने का समय मिल सके
    • Mythos Preview द्वारा खोजी गई partner vulnerabilities का विवरण जल्दी सार्वजनिक करने से end users जोखिम में पड़ सकते हैं, इसलिए अभी प्रतिनिधि उदाहरणों और समेकित आँकड़ों पर केंद्रित जानकारी साझा की जा रही है
    • patches व्यापक रूप से deploy हो जाने के बाद अधिक विस्तृत तकनीकी जानकारी सार्वजनिक की जाएगी

पार्टनरों और बाहरी मूल्यांकन में दिखा प्रदर्शन

  • Project Glasswing के शुरुआती पार्टनर ऐसे सॉफ़्टवेयर बनाते और बनाए रखते हैं जो इंटरनेट और essential infrastructure के संचालन के लिए महत्वपूर्ण हैं
  • इस कोड की खामियाँ ठीक करने से उस सॉफ़्टवेयर पर निर्भर कई संगठनों और अरबों end users का जोखिम कम होता है
  • प्रोजेक्ट शुरू होने के एक महीने बाद, अधिकांश पार्टनरों ने अपने-अपने स्तर पर सैकड़ों critical या high-severity vulnerabilities खोज लीं, और कुल खोजों की संख्या 10,000 से अधिक हो गई
  • कई पार्टनरों की bug-finding गति 10 गुना से अधिक बढ़ी
  • Cloudflare ने critical path systems में 2,000 bugs खोजे, जिनमें से 400 high या critical severity के थे, और उसका आकलन था कि false positive rate मानव testers से बेहतर था

  • बाहरी टेस्ट और benchmarks

    • यूके के AI Security Institute ने Mythos Preview को अपने दो cyber ranges में, यानी multi-stage cyber attack simulation को पहली बार end-to-end हल करने वाला मॉडल बताया
    • Mozilla ने Firefox 150 testing में 271 vulnerabilities खोजकर ठीक कीं, जो Firefox 148 में Claude Opus 4.6 से मिली संख्या से 10 गुना से अधिक थीं
    • स्वतंत्र security platform XBOW ने आकलन किया कि Mythos Preview ने web exploit benchmark पर पिछले सभी मॉडलों की तुलना में “महत्वपूर्ण छलांग” दिखाई, और token-per-token आधार पर “अभूतपूर्व precision” दी
    • ExploitBench और ExploitGym exploit development capability को मापने वाले हाल के academic benchmarks हैं, और Mythos Preview ने इनमें सबसे मजबूत प्रदर्शन दिखाया

  • patch deployment की बदलती गति

    • Palo Alto Networks की नवीनतम release में सामान्य से 5 गुना से अधिक patches शामिल थे
    • Microsoft ने कहा कि नए patches की संख्या “कुछ समय तक लगातार बढ़ती रहेगी”
    • Oracle अपने products और cloud में vulnerabilities को पहले की तुलना में कई गुना तेज़ी से खोज और ठीक कर रहा है
    • Mythos Preview का उपयोग vulnerability detection के अलावा अन्य security tasks में भी हुआ, और एक Glasswing partner bank में इसने उस 15 लाख डॉलर के fraudulent transfer को detect और block करने में मदद की, जिसमें threat actor ने customer email accounts compromise किए और spoofed calls का भी इस्तेमाल किया था

open source स्कैन के नतीजे

  • Anthropic ने पिछले कुछ महीनों में Mythos Preview की मदद से 1,000 से अधिक open source projects को स्कैन किया, जो इंटरनेट और उसके अपने infrastructure के बड़े हिस्से को सहारा देते हैं
  • Mythos Preview ने इन projects में कुल 23,019 vulnerabilities का अनुमान लगाया, जिनमें से 6,202 को high या critical severity का आकलन दिया गया

  • सत्यापित vulnerabilities के आँकड़े

    • high या critical severity के रूप में आंकी गई vulnerabilities में से 1,752 का सावधानीपूर्वक मूल्यांकन 6 स्वतंत्र security research firms या कुछ मामलों में Anthropic ने किया
    • इनमें से 90.6%, यानी 1,587, वास्तविक true positive निकलीं
    • इनमें से 62.4%, यानी 1,094, अंततः high या critical severity के रूप में पुष्टि हुईं
    • यदि मौजूदा post-hoc classification मानदंडों के आधार पर true positive rate लागू किया जाए, तो भले ही Mythos Preview अब कोई नई vulnerability न खोजे, open source code में लगभग 3,900 high या critical severity vulnerabilities सामने आने की उम्मीद है
    • Anthropic फिलहाल open source code scanning जारी रखेगा, इसलिए यह संख्या और बढ़ने की संभावना है

  • wolfSSL vulnerability का उदाहरण

    • wolfSSL एक open source cryptography library है जो अपनी security के लिए जानी जाती है और दुनिया भर में अरबों devices में उपयोग होती है
    • Mythos Preview ने एक exploit तैयार किया जो attacker को certificate forge करने में सक्षम बनाता है
    • यह vulnerability attacker को बैंक या email provider की नकली websites चलाने की सुविधा देती है, जो end users को असली site जैसी दिखती हैं लेकिन वास्तव में attacker के नियंत्रण में होती हैं
    • इस vulnerability को पहले ही patch किया जा चुका है और इसे CVE-2026-5194 दिया गया है
    • पूरा technical analysis आने वाले हफ्तों में सार्वजनिक किया जाएगा

validation, disclosure, patching का bottleneck

  • Mythos Preview के कारण vulnerability discovery बहुत आसान हो गई है, लेकिन bottleneck bugs को classify, report, patch design, deploy करने की मानवीय processing capacity में है
  • Anthropic ने स्कैन की गई open source vulnerability dashboard जारी की है, जो coordinated disclosure प्रक्रिया के हर चरण और उसकी प्रगति को ट्रैक करती है
  • हर चरण में संख्या का तेज़ी से घट जाना इस बात को दिखाता है कि प्रत्येक vulnerability को verify और fix करने के लिए कितने मानवीय काम की ज़रूरत होती है
  • Anthropic या बाहरी security firms Mythos द्वारा खोजी गई समस्याओं को reproduce करती हैं, severity का पुनर्मूल्यांकन करती हैं, यह जाँचती हैं कि कहीं पहले से fix तो नहीं किया गया, और फिर maintainers को भेजने के लिए विस्तृत reports तैयार करती हैं
  • open source maintainers पहले से मौजूद maintenance burden के साथ-साथ low-quality AI-generated bug reports की बाढ़ भी संभाल रहे हैं
  • कई maintainers की processing capacity बहुत सीमित है, और कुछ ने कहा कि patch design के लिए समय चाहिए, इसलिए disclosure की गति धीमी करने का अनुरोध किया
  • Mythos Preview द्वारा खोजे गए high या critical severity bugs को patch होने में औसतन 2 हफ्ते लगते हैं

  • disclosure और patching की स्थिति

    • maintainers के अनुरोध पर कुछ मामलों में बिना अतिरिक्त evaluation के bugs सीधे disclose भी किए जाते हैं
    • अब तक 1,129 unverified bugs सीधे report किए गए हैं, जिनमें से 175 को Mythos Preview ने high या critical severity का अनुमान दिया था
    • अब तक maintainers को disclose किए गए high या critical severity bugs की संख्या लगभग 530 मानी जा रही है
    • इसके अतिरिक्त 827 confirmed vulnerabilities हैं, जिन्हें इसी तरीके से high या critical severity माना गया है और यथाशीघ्र disclose किया जाएगा
    • report किए गए 530 high या critical severity bugs में से 75 patch हो चुके हैं, और उनमें से 65 को public advisory दी गई है
    • Coordinated Vulnerability Disclosure policy की 90-दिन window अभी शुरुआती चरण में है, इसलिए आगे और patches आने की उम्मीद है
    • कुछ vulnerabilities public advisory के बिना patch हो जाती हैं, इसलिए Claude के ज़रिए सीधे patch status स्कैन करना पड़ता है, और patch count कम आंका गया हो सकता है
    • vulnerability discovery आसान हो गई है लेकिन fixing धीमी है; यह असंतुलन cyber security की एक बड़ी चुनौती बनकर उभर रहा है, और यदि इसे ठीक से संभाला जाए तो सॉफ़्टवेयर पहले की तुलना में बहुत अधिक सुरक्षित हो सकता है

cyber security के नए चरण के लिए प्रतिक्रिया

  • Mythos Preview जैसी cyber security capability वाले models जल्द ही अधिक व्यापक रूप से उपलब्ध हो सकते हैं
  • पूरे software industry में ऐसे models द्वारा पैदा होने वाली बड़ी मात्रा की findings को संभालने के लिए काफी बड़े पैमाने के प्रयास की ज़रूरत है
  • vulnerability discovery, patch writing, और patch के end users तक व्यापक रूप से deploy होने के बीच आज भी अक्सर लंबी देरी होती है
  • Mythos-स्तर के models vulnerabilities खोजने और exploit करने में लगने वाला समय और लागत बहुत कम कर देते हैं, जिससे इन delays से पैदा होने वाला जोखिम बढ़ जाता है
  • लंबे समय में Mythos-स्तर के models deployment से पहले bugs पकड़कर developers को कहीं अधिक सुरक्षित software बनाने में मदद कर सकते हैं
  • लेकिन उस मध्यावधि में, जब vulnerabilities तेज़ी से खोजी जा रही हों और patches धीरे आ रहे हों, नया जोखिम पैदा होता है

  • software developers के लिए ज़रूरी कदम

    • developers को patch cycle कम करनी चाहिए और security fixes यथासंभव जल्दी उपलब्ध करानी चाहिए
    • सार्वजनिक रूप से उपलब्ध AI models का सावधानीपूर्वक उपयोग इस काम में मदद कर सकता है
    • users के लिए updates install करना यथासंभव आसान बनाया जाना चाहिए ताकि वे latest versions पर बने रहें
    • जो users ज्ञात vulnerabilities वाले software को चलाते रहते हैं, उन्हें जहाँ संभव हो अधिक दृढ़ता से update करने के लिए प्रेरित किया जाना चाहिए

  • network defenders के लिए ज़रूरी कदम

    • network defenders को patch testing और deployment schedules को छोटा करना चाहिए
    • National Institute of Standards and Technology और यूके के National Cyber Security Centre द्वारा सुझाए गए मुख्य controls और भी महत्वपूर्ण हो जाते हैं, क्योंकि वे इस बात पर निर्भर हुए बिना security बढ़ाते हैं कि कोई specific patch समय पर apply हुआ या नहीं
    • इनमें default network settings को harden करना, multi-factor authentication लागू करना, और detection व response के लिए comprehensive logs बनाए रखना जैसी कार्रवाइयाँ शामिल हैं

सार्वजनिक AI models का उपयोग करने वाले defense tools

  • आम तौर पर उपलब्ध कई models सबसे परिष्कृत vulnerabilities खोजने या Claude Mythos Preview जितनी प्रभावी exploitation करने में सक्षम नहीं हैं, लेकिन वे पहले से ही कई software vulnerabilities खोज सकते हैं
  • Project Glasswing ने कई संगठनों को publicly available models से अपने codebases की जाँच करने के लिए प्रेरित किया है, और Anthropic इसे और आसान बनाने पर काम कर रहा है

  • Claude Security

    • Claude Security को Claude Enterprise customers के लिए public beta में जारी किया गया है
    • यह एक ऐसा tool है जो teams को codebases में vulnerabilities scan करने और suggested fixes generate करने में मदद करता है
    • release के बाद 3 हफ्तों में Claude Opus 4.7 का उपयोग 2,100 से अधिक vulnerabilities patch करने में किया गया
    • कंपनियाँ अपना खुद का code ठीक कर सकती हैं, जबकि open source fixes में आम तौर पर coordinated disclosure process और volunteer maintainers की आवश्यकता होती है, इसलिए Claude Security की patching गति ऊपर बताए गए open source patching से तेज़ है

  • Cyber Verification Program

    • Cyber Verification Program security professionals को वैध cyber security उद्देश्यों के लिए Anthropic models इस्तेमाल करने की अनुमति देता है
    • vulnerability research, penetration testing, और red-team activities जैसे उपयोगों में models को cyber misuse रोकने वाले कुछ safeguards के बिना इस्तेमाल किया जा सकता है

  • Mythos Preview के साथ इस्तेमाल किए गए tools

    • Anthropic और उसके पार्टनरों द्वारा Mythos Preview के साथ इस्तेमाल किए गए tools योग्य customer security teams को request के आधार पर उपलब्ध कराए जाते हैं
    • लक्ष्य यह है कि जटिल setup के बिना भी शक्तिशाली public models की क्षमता का बेहतर लाभ उठाने में मदद मिले
    • skills: Anthropic और पार्टनरों द्वारा बनाए और साझा किए गए repetitive tasks के लिए custom instructions
    • harness: ऐसा configuration जो Claude को codebase map करने, scanning sub-agents चलाने, findings classify करने और reports लिखने में मदद करता है
    • threat model builder: codebase map करके संभावित attack targets पहचानता है और model work को priority देता है
    • Cisco Project Glasswing के पार्टनरों में से एक है, और दूसरे defenders Cisco जैसी evaluation system बना सकें, इसके लिए उसने हाल ही में Foundry Security Spec को open source किया है

ecosystem support और अगले कदम

  • Anthropic ने Open Source Security Foundation के Alpha-Omega project के साथ partnership की है, ताकि maintainers को bug reports संभालने और classify करने में मदद मिल सके
  • Anthropic frontier AI models की exploit development capability को समय के साथ track करने वाले नए benchmarks ExploitBench और ExploitGym के विकास का समर्थन कर रहा है
  • इन benchmarks के बारे में अधिक जानकारी Frontier Red Team blog में दी गई है
  • External Researcher Access Program के माध्यम से अन्य high-quality quantitative benchmarks के विकास को भी समर्थन दिया जा रहा है
  • Claude for Open Source maintainers और contributors को support करता है, और Anthropic ने कहा है कि आगे वह अपने द्वारा अपनाए जाने वाले सभी open source packages को scan करेगा
  • AI प्रगति की गति को देखते हुए, Mythos Preview जितने शक्तिशाली models जल्द ही कई AI कंपनियों द्वारा विकसित किए जाने की संभावना है
  • फिलहाल Anthropic समेत कोई भी कंपनी इतने मजबूत safeguards विकसित नहीं कर पाई है कि ऐसे models के दुरुपयोग से गंभीर नुकसान होने से रोका जा सके
  • इसी वजह से Anthropic ने अभी तक Mythos-स्तर के models को आम जनता के लिए जारी नहीं किया है
  • Project Glasswing की शुरुआत इस चिंता से हुई कि यदि समान क्षमता वाले models पर्याप्त safeguards के बिना जारी कर दिए गए, तो दुनिया में लगभग किसी के लिए भी defective software का exploit करना बहुत सस्ता और आसान हो जाएगा
  • Glasswing सबसे अधिक systemically important cyber defenders को asymmetric advantage दिलाने में मदद करता है, लेकिन जितना संभव हो उतने अधिक संगठनों के लिए अपनी defense capability मजबूत करना एक तात्कालिक आवश्यकता है
  • Anthropic, अमेरिका और उसके सहयोगी देशों की सरकारों सहित प्रमुख पार्टनरों के साथ मिलकर, Project Glasswing को और पार्टनरों तक विस्तारित करने की योजना बना रहा है
  • आवश्यक और कहीं अधिक मजबूत safeguards विकसित करने के बाद, निकट भविष्य में Mythos-स्तर के models को सामान्य release के रूप में उपलब्ध कराने का लक्ष्य है
  • दीर्घकालिक लक्ष्य ऐसा वातावरण बनाना है जहाँ महत्वपूर्ण code आज की तुलना में कहीं अधिक मज़बूती से सुरक्षित हो और hacking बहुत कम सामान्य हो

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 3 시간 전
Hacker News की राय

  • Codex Security को हमने बस प्रयोग के तौर पर चालू किया था, और एक हफ्ता भी नहीं बीता कि वह पूरी टीम के लिए अनिवार्य टूल बन गया
    इसकी accuracy हैरान करने वाली थी, इसने मौजूदा code में बहुत से security issues ढूंढ निकाले, और हर commit पर लगातार उन्हें पकड़ता रहा
    हमारे हिसाब से यह लगभग 90% accuracy पर है, और “Low” के रूप में चिह्नित items में भी गहराई से देखने पर कई बार वास्तव में exploit किए जा सकने वाले मामले निकले
    ऐसी गलतियां junior से लेकर senior तक, सभी करते हैं और ये bug के एक प्रकार हैं, इसलिए आगे चलकर AI से coding, AI से review, और AI से vulnerabilities ढूंढना development lifecycle का एक सामान्य हिस्सा बन जाएगा

    • तो क्या इसका मतलब यह हुआ कि Claude Code security bugs बनाता है, Claude Security उन्हें ढूंढता है, और Claude Code fixes बनाते हुए tokens खर्च करता है, और इसी से revenue बनता है?
    • https://blog.chuanxilu.net/en/posts/2026/05/dual-pass-review...
      मैंने design से लेकर coding तक development के हर चरण में समस्याओं और bugs को खंगालने वाले iterative loop का इस्तेमाल करके देखा है, ताकि यह पक्का किया जा सके कि final software वास्तव में इरादे के मुताबिक सही काम कर रहा है
    • मेरा अनुभव भी ऐसा ही रहा
      UI थोड़ा भ्रमित करता है; इसमें “5 scans” लिखा होता है, लेकिन 1 scan का मतलब repository की default branch की continuous monitoring होता है
      high-impact findings लगभग सभी सही निकले, और खास तौर पर documentation की quality तथा fix suggestions का संकुचित और सटीक होना बहुत प्रभावशाली था
      Codex आम तौर पर जरूरत से काफी ज्यादा code बनाने का आदी था, लेकिन security model के fixes अक्सर 10 lines से कम होते हैं और सिर्फ सही जगह को target करते हैं
      beta खत्म होने के बाद यह काफी महंगा हो सकता है, लेकिन किसी enterprise के नज़रिए से देखें तो इतना अच्छा है कि तुरंत अपनाना चाहेंगे
    • LLMs में मैंने जो समस्याएं देखी हैं, उनमें से एक यह है कि “safety” के नाम पर वे अनावश्यक code जोड़ देते हैं, और ऐसी चीजें भी आत्मविश्वास से बहुत बना देते हैं जो पहले उपयोगी थीं लेकिन अब standard library खुद ठीक से संभाल लेती है
      code में मेरा मानना है कि कम होना बेहतर है, इसलिए यह रुझान काफी परेशान करने वाला है
      इस जाल से कैसे बचते हैं?
    • मैं यह setup सुझाऊंगा कि gpt-5.5-cyber को orchestrator रखा जाए और deepseek-v4-flash या दूसरे तेज़ और सस्ते models को worker models की तरह इस्तेमाल किया जाए
      इस configuration से काफी अच्छे नतीजे मिल रहे हैं

  • Anthropic के update और यहां दिख रही कुछ अतिउत्तेजित प्रतिक्रियाओं को, curl maintainer Daniel Steinberg के हालिया आकलन के साथ कैसे मिलाया जाए, यह समझ नहीं आ रहा
    “इस setup [Mythos] के बारे में ऐसा कोई सबूत नहीं दिखता कि यह Mythos से पहले के दूसरे tools की तुलना में issues ढूंढने में विशेष रूप से अधिक या अधिक उन्नत स्तर का है. यह model थोड़ा बेहतर हो सकता है, लेकिन तब भी इतना बेहतर नहीं कि code analysis में कोई अर्थपूर्ण बदलाव ला दे.”
    https://daniel.haxx.se/blog/2026/05/11/mythos-finds-a-curl-v...

    • यह सही बात है, और एक वैध data point भी
      लेकिन UK government report भी एक data point है और Firefox report भी एक data point है, जो संकेत देते हैं कि यह मौजूदा पीढ़ी के models से वास्तव में काफी बेहतर है
      हो सकता है curl का codebase ज़्यादातर projects की तुलना में बहुत अधिक harden किया गया हो
      वैसे भी यह बहुत बड़ा मुद्दा नहीं है, क्योंकि Anthropic भी मानता है कि अगले स्तर के models आ रहे हैं और Mythos उनमें से बस एक है
      मौजूदा generation के models भी जटिल systems में data flow trace करने में पहले से काफी अच्छे हैं, और यह मानने का कोई कारण नहीं है कि यह क्षमता अपनी सीमा पर पहुंच चुकी है
      काफी संभावना है कि एक साल के भीतर vulnerabilities को सस्ते में ढूंढ सकने वाले कई commercial models आ जाएंगे
      लेकिन ऐसे issues के solution design में प्रगति कहीं कम दिखती है
    • मुझे लगता है कुछ लोग Daniel की बात को गलत समझ रहे हैं, लेकिन उसके पूरे लेख के context में देखें तो यह और साफ़ हो जाता है
      कुल मिलाकर tools की security bugs ढूंढने की क्षमता काफी सुधर रही है, और सिर्फ Daniel के अनुभव से यह स्पष्ट नहीं था कि Mythos खुद कोई बहुत बड़ी छलांग है या नहीं, लेकिन Mythos-generation LLMs निश्चित रूप से हैं
      हालांकि Daniel ने Mythos का इस्तेमाल कुछ हद तक परोक्ष रूप से किया था
      Mythos विवाद से मेरा निष्कर्ष यह है कि, a) Anthropic की GPU कमी के कारण संभव है कि उन्हें Mythos access सीमित करनी पड़ी हो, और इससे public release की गणना पर भी असर पड़ा हो, और b) Mythos या उससे मिलते-जुलते model से bugs ढूंढना अब भी महंगा है
      अगर curl पर $20,000 या $100,000 के Mythos runs किए गए होते, तो शायद Firefox जैसे दूसरे projects की तरह issues का स्तर मिलता, लेकिन Daniel को ऐसी access नहीं मिली
      आज LinkedIn पर उनका general update व्यापक context दिखाता है
      https://www.linkedin.com/feed/update/urn:li:activity:7463481...
      “हम इस curl release cycle के आधे रास्ते तक भी नहीं पहुंचे हैं, और पहले ही 11 confirmed vulnerabilities हैं, 3 evaluation का इंतजार कर रही हैं, और नई reports अब भी रोज़ 1 से अधिक की दर से आ रही हैं.”
      “एक ही release में 11 CVEs घोषित करना, 2016 में Cure 53 की पहली security audit के बाद से एक रिकॉर्ड है.”
      “यह curl के इतिहास का, मेरी याद में, सबसे intense दौर है.”
    • curl पर ज्यादा लोगों की नजर रही है, ज्यादा tools लगाए गए हैं, यह software के 99% से बेहतर tested है, और शायद development भी बेहतर है
      यह बिल्कुल भी typical case नहीं है, इसलिए ऐसे factors का असर होना संभव लगता है
      बेशक यह पक्का नहीं कि bias है या नहीं; Daniel बस सही भी हो सकते हैं
    • अलग-अलग लोगों का अलग अनुभव होना विरोधाभास नहीं है
      हो सकता है curl source code शुरू से ही काफी साफ़ रहा हो
    • Daniel महीनों, शायद वर्षों से लिखते आए हैं कि security researchers और तरह-तरह के automated tools से कितने validation pressure का सामना करना पड़ता है
      मुझे नहीं लगता कि curl, Mythos के लिए average case होगा

  • Mythos के बारे में बहुत व्यंग्य हुआ कि “यह बस मौजूदा public models का safety guardrails हटाया हुआ version है”, लेकिन ये numbers कुछ और बताते हैं
    “High या critical severity की 1,752 vulnerabilities को 6 स्वतंत्र security research firms, या कुछ मामलों में हमारी अपनी assessment के ज़रिए सावधानी से review किया गया. इनमें से 90.6% (1,587) वैध true positives साबित हुए, और 62.4% (1,094) को high या critical severity के रूप में confirm किया गया.”
    जिसने भी Opus, Codex, या open source models से vulnerability scanning की है, वह जानता होगा कि true positive rate और discovery volume में यह एक स्पष्ट step change है[0]
    Glasswing के करीब 50 partners में से अधिकांश पहले भी दूसरे models के साथ harness चला चुके थे, और आम प्रतिक्रिया यही थी, “वाह, यह अलग है”
    अब सवाल यह है कि phase 2 और 3 access कैसी दिखेगी, और किस प्रकार के systems को पहले सुरक्षित किया जाएगा
    routers, firewalls, SaaS, ERP, factory controllers, SCADA, zero-trust VPN gateways, telecom gear और networks, medical devices — करने को बहुत कुछ है
    इसलिए मुझे लगता है कि Mythos कुछ समय तक private ही रहेगा
    बचाने के लिए attack surface बहुत विशाल है, और triage, fix, तथा deploy करने के लिए भी बहुत कुछ है
    यह Anthropic के लिए भी उपयुक्त हो सकता है, क्योंकि private model को distill नहीं किया जा सकता
    साथ ही, discovery-classification-fix data से model improvement का runaway effect पैदा होता है
    संभव है कि यह पहले से ही अब तक संकलित सबसे शक्तिशाली curated attack data corpora में से एक हो, और आगे और बेहतर होगा
    मुझे नहीं लगता कि चीनी companies को जल्द, या शायद कभी भी, access मिलेगी
    हो सकता है जल्दी ही ऐसी दुनिया आ जाए जहां CISA audits अनिवार्य कर दे, और अगर आपको Mythos-resilient VPN gateway या home router खरीदना है, तो आपको US-made[1] खरीदना पड़े
    [0] सामान्य audit tools के लगभग 30% के मुकाबले
    [1] या allied countries में बना हुआ

    • discovery-classification-fix data corpora तक हर competitor पहुंच सकता है, चाहे वह US company हो या नहीं
      यह मानना कठिन है कि इसे दोहराया नहीं जा सकता
      CVEs और patches जैसे annotated data पहले से पर्याप्त हैं, और Mythos की वजह से और बढ़ भी रहे हैं, इसलिए मुझे लगता है कि इस scenario के हिसाब से reinforcement learning करने पर Mythos access के बिना भी vulnerability detection performance बढ़ाई जा सकती है
    • अमेरिकी security companies जिनके पास Mythos access है, उन्हें outsource न करने की कोई वजह नहीं दिखती
    • इससे GPT-2 का दौर याद आता है
      OpenAI ने कहा था कि “मानवता अभी तैयार नहीं है” और पहली बार model access सीमित की थी, जबकि वह model बस कविताएं वगैरह अच्छी लिख लेता था
      उसके बाद OAI/Anthropic की model announcements में मुझे याद नहीं कि उन्होंने ऐसा ही language इस्तेमाल न किया हो
      model के leak होने की बात भी marketing है, खतरनाक होने की बात भी marketing है, और दुनिया तैयार नहीं है वाली बात भी marketing है
      जिन लोगों को access मिला और वे “वाह” कह रहे हैं, वह भी मानो या न मानो marketing ही है
      वही परिणाम पहले से आम तौर पर उपलब्ध शीर्ष 5~10 models से हासिल किए जा सकते हैं
      Mythos, पहले के ideas के democratize हो जाने के बाद Anthropic का नए ideas बेचने का तरीका है
    • private model को बाहर से distill न किया जा सके, फिर भी अंदरूनी तौर पर तो किया जा सकता है
      Sonnet 4.8 से कुछ बड़ा उम्मीद की जा सकती है

  • अगर आपने अभी तक codebase पर static analysis और linters लागू नहीं किए हैं, तो पहले यह पूछना चाहिए कि फिर महंगे LLM tools क्यों लगाना चाहते हैं
    इसका मतलब यह नहीं कि ऐसे tools वे vulnerabilities नहीं पकड़ सकते जो static tools नहीं पकड़ते; मेरा मानना है कि पकड़ सकते हैं
    लेकिन हम पहले से ही सामान्य vulnerabilities के एक बड़े दायरे को automation से पकड़ने में सक्षम हैं, फिर भी cost जैसे कारणों से हमने वह विकल्प नहीं चुना
    अगर कोई team पहले से कई layers of analysis और linting चला रही है और उसके ऊपर यह जोड़ना चाहती है, तो मैं पूरी तरह समर्थन करता हूं

    • ज़्यादातर issues business logic में होते हैं, और static analyzers उन्हें नहीं पकड़ पाते
    • static analysis आपको शुरू से अंत तक काम करने वाला one-click exploit नहीं बनाकर देता
      मैं FAANG में हूं, और हमारे static analysis tools भी यह पहचानने में शानदार नहीं हैं कि वास्तव में reachable issues कौन से हैं
      आदर्श रूप से दोनों का इस्तेमाल होना चाहिए
      बेहतर यह होगा कि AI model के harness में static analysis भी शामिल हो, और वह हर संभावित finding का मूल्यांकन करे
    • static analysis अक्सर false positives बहुत दिखाता है
      ज़्यादा बुद्धिमान tools सीमित engineering time को बर्बाद होने से बचाने में मदद कर सकते हैं
    • कई developers के लिए सबसे ईमानदार जवाब को downvote और flag मिलना, यह मुझे कुछ दिलचस्प लगता है
      अभी जो ज़्यादातर लोग यह कर रहे हैं, उन्होंने static analysis tools का इस्तेमाल इसलिए नहीं किया क्योंकि उन्हें वे फालतू अतिरिक्त चीज़ लगती थीं

  • इस समय मैं जिन vulnerabilities को तुरंत fix होते देखना चाहता हूं, वे GitHub से चोरी हुए 3,800 repositories में मौजूद हैं
    “इंटरनेट बनाने वाले software की vulnerabilities” की तुलना में “इंटरनेट बनाने वाले software की releases बनाने के लिए इस्तेमाल होने वाला platform” ईमानदारी से कहीं ज़्यादा उच्च priority है
    अगर उन internal repositories को खरीदने वाले लोग GitHub में घुसकर software releases को compromise करने, या remote तरीके से GitHub Actions को poison करने का तरीका ढूंढ लेते हैं, तो सबके लिए स्थिति बेहद गंभीर हो जाएगी
    यह मत भूलिए कि उन 3,800 repositories के भीतर शायद npmjs.org खुद भी हो सकता है

  • हम consumer-facing frontier models के साथ legal tech में वह बना रहे हैं जिसे हम “lexploits” कहते हैं, और यह integrated pipeline के पूरे फैलाव में bugs ढूंढने में अविश्वसनीय रूप से अच्छा है
    mitigations बनाने में भी यह चौंकाने वाला अच्छा है
    security vulnerabilities महत्वपूर्ण हैं, लेकिन legal क्षेत्र में हम knowledge security की अवधारणा रखते हैं, जो agent की legal-context fidelity की रक्षा करती है
    software bugs तो software engineers संभालते हैं, इसलिए वे कहीं अधिक manageable लगते हैं, जबकि जिन pipeline “vulnerabilities” की हम बात कर रहे हैं, वे वैसी नहीं हैं
    legal documents के दिखने और वास्तव में होने के बीच एक path के बारे में मैंने यहां थोड़ा लिखा है: https://tritium.legal/blog/noroboto
    अभी बहुत से exposed knowledge domains ऐसे होंगे, और वे ज़्यादातर understaffed हैं तथा non-technical लोगों द्वारा managed हैं, इसलिए यह और चिंता की बात है
    Mythos की जरूरत भी नहीं है

  • “अगले चरण में, हम Project Glasswing को और partners तक बढ़ाने के लिए अमेरिका और सहयोगी देशों की governments सहित प्रमुख partners के साथ काम करेंगे” — इसका मतलब मुझे यह लगता है कि public release से पहले वे बहुत पैसा कमाएंगे
    अच्छी strategy है

  • इस पर यकीन करना मुश्किल है
    यह tool जो चीज़ें ढूंढता है, उनमें से काफी सीधी गलत होती हैं, और code की ऊपरी-निचली layers के कारण वे वास्तविक vulnerability के रूप में exploit भी नहीं की जा सकतीं, फिर भी उन्हें true report कर दिया जाता है
    यह performance और security के बीच का trade-off भी है, और हमेशा से रहा है
    अतिरिक्त checks और अन्य उपाय वास्तव में security purpose से किए जाने चाहिए
    marketing हमेशा शानदार होती है, लेकिन बहुत लोगों का आशावादी नज़रिया किसी तरह wishful thinking जैसा लगता है

    • लेख में बताया गया है कि सभी vulnerabilities वास्तव में end-to-end exploitable होने के रूप में verify की गईं, और 1,000 से अधिक items को स्वतंत्र रूप से critical साबित किया गया
      यह unreachable vulnerabilities की बात नहीं है
    • वास्तव में क्या पाया गया, यह https://red.anthropic.com/2026/cvd/ पर देखा जा सकता है
    • खासकर तब, जब यह OAI/Anthropic की बार-बार दोहराई जाने वाली शैली कई वर्षों से रही हो

  • “ऐसे bugs को ठीक करने में bottleneck, triage, reporting, और patches design-deploy करने वाले लोगों की capacity है. Mythos Preview की वजह से पहली खोज का काम बहुत सरल हो गया है.”
    bottleneck हमेशा से यही रहा है
    automated tools vulnerabilities को flag करना पसंद करते हैं, लेकिन उनमें लगभग सब false positives होते हैं, और इंसानों को triage व evaluate करना पड़ता है
    फिर भी यह ठीक है
    मेरा मानना है कि किसी चीज़ को पूरी तरह मिस कर देने से बेहतर है कि सावधानी से review करके false positive बंद किया जाए
    लोगों को bottleneck कहना उचित नहीं है
    लोग इस process का आवश्यक हिस्सा हैं, और Mythos भी इस process का catalyst बनेगा

    • 10 साल पहले ज़्यादातर vulnerability removal में human remediation bottleneck था, यह स्पष्ट रूप से सही नहीं है
      vulnerability साबित करना, उसे हल करने से कहीं ज़्यादा कठिन था

  • आज का दिन काफ़ी मज़ेदार रहा
    मैंने AF_ALG disabled और nscd enabled system पर Dirty Frag के जरिए root privilege पाने के लिए patches deepseek-v4-flash sub-agents से बनवाए
    मूल public exploit काम नहीं कर रहा था, लेकिन patched version बहुत अच्छी तरह काम कर गया
    मुझे अब भी लगता है कि पर्याप्त समझ वाले 100 sub-agents, Mythos जैसा ही परिणाम दे सकते हैं
    मैं कभी Mythos को खुद इस्तेमाल करके इस सोच के टूटने के लिए भी तैयार हूं, और मानता हूं कि यहां दूसरे लोगों ने भी Mythos इस्तेमाल किया होगा

    • यह संभव है, लेकिन 100 sub-agents का मतलब लगभग $100 प्रति घंटा वाला setup है, जबकि कहा जा रहा है कि Mythos एक vulnerability ढूंढने में $20,000 खर्च करता है
      इसलिए सवाल यह नहीं है कि “क्या कम बुद्धिमान models भी यह कर सकते हैं”, बल्कि यह है कि अगर Mythos reasoning के साथ एक exploit ढूंढने की लागत 5,000 GPU-hours है, तो कम बुद्धिमान models के साथ कितने GPU-hours लगेंगे?