OpenAI ने Codex Security को open source किया

 (github.com/openai)
2 पॉइंट द्वारा GN⁺ 3 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • OpenAI ने Codex Security के CLI और संबंधित टूल्स को open source किया है, ताकि इन्हें local development environment और CI में इस्तेमाल किया जा सके
  • यह अनुमति वाले repositories का विश्लेषण करके security vulnerabilities का पता लगाता है और वास्तविक exploitation की संभावना को verify करता है, साथ में संबंधित code और evidence भी दिखाता है
  • पूरे repository के साथ-साथ किसी खास path, commits के बीच के changes, या uncommitted work content को चुनकर भी scan किया जा सकता है
  • सामान्य scan की तुलना में अधिक व्यापक दायरा देखने वाला deep mode और project की architecture/threat model/security policy को reflect करने वाला knowledge base support करता है
  • findings की severity/confidence/evidence/fix method को structured तरीके से देता है, और scan history की तुलना करने या CI policy से जोड़ने की सुविधा देता है

Vulnerability detection और verification

  • यह सिर्फ suspicious code patterns की सूची बनाने तक सीमित नहीं रहता, बल्कि code flow और आसपास के context का विश्लेषण करके verify करता है कि यह वास्तव में security issue है या नहीं
  • हर finding के लिए यह जानकारी देता है
    • vulnerability type और severity
    • assessment पर confidence
    • प्रभावित files और code locations
    • vulnerability मानने का आधार
    • attack या exploitation के संभावित path
    • recommended fix method

Scan scope selection

  • काम के उद्देश्य के अनुसार analysis scope को सीमित किया जा सकता है
    • पूरे repository का scan
    • केवल किसी खास directory या package का scan
    • base commit और current commit के बीच changes का scan
    • staged या अभी commit न किए गए local changes का scan
  • केवल नए जोड़े गए या बदले गए code को scan किया जा सकता है, इसलिए इसे code review और deployment से पहले checks में इस्तेमाल किया जा सकता है

Deep mode

  • सामान्य scan की तुलना में ज्यादा समय और analysis work का उपयोग करके repository की व्यापक समीक्षा करता है
  • इसका उपयोग ऐसी complex vulnerabilities का विश्लेषण करने में होता है जिनमें कई files और components के बीच relationships track करने पड़ते हैं, या जिन्हें superficial pattern scan से ढूंढना मुश्किल होता है
  • इसे पूरे repository के साथ-साथ specified paths पर भी लागू किया जा सकता है

Project knowledge का उपयोग

  • यह code को अलग-थलग analyze नहीं करता, बल्कि project में दी गई context को scan में शामिल कर सकता है
  • architecture documents/threat model/security policies/internal rules आदि के आधार पर project-specific risks का आकलन करता है
  • ऐसा code भी scan scope में शामिल किया जा सकता है जो general security rules के हिसाब से सामान्य दिखता हो, लेकिन उस system के design principles का उल्लंघन करता हो

Result report और scan completeness

  • यह सिर्फ मिली vulnerabilities ही नहीं, बल्कि वास्तव में किन areas को scan किया गया, यह भी record करता है
  • report में निम्न scan status शामिल हो सकते हैं
    • analyzed scope
    • scan से exclude किए गए areas
    • वे tasks जो complete नहीं हुए और pending रहे
    • ऐसे questions जिनके लिए additional verification चाहिए
  • इससे केवल result list ही नहीं, बल्कि यह भी सत्यापित किया जा सकता है कि repository की समीक्षा कितनी हद तक हुई

Continuous security scanning

  • पहले के scan results को फिर से खोलकर या वही scan दोबारा चलाकर findings में बदलाव track किए जा सकते हैं
  • code changes से पहले और बाद के results की तुलना करके यह सत्यापित किया जा सकता है कि vulnerabilities नई बनी हैं या fix हुई हैं
  • इसे pre-commit scan/code review/multiple repositories के batch scan/CI pipeline की security policy checks से जोड़ा जा सकता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 3 시간 전
Hacker News की राय

  • मैं Michael हूं, Promptfoo का सह-संस्थापक और OpenAI में Codex Security CLI पर काम कर रहा हूं। authentication issue बताने के लिए धन्यवाद, और चूंकि हमने इसे अभी-अभी open source किया है, सुधार की काफी गुंजाइश है और product भी तेज़ी से विकसित होगा
    इसे इस्तेमाल करके बताइए कि क्या अच्छी तरह काम कर रहा है और क्या बेहतर किया जा सकता है; सवालों के जवाब भी दूंगा
    CLI docs: https://learn.chatgpt.com/docs/security/cli
    development में जुड़ने वाले लोगों की hiring भी कर रहे हैं: https://openai.com/careers/full-stack-software-engineer-cybe...

    • Codex app में 5.6 Sol इस्तेमाल करने पर कभी-कभी यह कहता था कि vulnerability मिली है, लेकिन उसकी details नहीं बता सकता। जानना चाहूंगा कि मौजूदा vulnerability detection guardrails इसे कैसे handle करते हैं
    • जानना चाहूंगा कि CLI से भी call किए जा सकने वाले Codex plugin के बजाय यह tool कब इस्तेमाल करना चाहिए
    • क्या OpenAI API call अनिवार्य है, या local में OpenAI-compatible LLM endpoint बनाकर भी इस्तेमाल किया जा सकता है
    • “एक ऐसा कमाल का model जो सब कुछ एक बार में कर देगा और programmers की जरूरत खत्म कर देगा” वाली hype पर भरोसा न करने की वजह यही है। LLM labs लगातार जो दावे करते हैं, उसके उलट उनके खुद के बनाए products में भी authentication issue जैसी खामियां बार-बार दिखती हैं
      lab का अपना product ही उस दावे का खंडन कर रहा है, इसलिए उम्मीद है कि इस पर भरोसा करने वाले कम होंगे

  • एक छोटे repository पर चलाया तो लगभग एक घंटे बाद रुक गया और Pro plan की weekly usage का आधा खर्च कर गया
    npx codex-security scan . चलाकर अधिकतम 8 worker slots के साथ scan किया, लेकिन 52 मिनट बाद error आया कि scan के दौरान repository का HEAD बदल गया है, इसलिए results save नहीं किए जा सकते और नया scan शुरू करें

  • scanner खुद सबसे कम दिलचस्प हिस्सा है; असली product वह surrounding execution framework है जो runs के बीच deduplication, false positive tracking, budget control और CI pass/fail decision संभालता है। मुझे लगता है सबसे रोचक innovation भी इसी layer में आएगा
    teams के लिए coding execution framework AQ बनाते समय यही pattern दिखा। शुरुआत में लगा था कि raw model ही जवाब है, लेकिन जल्दी ही राय बदल गई; purpose-built execution frameworks उम्मीद से कहीं ज्यादा powerful हैं

  • बार-बार यह error आ रहा है कि disallowed operation try किया जा रहा है, जो बहुत परेशान करने वाला है। जानना चाहता हूं कि यह किस तरह के projects में काम करता है, और code ownership कैसे verify की जाती है
    उदाहरण के लिए, अगर उसमें मेरा लिखा patch भी शामिल हो, तो क्या यह Linux kernel पर बिल्कुल काम नहीं करेगा

  • AI company का security tool आग लगाने वाले के चलाए fire station जैसा लगता है। उपयोगी तो है, लेकिन इतनी आगों से फायदा किसे हो रहा है, यह सोचने से खुद को रोकना मुश्किल है

  • लगता है यह पहले भी Codex plugin के रूप में उपलब्ध था; मुख्य खबर यह है कि OpenAI ने इसे open source कर दिया है और development भी तेज़ी से चल रहा है

  • scan के दौरान CLI output में दिलचस्प जानकारी लगभग नहीं मिलती। token usage या progress जैसी जानकारी दिखे तो अच्छा होगा

  • Alibaba ने भी CLI-based code review tool open source किया है: https://github.com/alibaba/open-code-review

    • दोनों पूरी तरह अलग products हैं

  • जानना चाहता हूं कि analysis के लिए यह tool code को ChatGPT पर upload करता है या नहीं। कुछ enterprise projects में code को बाहर भेजना allowed नहीं हो सकता

    • अगर कोई company ChatGPT के उपयोग पर रोक लगाती है, तो संभव है कि वह ChatGPT security analysis tool भी इस्तेमाल न कर सके
    • OpenAI को data भेजे बिना GPT model इस्तेमाल करने के तरीके के रूप में Amazon Bedrock चुना जा सकता है

  • सोच रहा हूं कि क्या ऐसे tools Snyk जैसी companies को बंद करा देंगे। workplace में Snyk इस्तेमाल करता हूं, लेकिन संतुष्ट नहीं रहा

    • competition का bar ऊंचा हो गया है, और sustainable expertise को भी उसी के मुताबिक evolve करना होगा
    • कुछ code snippets Snyk को कैसे बंद करा सकते हैं, यह समझ नहीं आता