curl में AI टूल से खोजी गई संभावित समस्याएँ

 (mastodon.social)
8 पॉइंट द्वारा GN⁺ 2025-10-03 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Joshua Rogers ने अपने AI-आधारित टूलसेट का उपयोग करके curl कोडबेस में संभावित समस्याओं की एक बड़ी सूची खोजी
  • इस सूची में मामूली code style खामियों के साथ-साथ छोटे bugs और संभावित सुरक्षा कमजोरियाँ भी शामिल हैं
  • मिली समस्याओं में अधिकांश छोटे bugs हैं, लेकिन उनमें 1–2 सुरक्षा की दृष्टि से गंभीर खामियाँ भी हो सकती हैं
  • ये पहले से खोजी नहीं गई समस्याएँ थीं, इसलिए यह वास्तव में बहुत मूल्यवान परिणाम है
  • रिपोर्ट की गई सामग्री के आधार पर 22 bug fixes पहले ही पूरे किए जा चुके हैं
  • अभी भी इससे दोगुने से अधिक अप्रमाणित issues बचे हुए हैं, इसलिए review और fixes का काम जारी है
  • विस्तृत समस्याओं को "Reported in Joshua's sarif data" के रूप में चिह्नित किया गया है, और रुचि होने पर उस data को सीधे देखा जा सकता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-10-03
Hacker News राय
  • मेरे हिसाब से यही 'AI coding companion' का आदर्श रूप है
    मैं यह नहीं चाहता कि वह सीधे कोड लिखे या ठीक करे, बल्कि वह कोड में संदिग्ध हिस्सों और उन जगहों की ओर इशारा करे जिन्हें मुझे और ध्यान से देखना चाहिए
    जब मैं Claude से अपनी 20,000-लाइन वाली C library में बग ढूँढने को कहता हूँ, तो वह फाइलों को टुकड़ों में बाँटकर खास code pattern को grep करने जैसा काम करता है, और आखिर में बस मेरे FIXME comments की सूची बनाकर दे देता है (हँसी)
    सच कहूँ तो यह एक साधारण bash script जितना ही काम है, और काफ़ी निराशाजनक है
    ChatGPT तो उससे भी कम उपयोगी है, बस बार-बार यही कहता रहता है, "सब अच्छा लग रहा है! कमाल है! हाई-फाइव~"
    अब तक असली बग ढूँढने में पारंपरिक static analysis कहीं ज़्यादा मददगार रहा है, लेकिन static analysis साफ़ होने का मतलब यह नहीं कि logical bug नहीं है
    मुझे लगता है कि LLM को ठीक इसी जगह चमकना चाहिए
    अगर LLM से ज़्यादा उपयोगी संभावित बग जानकारी पाने के लिए बहुत ही customized environment बनाना पड़े, तो जैसे static analysis tools जटिल setup माँगने पर कम इस्तेमाल होते हैं, वैसे ही इसकी उपयोगिता भी आखिरकार घट जाती है
    • इस पर लगभग बात ही नहीं होती कि बहुत से programmers (खासकर repetitive code को छोड़कर) खुद design और coding करना पसंद करते हैं, लेकिन code review करना उतना पसंद नहीं करते
      AI को कोड लिखने देना और programmers को सिर्फ review करने देना, यह दिशा कहीं न कहीं गलत लगती है
      हाँ, "code lines बढ़ती हैं~" वाले तरीके से इसे बेचने की वजह समझ में आती है
    • Claude से ऊपर बताए गए जैसे निराशाजनक नतीजे मिलने पर, अक्सर "कौन-सा prompt असरदार होगा, यह Claude से ही सीधे पूछना" अच्छा काम करता है
      उदाहरण के लिए, "Claude Code से FIXME, TODO जैसे comments को नज़रअंदाज़ करके logical bug का असरदार review plan बनवाने के लिए मुझे कौन-सा prompt इस्तेमाल करना चाहिए?"
      बना हुआ prompt इतना लंबा है कि यहाँ नहीं लिख सकता, लेकिन gist में सार्वजनिक उदाहरण देखा जा सकता है
      उस नतीजे के आधार पर उसे लगातार सुधारकर agent भी बनाया जा सकता है
    • Cursor BugBot इस तरह की भूमिका के लिए काफ़ी उपयुक्त है
      free trial के बाद हमारी dev team में यह इतना पसंद किया गया कि हमने इसे औपचारिक रूप से अपना लिया
      कभी-कभी गलत detection हो जाती है, लेकिन उसे छोड़ दें तो यह बहुत उपयोगी है
      PR author और reviewer, दोनों का काफ़ी समय बचता है
    • Claude से अगर पूछें, "एक खास endpoint पर response धीमा है, लेकिन इसका CPU/memory usage या DB से संबंध नहीं दिखता, वजह क्या हो सकती है?" तो कुछ बार आगे-पीछे करने के बाद मुझे वाकई ऐसे bug hints मिले हैं जिन्हें ढूँढना बहुत मुश्किल था
      पहले जिन समस्याओं में घंटों लग जाते, उनमें कभी-कभी एक सुराग मिलते ही समाधान हो गया
      AI के इस तरह के उपयोग की संभावना को लेकर मैं उत्साहित हूँ
    • GPT-5 इस तरह की स्थिति में पुराने models की तुलना में बहुत कम खुशामद करता है
      'सब अच्छा लग रहा है' जैसा जवाब आया, यह थोड़ा हैरान करने वाला था
      Codex CLI में इस्तेमाल करने पर यह अक्सर सवाल भी उठाता है
      Gemini 2.5 Pro भी इस मामले में ठीक है
  • curl और AI की कहानी में कोई सकारात्मक एपिसोड आएगा, यह मैंने सच में नहीं सोचा था
    इतिहास देखें तो समझ आएगा: curl+AI से जुड़ी HN search link
    • Daniel Stenberg ने AI bug reports को लेकर पहले कई तरह की समस्याएँ झेली हैं, फिर भी इस बार उन्होंने उदार रुख अपनाया, यह वाकई सराहनीय है
  • मुझे लगता है कि मुख्य बात 'tool set' वाली है. इसे autopilot समझने के बजाय, tools को ठीक से जोड़कर एक system की तरह इस्तेमाल किया जा रहा है
    • लगता है contributor ने मूल लेख में और ज़्यादा विस्तार दिया होगा संदर्भ ब्लॉग (Mastodon उल्लेख: संबंधित लिंक)
    • अफ़सोस है कि चर्चा "self-driving vs. hands-off" जैसे द्विआधारी ढाँचे में सिमट गई
      आखिरकार बात शायद इस फ़र्क तक सिमटती है: सही समझ के साथ इस्तेमाल करने वाला व्यक्ति बनाम बस माहौल के भरोसे coding करने वाला व्यक्ति
    • Stenberg ने इसे tool set कहा, लेकिन असल में tools इस्तेमाल करने वाले contributor की सोच भी जानने की जिज्ञासा है
  • curl repository में "sarif data" का ज़िक्र करने वाले 55 closed PR हैं, और इस बार जिन PRs का ज़िक्र हुआ है वे शायद इसी समूह के हैं
    यह उस दौर के उलट है जब Daniel Stenberg को AI द्वारा बनाई गई घटिया false-positive security issues से जूझना पड़ा था
    HackerOne के बारे में: "AI से बने कूड़ा-करकट issue reports भेजने वालों को तुरंत ban कर देना चाहिए. यह लगभग DDoS attack के स्तर की बात है. समय की बर्बादी के लिए बिल भेजने का मन करता है"
    इस साल जनवरी में Daniel के ब्लॉग पोस्ट को भी देखें: The I in LLM stands for Intelligence?
    • कुछ bugs (जैसे size_t के लिए गलत printf format specifier का इस्तेमाल) सिर्फ compiler warning flags ठीक से सेट करने पर भी पकड़े जा सकते हैं
      अगर AI यह सलाह दे कि "ज़रूरी compiler warning flags missing हैं", तो यह काफ़ी उपयोगी होगा
      कुछ PR शायद dependabot match की वजह से भी हों, और "Joshua sarif data" खोजने पर PRs की और ठोस सूची देखी जा सकती है लिंक
    • लगता है तब इस्तेमाल किए गए models अब काफ़ी आगे बढ़ चुके हैं
      शायद यही Daniel Stenberg की बदली हुई राय की वजह है
  • commercial SAST scanners में कुछ अच्छे भी हैं, लेकिन ज़्यादातर संतोषजनक नहीं हैं
    AI-based SAST technology अपनाने की बात बहुत होती है और इससे जुड़े products भी आए हैं, लेकिन अधिकांश अब भी उम्मीद से कमतर हैं
    सिर्फ निराशा हो तो भी गनीमत है; गलत security पर भरोसा बन जाए तो यह खतरनाक हो सकता है
    AI-based SAST scanners पर आलोचनात्मक नज़र और उसके आधार यहाँ दिए गए हैं
  • यह तुरंत समझना मुश्किल था कि खास तौर पर कौन-सा AI tool इस्तेमाल हुआ था
    पहले कई tools bug नहीं ढूँढ पाए थे, तो यह जानने की उत्सुकता है कि इस बार की strategy ज़्यादा असरदार क्यों रही
    • product से जुड़ा chapter वाला ब्लॉग में शायद थोड़ी और जानकारी मिल सकती है
      Mastodon link शायद यह पुष्टि करने के लिए है कि code snippet में गलती होने पर भी bug असली है
  • एक संबंधित मुद्दे के तौर पर यह उदाहरण साझा किया गया: "AI से कुछ करवा लिया, लेकिन खुद नहीं जानते कि आप यहाँ क्या कर रहे हैं" You did this with an AI and you do not understand what you're doing here