- हर PR पर multi-agent team लगाकर, इंसानों से छूट जाने वाले bugs को गहराई से पकड़ने वाला Code Review फीचर research preview के रूप में जारी किया गया
- पिछले 1 साल में Anthropic इंजीनियरों की code production 200% बढ़ने से code review bottleneck बन गया, और कई PRs में गहन review की जगह सिर्फ सरसरी निगाह डाली जा रही थी
- लागू करने से पहले सिर्फ 16% PRs को वास्तविक review comments मिलते थे, लेकिन लागू होने के बाद यह 54% तक बढ़ गया, जबकि PR approval अब भी इंसान ही करते हैं
- बड़े PRs (1,000 lines से अधिक) में 84% में findings शामिल थीं और औसतन 7.5 issues रिपोर्ट हुए, जबकि false positive rate 1% से कम है
- review की लागत token usage के आधार पर प्रति PR औसतन $15~25 है, और monthly organization limit व repository-level controls जैसे cost management फीचर्स दिए गए हैं
Code review bottleneck की समस्या
- पिछले 1 साल में प्रति Anthropic engineer code production 200% बढ़ने से code review development process का bottleneck बनकर उभरा
- ग्राहक कंपनियां भी हर हफ्ते यही समस्या बताती रहीं कि overloaded developers की वजह से कई PRs में deep review की जगह सिर्फ ऊपर-ऊपर देखना रह जाता है
- यह मौजूदा open source Claude Code GitHub Action से अधिक thorough और अधिक costly विकल्प है, जिसे हर PR पर भरोसेमंद reviewer लगाने के लिए बनाया गया
- लागू करने से पहले सिर्फ 16% PRs को वास्तविक review comments मिलते थे, लेकिन लागू होने के बाद यह 54% हो गया
- PR approval अब भी इंसान ही करते हैं, और इसका काम उस gap को कम करना है ताकि reviewers वास्तव में ship होने वाले code को पर्याप्त रूप से cover कर सकें
यह कैसे काम करता है
- PR खुलते ही agents की team dispatch की जाती है, जो parallel में bugs खोजती है
- हर agent bugs को verify करता है, false positives को filter करता है, और severity के आधार पर ranking करता है
- नतीजे PR में एक single high-signal overview comment और खास bugs पर inline comments के रूप में दिए जाते हैं
- PR के आकार के अनुसार review का scale अपने-आप adjust होता है: बड़े और जटिल changes पर अधिक agents और गहरी analysis, जबकि छोटे changes पर lightweight pass लागू होता है
- test standard के आधार पर औसत review समय लगभग 20 मिनट है
वास्तविक उपयोग के उदाहरण
- कई महीनों के internal use के नतीजों में, बड़े PRs (1,000 lines से अधिक) में 84% में findings शामिल थीं और औसतन 7.5 issues रिपोर्ट हुए
- छोटे PRs (50 lines से कम) में 31% में findings शामिल थीं और औसतन 0.5 issues रिपोर्ट हुए
- engineers आम तौर पर findings से सहमत रहे, और false positive के रूप में चिह्नित दर 1% से कम थी
- एक मामले में production service में एक line का बदलाव ऐसा diff था जिसे सामान्यतः जल्दी approve कर दिया जाता, लेकिन Code Review ने उसे critical के रूप में flag किया
- वह बदलाव ऐसा failure mode था जो service की authentication को तोड़ सकता था, और diff में पढ़ते हुए इसे आसानी से नज़रअंदाज़ किया जा सकता था, हालांकि इशारा मिलते ही समस्या स्पष्ट थी
- इसे merge से पहले ठीक कर लिया गया, और संबंधित engineer ने साझा किया कि वह इसे अकेले शायद पकड़ नहीं पाता
- TrueNAS के open source middleware में ZFS encryption refactoring PR पर, Code Review ने आस-पास के code में पहले से मौजूद bug खोज निकाला
- हर sync पर encryption key cache को चुपचाप साफ कर देने वाली type mismatch समस्या
- यह issue उस code में पहले से छिपा था जिसे PR ने छुआ था, और ऐसा प्रकार था जिसे change set scan करने वाला human reviewer तुरंत न ढूंढे
लागत और नियंत्रण
- गहराई के लिए optimize होने के कारण यह Claude Code GitHub Action जैसे lightweight solutions की तुलना में अधिक महंगा है
- review का billing token usage के आधार पर होता है, और PR के आकार व जटिलता के अनुसार औसतन $15~25 पड़ता है
- admins के लिए cost और usage control options:
- monthly organization limit: सभी reviews पर कुल monthly spend set करना
- repository-level controls: सिर्फ चुनी हुई repositories में review enable करना
- analytics dashboard: reviewed PRs की संख्या, acceptance rate, और कुल review cost track करना
कैसे शुरू करें
- Team और Enterprise plans के लिए research preview (beta) के रूप में उपलब्ध
- admin, Claude Code settings में Code Review enable करके, GitHub App install करने के बाद उन repositories का चयन कर सकते हैं जहाँ review चलाना है
- enable होने के बाद developers के नए PRs पर review अपने-आप चलता है, अलग से किसी setup की जरूरत नहीं
अभी कोई टिप्पणी नहीं है.