- वास्तविक ओपन सोर्स repositories 2,430 पर Claude Code की tool selection प्रवृत्ति का विश्लेषण करने वाले अध्ययन के नतीजे
- कुल 20 श्रेणियों में से 12 में मौजूदा tools की जगह खुद implementation (Custom/DIY) चुना गया, और यह सबसे अधिक बार दिखाई देने वाला चयन प्रकार था
- दूसरी ओर, tool चुनते समय GitHub Actions(94%), Stripe(91%), shadcn/ui(90%) जैसे कुछ खास विकल्पों पर उच्च स्तर की एकाग्रता दिखाई दी
- deployment environment भाषा के अनुसार स्थिर रहा: JS के लिए Vercel, Python के लिए Railway डिफ़ॉल्ट विकल्प रहे, जबकि AWS·GCP·Azure को प्राथमिक चयन से बाहर रखा गया
- जैसे-जैसे मॉडल नए होते गए, Drizzle, FastAPI BackgroundTasks जैसे उभरते tools की ओर बदलाव की प्रवृत्ति स्पष्ट दिखी, और ecosystem के भीतर चयन की स्थिरता लगभग 90% रही
अध्ययन का अवलोकन
- Claude Code v2.1.39 का उपयोग करके कुल 2,430 प्रयोग किए गए, जिनमें वास्तविक repositories में open-ended प्रश्नों के माध्यम से tool selection का अवलोकन किया गया
- 3 मॉडल (Sonnet 4.5, Opus 4.5, Opus 4.6), 4 project प्रकार, 20 tool श्रेणियां
- 85.3% extraction rate, 2,073 वैध प्रतिक्रियाएं प्राप्त
- मॉडलों के बीच 90% agreement rate, और 20 में से 18 श्रेणियों में एक ही ecosystem के भीतर चयन की स्थिरता बनी रही
मुख्य निष्कर्ष: Build vs Buy
- 20 श्रेणियों में से 12 में Custom/DIY implementation सबसे आम चयन था
- कुल 252 Custom/DIY चयन, जो किसी एकल tool से भी अधिक थे
- उदाहरण: feature flags को environment variables आधारित config file से लागू करना, Python authentication के लिए JWT + passlib को सीधे लिखना, caching के लिए memory TTL wrapper का उपयोग
- श्रेणीवार Custom/DIY अनुपात
- Feature Flags 69%, Authentication(Python) 100%, Authentication(कुल) 48%, Observability 22%
डिफ़ॉल्ट स्टैक(Default Stack)
- Claude Code जब वास्तव में tools चुनता है, तो JS ecosystem केंद्रित डिफ़ॉल्ट स्टैक बनाता है
- शीर्ष चयन tools: Zustand(64.8%), Sentry(63.1%) आदि
- कुछ मामलों में JS-संबंधित चयन का 100% एक खास tool पर केंद्रित था
- यह डिफ़ॉल्ट स्टैक कई नए applications के development पर सीधे असर डालता है
बाज़ार की मुख्यधारा से अलग(Against the Grain)
- ऊंची market share वाले कुछ tools ऐसे हैं जिन्हें Claude Code लगभग उपयोग नहीं करता
- state management: कोई प्रमुख चयन नहीं, इसके बजाय Zustand 57 बार चुना गया
- API Layer: framework के built-in routing को प्राथमिकता
- testing: केवल 4% में प्रमुख चयन, 31 मामलों में वैकल्पिक चयन
- package manager: 1 प्रमुख चयन, 51 वैकल्पिक चयन
नए मॉडलों में tool replacement प्रवृत्ति(The Recency Gradient)
- जितना नया मॉडल, उतना नए tools की ओर बदलाव
- JS ORM: Prisma(79%) → Drizzle(100%)
- Python job processing: Celery(100%) → FastAPI BackgroundTasks(44%)
- Python caching: Redis(93%) → Custom/DIY(50%)
- हर ecosystem के भीतर पीढ़ीगत tool replacement स्पष्ट रूप से देखा गया
deployment environment का विभाजन(The Deployment Split)
- deployment selection language stack के अनुसार स्थिर रहा
- JS(Next.js + React SPA): 86 में 86 मामलों में Vercel चुना गया
- Python(FastAPI): Railway 82% चयन
- AWS, GCP, Azure में कुल 112 मामलों में प्रमुख चयन 0
- वैकल्पिक सुझावों के रूप में Netlify(67 बार), Cloudflare Pages(30 बार), GitHub Pages(26 बार), DigitalOcean(7 बार) सामने आए
- AWS Amplify, Firebase Hosting आदि का केवल उल्लेख हुआ, सिफारिश नहीं मिली
- उदाहरण प्रतिक्रियाओं में Vercel के लिए install command और कारण तक दिए गए, जबकि AWS Amplify सिर्फ एक पंक्ति के उल्लेख तक सीमित रहा
मॉडल कहाँ असहमत होते हैं(Where Models Disagree)
- 20 में से 5 श्रेणियों में मॉडलों के बीच अंतर मिला
- JS ORM: Prisma → Drizzle
- JS Jobs: BullMQ → Inngest
- Python Jobs: Celery → FastAPI BgTasks
- Caching: Redis → Custom/DIY
- Real-time: SSE → Custom/DIY
- बाकी 18 श्रेणियों में ecosystem के भीतर स्थिर चयन बना रहा
एंटरप्राइज़ benchmark service
- Amplifying अलग-अलग developer tool कंपनियों के लिए private dashboard प्रदान करता है
- इससे यह देखा जा सकता है कि AI agents उनकी tool को प्रतिस्पर्धियों की तुलना में कितनी बार recommend करते हैं
- वास्तविक codebase के आधार पर tool recommendation competitiveness analysis को समर्थन मिलता है
डेटा अन्वेषण
- विस्तृत analysis items में श्रेणीवार deep analysis, phrasing stability, repositories के बीच consistency, market impact आदि शामिल हैं
- अध्ययन के नतीजे आगे Sonnet 4.6 मॉडल के आधार पर update किए जाने वाले हैं
अभी कोई टिप्पणी नहीं है.