AI सहायता का कोडिंग कौशल के निर्माण पर प्रभाव
(anthropic.com)- Anthropic ने AI coding assistant का इस्तेमाल डेवलपर्स की learning और skill proficiency पर क्या असर डालता है इसे प्रयोगात्मक रूप से सत्यापित करने वाला एक शोध किया
- randomized controlled experiment के नतीजों में, AI इस्तेमाल करने वाले समूह की conceptual understanding और debugging क्षमता औसतन 17% कम थी, और speed में सुधार statistically significant नहीं था
- लेकिन जिन प्रतिभागियों ने AI का उपयोग सिर्फ code generation के लिए नहीं, बल्कि concept समझने और explanation मांगने के लिए किया, उन्होंने ऊंचे अंक हासिल किए
- शोध दिखाता है कि AI पर निर्भर रहने का तरीका learning outcomes तय करता है, और साधारण automation skill growth में बाधा बन सकती है
- कंपनियों और डेवलपर्स को productivity improvement और long-term skill accumulation के बीच संतुलन को ध्यान में रखकर AI adoption strategy की जरूरत है
शोध का अवलोकन
- यह शोध AI assistant का coding learning और technical proficiency पर प्रभाव विश्लेषित करने के लिए किया गया randomized controlled experiment था
- प्रतिभागी Python का 1 साल से अधिक अनुभव रखने वाले 52 junior developers थे, और वे Trio library से परिचित नहीं थे
- प्रयोग तीन चरणों में बना था: warm-up, main coding task (Trio आधारित 2 features का implementation), और quiz
- प्रतिभागियों ने AI assistant वाले online coding environment में काम किया, और assistant code access तथा answer code generation को support करता था
- evaluation items चार हिस्सों में थे: debugging, code reading, code writing, conceptual understanding, जिनमें खास तौर पर debugging और conceptual understanding पर जोर था
मुख्य परिणाम
- AI समूह का औसत quiz score 50% था, जबकि non-AI समूह का 67%, यानी लगभग दो grades का अंतर था (Cohen’s d=0.738, p=0.01)
- speed में AI समूह औसतन 2 मिनट तेज था, लेकिन यह statistically significant नहीं था
- सबसे बड़ा score gap debugging problems में दिखा, जो यह संकेत देता है कि AI का उपयोग errors को समझने की क्षमता में कमी से जुड़ा हो सकता है
- AI का उपयोग कैसे किया गया, उसके अनुसार learning effect बदला
- केवल code generation या debugging delegation से कम score मिले
- जबकि concept questions या code explanation की मांग साथ में करने पर ऊंचे score मिले
AI interaction types के अनुसार विश्लेषण
- कम score वाले patterns (औसतन 40% से कम)
- AI delegation type (n=4) : पूरा code AI से बनवाया, सबसे जल्दी पूरा किया, लेकिन conceptual understanding की कमी रही
- gradual dependency type (n=4) : शुरुआत में खुद कोशिश की, लेकिन धीरे-धीरे पूरी तरह AI पर निर्भर हो गए; दूसरे task के concepts में कमजोरी दिखी
- iterative debugging type (n=4) : error solving AI को सौंपा, नतीजा धीमा और कम score रहा
- ऊंचे score वाले patterns (औसतन 65% या अधिक)
- generate-then-understand type (n=2) : code generate करने के बाद AI से अतिरिक्त explanation मांगी, understanding ऊंची रही
- mixed code-explanation type (n=3) : code और explanation दोनों साथ मांगे; speed धीमी रही लेकिन understanding बेहतर हुई
- concept exploration type (n=7) : concept questions पर केंद्रित होकर काम किया; errors ज्यादा थे, लेकिन independent resolution के कारण जल्दी पूरा किया
व्याख्या और निहितार्थ
- AI adoption productivity और learning के बीच संतुलन की समस्या पैदा करता है
- तेज नतीजों को प्राथमिकता देने वाले माहौल में junior developers की skill growth रुकने की संभावना है
- AI उपयोग के तरीके की design एक मुख्य variable है, इसलिए simple automation से ज्यादा learning-oriented interaction की जरूरत है
- कंपनियों को AI tools की deployment और learning design को जानबूझकर प्रबंधित करना चाहिए,
और यह सुनिश्चित करना चाहिए कि engineers AI-generated code को verify करने की क्षमता बनाए रखें
निष्कर्ष और आगे के कार्य
- शोध यह सुझाता है कि AI पहले से सीखे हुए skills में productivity बढ़ा सकता है, लेकिन नई skills सीखने में बाधा बन सकता है
- sample size छोटा था और assessment short-term तक सीमित था, इसलिए long-term skill growth से इसका संबंध अभी पुष्टि नहीं हुआ है
- आगे के शोध के लिए ये विषय सुझाए गए हैं
- coding के बाहर के कार्यक्षेत्रों पर प्रभाव
- long-term learning effect बना रहता है या नहीं
- human mentoring और AI support के बीच का अंतर
- AI-assisted environment में भी cognitive effort और trial-and-error skill formation के लिए आवश्यक हैं,
और AI को इस तरह design किया जाना चाहिए कि वह efficiency और learning दोनों को साथ में support करे
1 टिप्पणियां
Hacker News की राय
यह प्रभावशाली है कि Anthropic ने ऐसा अध्ययन खुद डिज़ाइन किया और प्रकाशित भी किया
मुझे लगता है कि दूसरी लैब्स में ऐसा कम ही देखने को मिलता है
यह दिलचस्प है कि AI-सहायता प्राप्त समूह थोड़ा तेज़ था, लेकिन सांख्यिकीय रूप से यह महत्वपूर्ण नहीं था
आखिरकार ऐसा लगता है कि AI उत्पादकता बढ़ाता है, लेकिन वास्तव में यह सीखने की क्षमता में कमी की कीमत पर आता है
जब तक कोई तीसरा पक्ष इसे दोहराकर सत्यापित न कर दे, इसमें किए गए दावों के प्रति संशयपूर्ण रुख रखना चाहिए
मुझे यह तंबाकू कंपनियों के ‘स्वास्थ्य अध्ययन’ से अलग नहीं लगता
चिंता है कि आगे चलकर जूनियर AI-निर्भर डेवलपर बनकर बड़े होंगे और खुद समस्या सुलझाने की क्षमता खो देंगे
मेरा अनुमान है कि AI उपयोगकर्ताओं की coding skill कम बढ़ी होगी, लेकिन requirements specification की क्षमता बेहतर हुई हो सकती है
शुरुआती डेवलपर की भूमिका अब स्पष्ट requirement definition पर फोकस करने की दिशा में बदल रही है
संभव है कि यह रणनीति काम करे
ज़्यादातर लोग कम-से-कम प्रतिरोध वाले रास्ते पर चलते हैं, लेकिन कुछ लोग AI के ज़रिए उल्टा और तेज़ सीखते भी हैं
यानी यह निष्कर्ष हर उपयोगकर्ता पर एक जैसा लागू नहीं होता
चिंता यह है कि अगर ऐसे टूल अचानक उपलब्ध न रहें तो क्या होगा
इंटरनेट बंद हो जाए या credits खत्म हो जाएँ तो business और livelihood ठप पड़ सकते हैं
आखिर में डेवलपर सिर्फ एक gatekeeper बनकर रह जाएगा, और system failure की स्थिति में कुछ भी नहीं कर पाएगा
मैंने दुनिया के कई हिस्सों से काम किया है, लेकिन connectivity issues की वजह से खोया गया समय एक दिन से भी कम रहा है
Anthropic डाउन हो तो Gemini इस्तेमाल किया जा सकता है, credits खत्म हों तो free credits से काम चल सकता है
आजकल local models भी काफ़ी उपयोगी हैं
आखिरकार आधुनिक इंसान सब ऑनलाइन सेवाओं पर निर्भर हैं
अगर यह जोखिम पसंद नहीं है, तो अप्रभावी लेकिन स्थिर विकल्पों पर पैसा खर्च करना होगा
अगर ऐसा हो भी जाए, तो पुराने तरीके पर लौटने से बेहतर है emergency response procedure का पालन किया जाए
पहले हम खुद build करते थे और ISDN से upload करते थे, लेकिन अब CI/CD वही काम करता है
कुछ टूटे तो उसे ठीक करो; manual deployment उल्टा और बड़ी समस्याएँ बुलाता है
खासकर नई library सीखते समय इसका असर अधिक दिखता है
मैंने बिना इंटरनेट के लंबी उड़ान के दौरान भी उत्पादक ढंग से काम किया है
इंसान ऐसे प्राणी हैं जो माहौल खराब होने पर भी उल्टा बेहतर ढंग से अनुकूलन कर लेते हैं
senior developer अब भी मूलभूत समझ में बढ़त रखते हैं
जैसे पुरानी पीढ़ी assembly और hardware को समझती थी, वैसे ही आज की पीढ़ी AI को संभालना सीख रही है
आखिर में ज़रूरत संदर्भ के अनुसार सीखने की क्षमता की होती है
मैं भी 20 साल से ज़्यादा काम कर चुका हूँ और अपनी ज़्यादातर जानकारी भूल चुका हूँ, लेकिन उसका कारण AI नहीं है
खराब code और structural problems तो LLM से पहले भी मौजूद थे
अध्ययन के अनुसार सबसे बड़ी गिरावट problem-solving क्षमता में दिखी
आज के juniors अपने दम पर debugging करने के मौके खो रहे हैं
मैं टीम में ‘आख़िरी debugger’ की भूमिका में काम कर चुका हूँ, और compiler bugs तक पकड़े हैं
अब मैं Claude का उपयोग दोहराव वाले काम सौंपने के लिए करता हूँ, और सिर्फ उन्हीं हिस्सों में गहराई से जाता हूँ जहाँ रणनीतिक रूप से सीखना ज़रूरी हो
इससे सीखने की efficiency बढ़ गई है
न सीखने से कोई खास नुकसान नहीं, लेकिन सीख लेने में भी बुराई नहीं
आखिरकार logical thinking रखने वाला human developer अभी भी LLM से बेहतर है
उसे लिखना ज़रूरी नहीं, लेकिन समझ पाना चाहिए
पहले के ‘कम स्मार्ट मॉडल (GPT‑4 आदि)’ सिर्फ 90% तक मदद करते थे, इसलिए बाकी खुद सुलझाना पड़ता था
उसी प्रक्रिया में गहरा सीखने का अनुभव बनता था
आज के मॉडल इतने polished हैं कि अपने दम पर सोचने के मौके कम हो गए हैं
CLI की तुलना में editor में AI के साथ सहयोग करने का तरीका शायद बेहतर हो
आखिरकार सीख रहे developers को सबसे ज़्यादा नुकसान होता है
हर तरह की नौकरी में LLM पर निर्भर संस्कृति बनती जा रही है
पूरी structure डिजाइन करना अब भी इंसानों का काम है
मैं LLM को learning tool की तरह इस्तेमाल करता हूँ, और design visualization के लिए conversational तरीके से examples और diagrams माँगता हूँ
उदाहरण के लिए grok 4.1 fast, 10 गुना सस्ता है और थोड़ा बेहतर भी
अगर मॉडल बहुत अच्छा काम करने लगे, तो इंसानी सोच सुस्त पड़ सकती है
लेकिन प्रतिस्पर्धा में वही जीतता है जो efficient skills सीखता है
फिर भी AI अक्सर overfitted नतीजे ही दिखाता है, इसलिए यह जोखिम भरा है
इस समस्या को हल करने के तरीके अभी कम हैं
आखिर में इंसानों को खुद validate करना होगा और learning patterns बनाने होंगे
hobby projects के लिए यह शानदार है, लेकिन बड़े codebase में इसकी सीमाएँ हैं
programmer का सार लगातार सीखते रहना है
25 साल काम करने के बाद भी मैं अब भी हर दिन कुछ नया सीखता हूँ
consultants रखने की समस्या यह थी कि code तो रह जाता था, लेकिन ज्ञान बाहर ही रह जाता था
आखिरकार programming अपने आप में सीखने की प्रक्रिया है
कई बार पहले से मौजूद solutions को बदलकर ही समस्या हल की जाती है
कभी-कभी ज़रूरत से ज़्यादा सीखना उल्टा complexity बढ़ा देता है
अध्ययन के अनुसार AI का उपयोग समझ और debugging क्षमता में गिरावट लाता है, जबकि efficiency में सुधार बहुत मामूली है
मूल लिंक देखें
AI समूह का औसत 50 अंक था, जबकि manual coding समूह ने 67 अंक हासिल किए
यह एक दिलचस्प अध्ययन था
इससे सोचने पर मजबूर होना पड़ता है कि कहीं हम सुविधा को कौशल समझने की गलती तो नहीं कर रहे
ऐसा अध्ययन हुआ, यह अच्छी बात है
language learning की तरह, खुद इस्तेमाल किए बिना कौशल बना नहीं रहता
उपयोग बंद करें तो धीरे-धीरे क्षमता घटती है, यह स्वाभाविक है
Anthropic की पारदर्शिता और वैज्ञानिक दृष्टिकोण की मैं सराहना करता हूँ
मैं भी वास्तविक development delegate करके conceptual learning पर ध्यान दे रहा हूँ, और इससे तेज़ी से आगे बढ़ रहा हूँ
पोस्ट का शीर्षक भ्रामक हो सकता है
अध्ययन का विषय शुरुआती डेवलपर की productivity बढ़ना नहीं, बल्कि सीखने की प्रक्रिया पर प्रभाव है
समाज पूर्ण समझ से नहीं, बल्कि कार्यात्मक दक्षता से चलता है
मैंने खुद सैकड़ों test cases से ही सत्यापित एक regex library maintain की है
implementation को पूरी तरह समझे बिना भी test-based accuracy के आधार पर भरोसा बनाया जा सकता है
AI शुरुआती लोगों को productivity gain देता है, लेकिन skill acquisition में बाधा बन सकता है
पूरी तरह delegate करने वाले उपयोगकर्ताओं को थोड़ी efficiency मिलती है, लेकिन learning घट जाती है
इसके विपरीत, अगर cognitive engagement वाला pattern बनाए रखा जाए, तो learning effect बचा रह सकता है
यानी AI productivity, mastery का shortcut नहीं है
25 साल काम करने के बाद भी मैं अब भी हर दिन सीख रहा हूँ