- पेशेवर programmer लेखक का अपने बच्चे को coding सिखाने का भरोसा GPT-4 के अनुभव के बाद डगमगा गया, और उन्हें लगा कि जब बच्चा typing करने की उम्र तक पहुँचेगा, तब coding की पेशेवर value बदल चुकी हो सकती है
- हालिया coding अनुभव लगभग न रखने वाले दोस्त Ben ने ChatGPT Plus और GPT-4 की मदद से command-line tool, iPhone word-rating app, और microcontroller-Firebase integration code तेजी से बना लिए
- Coding लंबे समय तक धैर्य, बार-बार debugging, और machine की सीमाओं को सहज रूप से समझने वाली mechanical sympathy मांगती रही है, लेकिन AI सहायता implementation की बारीकियों और कठिन ज्ञान के कुछ हिस्सों को natural-language बातचीत से बदलना शुरू कर रही है
- GPT-4 अभी भी कुछ मामलों में पेशेवर programmer से कमजोर है और आम लोगों के लिए उसे उसी तरह इस्तेमाल करना भी मुश्किल है, लेकिन programmer और AI का मिला-जुला centaur रूप अकेले इंसान या अकेले AI से अलग productivity दिखाता है
- जैसे-जैसे coding खुद कम महत्वपूर्ण होती है, क्या बनाना है यह तय करने, users को क्या पसंद आएगा यह समझने, और तकनीकी व मानवीय दोनों स्तरों पर communicate करने की क्षमता ज्यादा महत्वपूर्ण हो सकती है
GPT-4 ने coding में पेशेवर भरोसे को हिला दिया
- लेखक अपने बच्चे को computer programming सिखाना चाहते थे, जैसे उनके माता-पिता ने उन्हें पढ़ना और लिखना सिखाया था
- Coding को film making से लेकर physics तक फैली नई skill और जरूरी क्षमता माना जाता था
- पेशेवर coder होने के बावजूद उन्हें लगा कि जब तक उनका बच्चा typing कर पाएगा, तब तक coding की value शायद खत्म हो चुकी हो
- मोड़ तब आया जब वे अपने दोस्त Ben के साथ Times शैली की crossword puzzle computer से बनाने के hobby project पर काम कर रहे थे
- 2018 में उन्होंने software की मदद से Saturday puzzle बनाई थी, जिसमें इंसान बस थोड़ा taste लागू करता था
- इस बार वे बिना मानवीय touch के puzzle बनाने वाला program बनाना चाहते थे
- Ben hardware में मजबूत था, लेकिन उसकी professional coding experience छोटी और सतही थी, और वह लगभग 20 साल पुराने स्तर पर अटका हुआ था
- फिर भी उसने ChatGPT Plus subscribe किया और GPT-4 को coding assistant की तरह इस्तेमाल करना शुरू किया
- उसने project के लिए जरूरी छोटे tools आश्चर्यजनक तेजी से खुद बना लिए
Hobby project में दिखी AI coding assistant की क्षमता
- dictionary file से random 100 lines print करने वाला command बनाते समय लेखक ने problem सोची, search किया और trial-and-error से गुजरे
- Ben ने GPT-4 को बताया कि उसे क्या चाहिए, और उसे चलने वाला code मिल गया
- लेखक ने सोचा कि ऐसे commands वैसे भी tricky होते हैं और हर कोई इन्हें look up करता है, इसलिए यह “real programming” नहीं है
- कुछ दिनों बाद Ben ने कहा कि वह dictionary words को rate करने वाला iPhone app बनाना चाहता है
- लेखक को iPhone app बनाना भारी लगा, क्योंकि Apple का programming environment, नई language, UI components और packaging process सीखनी पड़ती
- अगले दिन Ben ने ऐसा app भेजा जो ठीक वही features कर रहा था और cute design भी था
- Ben ने कहा कि उसने इसे कुछ ही घंटों में बनाया और GPT-4 ने अधिकांश कठिन काम संभाल लिया
- Ben ने King Charles के portrait frame में छोटा speaker और लाल LED जोड़ने वाला project भी किया
- device ऐसा था कि website पर message डालने पर speaker music बजाता और LED crown jewels की तरह Morse code में blink करती
- नए messages fetch करने वाला code microcontroller और Firebase knowledge मांगता था, इसलिए Ben के लिए कठिन था
- GPT-4 ने Firebase की उपयुक्त feature और microcontroller में इस्तेमाल किया जा सकने वाला code suggest किया
- Ben ने GPT-4 से Nokia mobile phone के Snake game जैसा भी कुछ बनाया
- छोटी बातचीत के बाद उसने हारने पर यह दिखाने वाला feature भी जोड़वा लिया कि player optimal path से कितना भटका
- लेखक को भरोसा नहीं था कि वे खुद भी यह modification कर पाएंगे या नहीं
- GPT-4 ने इसे करीब 10 seconds में कर दिया
Coding का आकर्षण और mastery का बनना
- लेखक पहली बार computer से 1990s की शुरुआत में Montreal में अपने भाई के साथ Mortal Kombat खेलते हुए मोहित हुए थे
- उनका भाई MS-DOS terminal से FTP server पर connect करके commands डालता और game की हर fatality instruction वाला code print करता
- लेखक अपने भाई को hacker जैसा मानते थे, और hidden जगहों व ज्ञान को खोजने में आकर्षण महसूस करते थे
- “The Hacker’s Manifesto” की line “मेरा अपराध curiosity है” और 1995 की film “Hackers” ने यह एहसास मजबूत किया कि knowledge ही power है
- film में Dade Murphy computer books को सिर्फ cover देखकर पहचान लेता है, और keyboard input से school sprinklers व oil tanker का balance control करता है
- लेखक के लिए hacking विनाश से ज्यादा छिपी चीजें सीखने की क्रिया थी
- High school में खरीदी गई Ivor Horton की “Beginning Visual C++” उनकी 1,200 pages की पहली beginner book थी
- शुरुआत आसान थी, लेकिन “Dynamic Memory Allocation” वाले हिस्से में वे अटक गए
- वे इसकी तुलना मध्यकालीन students द्वारा पहली कठिन जगह को दिए गए नाम pons asinorum, यानी “गधे का पुल”, से करते हैं
- “Hello, world” run कराने तक का अनुभव उन्हें यह महसूस कराता था कि programming ज्ञान या skill से ज्यादा धैर्य और जुनून के बारे में है
- Borland C++ compiler चलाने के लिए उन्होंने कई दिन संघर्ष किया, और एक error ठीक करते तो दूसरा error आ जाता
- आखिरकार जब “Hello, world” दिखाई दिया, तो उन्हें लगा जैसे computer अपनी आवाज में जागकर अभिवादन कर रहा हो
- College के दिनों में वे छोटे programs बनाते हुए coding का आनंद बढ़ाते गए
- उन्होंने ऐसा program बनाया जो 2006 Masters Tournament में Tiger Woods के birdie या bogey करने पर text message भेजता था
- उन्होंने “Ulysses” से random sentences निकालकर syllables गिनने और haiku assemble करने वाला program भी लिखा
- दोस्तों के साथ खेले जाने वाले “Jimbo Jeopardy!” को 14 घंटे में बनाते हुए उन्हें किसी के अपने बनाए हुए काम का आनंद लेने का तीव्र अनुभव हुआ
Software engineer का स्वर्णकाल और automation का paradox
- 2009 की financial crisis के बीच 2.9 GPA के साथ graduate हुए, लेकिन programming practical experience की वजह से उन्हें पहली full-time job आसानी से मिल गई
- उस समय companies अच्छे programmers के लिए compete कर रही थीं और experienced programmers से aggressive तरीके से संपर्क करती थीं
- Computer science major की popularity तेजी से बढ़ने लगी थी, और coding bootcamps दावा करते थे कि वे beginners को एक साल के भीतर high-salary programmers बना सकते हैं
- Low interest rates और tech sector growth के बीच software engineers को मिलने वाला treatment बहुत बेहतर हुआ
- Google जैसी companies ने free espresso, catered meals, अच्छा medical benefits, parental leave, office gyms, bike storage, casual dress code और 20% time जैसी practices फैलाईं
- Coding work में कभी भी bug सामने आ सकता था, इसलिए duration estimate करना मूर्खता माना जाता था, और deadlines को taboo की तरह देखा जाता था
- अगर pressure ज्यादा हो, तो “burnout” शब्द भर कहकर कुछ महीनों की मोहलत मिल सकती है—ऐसा माहौल भी था
- यह treatment कितने समय तक जारी रह सकता है, इस पर सवाल भी बढ़ने लगे
- एक समय web design की demand इतनी थी कि weekend work से हजारों dollars कमाए जा सकते थे
- Squarespace जैसे tools आने पर pizza shop owners या freelance artists भी कुछ clicks से website बना सकते थे
- Professional coders के लिए high-income, low-effort कामों का कुछ हिस्सा गायब हो गया
- Programmer community की प्रतिक्रिया कुछ ऐसी थी कि और कठिन technologies लगातार सीखनी होंगी
- Software engineers automation पसंद करते हैं, और बेहतरीन engineers ऐसे tools बनाते हैं जो दूसरे तरह के कामों को बेकार बना देते हैं
- एक code लाखों लोगों के काम पर असर डाल सकता है—यह leverage programmers के treatment का आधार था
- यही automation instinct programmers के अपने काम का भी कुछ हिस्सा replace करती है
AI युग का programmer, centaur और बची हुई क्षमताएं
- Company में AI chatbot को programming assistant के रूप में इस्तेमाल करने की अनुमति मिलने के बाद लेखक ने शुरुआत में जानबूझकर इससे दूरी बनाई
- जल्द ही उन्होंने colleagues की screens पर AI chat के question-answer patterns अक्सर देखने शुरू कर दिए
- Colleagues कहते थे कि ये tools productivity बढ़ाते हैं और कुछ मामलों में problems को 10 गुना तेजी से solve करा देते हैं
- लेखक को चिंता थी कि AI puzzle solve करने का मजा और खुद हल निकालने की satisfaction छीन लेगा
- आम programming output अक्सर दिलचस्प नहीं होता और कभी-कभी हास्यास्पद रूप से साधारण होता है
- जैसे किसी महत्वपूर्ण document की table में कई columns पर फैला header जोड़ना—result देखकर यह काम simple लगता था
- लेकिन user API कैसे बनानी है, data न होने वाले columns छूटें तो कैसे handle करना है—इन पर सोचने की process ही आनंद का core थी
- आखिरकार उन्होंने काम के दौरान search results में user query से match करने वाले हिस्सों को highlight करने वाला छोटा tool बनाते समय GPT-4 इस्तेमाल किया
- Edsger W. Dijkstra ने 1978 में “On the Foolishness of ‘Natural Language Programming’” में माना था कि natural language उस precision को छोड़ने का तरीका है जो computer देता है
- GPT-4 का वास्तविक उपयोग “problem solve कर दो” कहने भर जैसा नहीं था; beginner को समझाने की तरह अपनी जरूरत सावधानी से specify करनी पड़ती थी
- Failures देखकर prompt को कम ambitious बनाना पड़ा, और problem को specific, abstract और unambiguous sub-problems में बांटना पड़ा
- इसके बाद work के अलग-अलग हिस्सों में GPT-4 के लिए सही आकार की खाली जगहें दिखने लगीं
- Crossword output को अच्छा दिखने वाले webpage में बदलने के काम में भी उन्होंने GPT-4 से बातचीत की
- हर letter को horizontal और vertical words से जोड़ने जैसी detail problem थी, लेकिन उन्होंने पहले की तरह numbers, patterns और loops को दिमाग में simulate नहीं किया
- Geoffrey Litt ने ऐसे ही अनुभव के बाद जैसा लिखा, उनके भीतर यह एहसास रह गया कि उन्होंने “detail-oriented programmer brain” इस्तेमाल नहीं किया
- Go के Lee Sedol और chess के उदाहरण दिखाते हैं कि AI के बाद भी किसी skill की culture पूरी तरह गायब नहीं होती
- Lee Sedol 2016 में AlphaGo से हारे, कई दिनों की matches के अंत में एक game जीतने पर गर्व महसूस किया, और 3 साल बाद retire हुए
- Chess AI द्वारा conquer किए जाने के बाद भी और लोकप्रिय हुआ, और learners AI coach से अपने level से बस ऊपर की problems और हार के कारण पा सकते हैं
- Top grandmasters computer द्वारा सुझाए moves को divine tablets की तरह study करते हैं
- GPT-4 फिलहाल लेखक से कमजोर programmer है, और आम लोग भी उसे programmer की तरह इस्तेमाल करना मुश्किल पाते हैं, लेकिन centaur तरीका पहले ही उभर चुका है
- अकेला Ben लेखक से बहुत कमजोर programmer है, और अकेला GPT-4 भी अभी लेखक से कमजोर है, लेकिन Ben और GPT-4 का combination डराने वाली productivity दिखाता है
- Software बनाना आसान होगा तो यह और ज्यादा फैलेगा, और programmers design, configuration व maintenance संभाल सकते हैं
- अगर coding खुद कम महत्वपूर्ण हो जाए, तो क्या बनाना worth है, users को क्या पसंद है, और technically व humanly कैसे communicate करना है—ये बातें ज्यादा महत्वपूर्ण हो सकती हैं
- बच्चे को सिखाने लायक चीज किसी specific technology से ज्यादा hacking की spirit हो सकती है
- भविष्य में C++ या Python सीधे type करके programming करना punch cards पर binary instructions देने जैसा हास्यास्पद लग सकता है
- Computer से अपना मनचाहा काम ठीक से करवाना शायद विनम्र request करने का मामला बन जाए
- Agricultural age के coders waterwheels और crop varieties से खेलते होंगे, और Newton के समय वे glass, dyes और time measurement में obsessed रहे होंगे
- अगली generation शायद उन AI systems के अंदर झांकते हुए रातें बिताएगी जिन्हें उनके parents black box मानते थे, और coding का युग ढल भी जाए तो hacking जारी रहेगी
3 टिप्पणियां
लेख का पिछला हिस्सा थोड़ा कटकर संक्षेपित हो गया है, लेकिन आख़िरी वाक्य महत्वपूर्ण है.
"I shouldn’t worry that the era of coding is winding down. Hacking is forever."
"यह चिंता करने की ज़रूरत नहीं है कि coding का युग ढल रहा है। Hacking हमेशा रहेगा।"
Bard में भी जैसे ही integration feature दिया गया, तुरंत prompt injection से जानकारी लीक करना वगैरह संभव होता दिखा,
तो लगता है कि hacking हमेशा रहने वाली चीज़ है।
Hacker News की राय
GPT-4 वाकई प्रभावशाली है, लेकिन मेरे लिए software development का मूल coding खुद कभी नहीं था
GPT-4 अक्सर fail होता है, उसके fail होने के तरीके भी साफ नहीं होते, और जिन क्षेत्रों में training material कम है वहाँ यह और बुरी तरह टूट जाता है
भले ही यह 20 गुना बेहतर हो जाए, अगर अच्छा software सस्ता और आसान बन सके तो मुझे लगता है यह दुनिया के लिए अच्छी बात है
जो लोग coding को सचमुच hobby की तरह enjoy करते हैं, AI उन्हें उससे नहीं रोकेगा; और अगर coding गायब भी हो जाए, तो भी मुझे लगता है software engineering का मूल वैसे भी वहाँ नहीं था
LLM तेज और काफी ठीक-ठाक है, लेकिन यह ज्यादा errors वाले Stack Overflow replacement जैसा है; programmer की क्षमता को supplement करने वाले tool के रूप में short और medium term में इसका net effect बड़ा positive लगता है
जिन problems पर मैं अटकता हूँ वे आम तौर पर इतनी broad और complex होती हैं कि इंसान के दिमाग में भी ठीक से नहीं समातीं, और GPT लगभग बेकार solutions देता है
code के मामले में यह सब कुछ थोड़ा-थोड़ा जानने वाला लेकिन depth में उथला all-purpose helper जैसा है; junior से mid-level developers के लिए शायद अलग हो सकता है
ऐसा code debug करना जो ऊपर से साफ तौर पर सही दिखता हो, programming का सबसे मजेदार हिस्सा मानने वाले लोग बहुत कम होंगे
फिर भी मुझे लगता है LLM को test suite pass होने तक loop में चलाना, या proof assistant से verified correctness proof के साथ code generate करवाना जैसे बेहतर उपयोग मिल सकते हैं
हालांकि मेरी पसंद उन projects की थी जिनमें कुछ हद तक artistic discretion हो, न कि ऐसे ज्यादा academic code की जहाँ value cycle count या latency जैसे quantitative metrics से नापी जाती है
career की शुरुआत में जिस तरह की coding मुझे पसंद थी, वह ChatGPT से पहले ही कम होने लगी थी; और engineers के दुकान संभालने वाले दौर में शुरुआत करना आज सोचने पर शायद privilege था
code पसंद नहीं है; मैं बस कुछ बनाना चाहता हूँ
क्या सिर्फ मुझे ही लगता है कि समय के साथ LLM से कम प्रभावित होता जा रहा हूँ
2021 में जब Copilot पहली बार आया था, तब मुझे भी लगा था कि “मैं जल्द ही बेकार हो जाऊँगा”
लेकिन खुद इस्तेमाल करने के experience और research को देखकर लगता है कि modern LLM में मूलभूत flaws हैं और यह general intelligence की राह पर नहीं है
GPT-4, 3.5 से बेहतर है, लेकिन fundamentally अलग नहीं; 5 भी शायद वैसा ही होगा। बाद में जब सचमुच powerful AI आएगा, तो हम इस technology पर दिए गए अपने attention को देखकर शायद हँसेंगे
शुरुआत में यह बहुत impressive था, लेकिन अब बहुत high-level overview के अलावा भरोसा नहीं कर पाता
उदाहरण के लिए, जब मैंने scratch से sound synthesizer implement करके audio samples बनाने और उन्हें wave file में save करने की कोशिश की, तो concepts समझने में overview मददगार था, लेकिन code subtle तरीके से गलत था
struct length calculate करते समय length में क्या शामिल होता है जैसी details यह खास तौर पर गलत कर रहा था, और beginner के तौर पर मैं निश्चित भी नहीं हो सकता था कि सही है या नहीं
verification मांगने पर यह माफी मांगता और जवाब को उस दिशा में बदल देता जो उसे लगता था कि मैं सुनना चाहता हूँ, इसलिए भरोसेमंद नहीं था
हालांकि अकेले programming करते समय loneliness कम करने वाले tool के रूप में यह काफी अच्छा है; ideas उछालकर response देखना भी मदद करता है
शुरुआती cinema दर्शकों को simple black-and-white films भी डरावनी लगती थीं, और screen की ओर आती train देखकर वे झुक जाते थे
phonograph पहली बार सुनने वालों ने भी कहा था कि वे इसे live orchestra से अलग नहीं कर सकते
जब आप किसी technology में पारंगत होते हैं, तो उसे पहचानना भी सीखते हैं, और उसकी limits व strengths का sense बनता है। इसलिए समय के साथ वह कम impressive लगती है
जो काम आपने सोचा था कि यह नहीं कर पाएगी, वह कर दे तो प्रभावित होना आसान है; लेकिन बाद में जिस काम की उम्मीद करने लगे थे वह न कर पाए, तो इसका मतलब यह नहीं कि आप उसे तुरंत खारिज कर दें
अगर GPT-5 ने वैसी ही छलांग लगाई, तो उसे use किए बिना compete करना मुश्किल हो जाएगा
दोनों GPT models हैं और simple autoregressive language model के तौर पर train हुए हैं, लेकिन जब GPT-4 कई contexts में request के मुताबिक information को सही ढंग से synthesize करता है, तो individual level पर भी dramatic बदलाव महसूस होता है
LLM आखिरकार बहुत बड़े text पर probabilistic inference ही है, लेकिन पर्याप्त compute और data होने पर बड़े models training के दौरान data को optimally समझने के लिए structures बना सकते हैं, ऐसा मुझे लगता है
data multimodal हो जाए तो हर modality गलत world representations को हटाकर स्पष्ट करती है, इसलिए effect simple addition नहीं बल्कि multiplication जैसा बढ़ सकता है
text, image, video, audio और taste sensors पर train हुए GPT-10 को देखकर हम हँसेंगे कि वह कितना अच्छा है, लेकिन मुझे लगता है GPT-4 भी मानवता द्वारा उठाए गए किसी भी पिछले step से बड़ा advance था
लोगों को गंभीरता से यह इस्तेमाल करते देखा है कि prompt में “2 और 2 जोड़ने वाला expression लिखो” डालकर जरूरी
2+2लिया, और इसे magical efficiency बतायासच कहूँ तो मुझे लंबा लिखना खास पसंद नहीं, और मेरे लिए code हमेशा natural language में समझाने से छोटा और तेज होता है। असल में code की जरूरत ही इसलिए है
ऊँची expectations से देखें तो इसे “fundamentally flawed” कहा जा सकता है, लेकिन अगर baseline “बेकार” हो जैसा कई लोग सोचते हैं, तो इसे अद्भुत tool भी कहा जा सकता है
जूनियर डेवलपर को देने वाला एक सरल फ्रंटएंड टेस्ट मैं हर कुछ महीनों में ChatGPT से भी करवाता हूँ, लेकिन यह अब तक कभी पास नहीं हुआ। पास आने के करीब भी नहीं
यह आत्मविश्वास से जवाब देता है, लेकिन उनमें हल्की-सी गलतियाँ होती हैं, और जो code बनाता है वह वैसा ही बेतुका code लगता है जैसा हाल के bootcamp graduate की तरफ से आता है, जिसने 8-पेज के résumé में 50 technologies “master” करने का दावा किया हो
अगर यह बेहतर हुआ है, तो मुझे महसूस नहीं हुआ
10 साल पहले भी कहा जा रहा था कि self-driving trucks 10 साल के भीतर trucking industry को उलट देंगे, और LLMs के इर्द-गिर्द media coverage भी बिल्कुल वैसी ही है
कमाल की चीज़ तो है, लेकिन हर बार left turn करवाने पर 100 miles per hour की रफ़्तार तक accelerate करके दीवार से टकराने वाला स्तर हम कब तक दोहराते रहेंगे, यही लगता है
मैं AI को इस तरह इस्तेमाल करना चाहूँगा कि वह उन dots के तारामंडल जोड़े जिन्हें इंसान जोड़ ही नहीं सकते, और फिर कोई expert result verify करके आगे बढ़े।
gpt installसे कोई नया CLI tool या app मिलने वाला दिन कब आएगा, पता नहीं, लेकिन जल्द तो नहींमैंने जैसे-तैसे बना दिया, लेकिन वह pixel-level पर match नहीं करता था, और team lead ने फिर से करने को कहा। business value 0 थी, लेकिन हमारी team pixel perfect को अपनी शान मानती थी
वह घटना उन कारणों में से एक थी जिसकी वजह से मैंने frontend development छोड़ दिया
हाल ही में practice के तौर पर ChatGPT से वैसी ही CSS बनवाने को कहा, तो उसने बिल्कुल सही कर दिया
CSS में मेरी skill मध्यम स्तर की है, लेकिन ChatGPT के साथ मैं CSS experts जैसी quality के काफ़ी करीब output बना सकता हूँ। जैसा लेख में भी कहा गया है, mid-level generalist अब experts से मुकाबला कर सकता है
मेरा अनुभव काफ़ी अलग है। मैं ऐसा picky backend developer हूँ जो ज़रूरत पड़ने पर format validation भी सच में इस्तेमाल करता है, और logically काम न करने वाली चीज़ों से चिढ़ जाता है
computers के साथ काम करते हैं, इसलिए सब कुछ logical होना चाहिए, लेकिन frontend के बहुत से हिस्से मुझे बिल्कुल logical नहीं लगते
frontend वाले से पूछो, “text को center align कैसे करें,” तो वह
text-alignकहता है, जबकि ज़ाहिर है कि मैंने वही पहले try किया था, पर वह चला नहींfrontend लोगों को भी कभी-कभी simple सवाल का तुरंत जवाब देने के बजाय खुद करके देखना और fail होना पड़ता है
अब अगर Copilot तुरंत जवाब नहीं उगलता, तो ChatGPT-4 या हमारे codebase को जानने वाला मेरा personalised GPT “front-end hacker” उसे ठीक कर देता है। रोज़, पूरे दिन यह अच्छी तरह काम करता है
पहली बार देखने पर यह future से आई alien technology जैसा शानदार stunt लगता है
लेकिन समय बीतने पर holes दिखने लगते हैं, और कुछ महीनों/सालों तक इस्तेमाल करने के बाद भी पता चलता है कि वे holes ठीक से भर नहीं रहे
marketing और rhetoric की तुलना में, जिस gap को भरना है उसके हिसाब से improvement की speed मध्यम है, और आखिर में इसे इस्तेमाल करना, इस्तेमाल न करने से ज़्यादा काम जैसा भी लगने लगता है
purely data-driven machine learning approach शायद उन problems के लिए फिट नहीं बैठती जिन्हें 80% से कहीं ज़्यादा accuracy चाहिए
trading algorithm जिसमें 55% सही होना ही पैसा कमाने के लिए काफ़ी है, scroll करने के लिए movies/songs की list दिखाने वाला recommendation engine, सरसरी तौर पर देखने वाले search results, inbox noise कम करने वाला spam filter—इनके लिए यह ठीक है
लेकिन “यही सही जवाब है” कहना या “लोगों को मारे बिना car चलाना” जैसी problems कहीं ज़्यादा कठिन हैं
ज़्यादातर functions तो उन दो points से भी नहीं गुज़रते थे जिनके बीच interpolation करना था, और जब मैंने यह बताया, तो उसने ऐसा function दिया जो points से तो गुज़रता था लेकिन अब smooth नहीं था
कई बार नए सिरे से शुरू करके मैंने सच में कोशिश की
अगर ऐसी चीज़ machinery control करने वाला code लिखे तो पूरी अफरा-तफरी हो जाएगी, इसलिए मुझे लगता है कि machine learning वाली दुनिया और robot delivery drones वाली दुनिया में से एक चुननी पड़ेगी
हालांकि variables से function parameters बनाने जैसे छोटे-मोटे काम इसने ठीक-ठाक किए
फिर भी लगता है कि यह task भी आखिरकार पार कर लिया जाएगा, और तब बचा सवाल यह होगा कि यह सचमुच की capability है या data leakage
मुझे समझ नहीं आता कि लोग सच में मौजूदा दौर को इस तकनीक का संध्याकाल क्यों मान रहे हैं
मेरे नज़रिए से हम जल्द ही coding की quantum productivity era में प्रवेश करने वाले हैं
AI सहायता न सिर्फ़ मेरे लिखे हुए को बेहतर बनाती है, बल्कि काम करते हुए सीखने में भी मदद करती है, इसलिए मैं इसे लेकर बहुत उत्साहित हूँ। पिछले 1 साल जितना software लिखना कभी इतना मज़ेदार नहीं रहा
मैं दशकों से software लिखता आया हूँ, लेकिन अब मेरे पास लगभग हमेशा एक coach होता है जो मुझे अटकी हुई जगहों से आगे निकालता है और choices समझने में मदद करता है
यह किसी सहकर्मी की desk पर जाकर problem पूछने जैसा नहीं है; यह सचमुच ऐसे productive solutions देता है जो नतीजों को inspire करते हैं
वाकई हैरान करने वाला है
मुझे नहीं पता लोग coding को खत्म होता हुआ क्यों देखते हैं। मुझे ऐसा कोई सबूत नहीं दिखता कि AI coding assistants ठीक-ठाक developers को replace कर देंगे—जब तक कि किसी की कुछ बनाने की क्षमता सचमुच बहुत खराब न हो
ऐसा लगता है जैसे किसी ने कहा हो, “अब foundation work मुफ़्त है, लेकिन घर अब भी बनाए जा सकते हैं”
मुझे अब भी घर बनाना है, उसकी planning और design करनी है, उसे बनाना है, लोगों को उसके बारे में बताना है, support करना है, advocate करना है और समझाना है। बस foundation खुद नहीं बनानी पड़ती, इसलिए काम आसान हो गया है
अगर AI developers को दोगुना productive बना देता है, तो क्या जोड़ी गई development capacity मौजूदा और नई demand में absorb हो जाएगी? क्या developers की संख्या आधी हो जाएगी? या फिर उतने ही developers को बहुत कम वेतन मिलेगा?
भले ही AI एक भी मौजूदा developer job को पूरी तरह replace न करे, तब भी ये सवाल उठते हैं
यह भी अहम है कि किस तरह का काम AI automation के लिए अच्छी तरह fit बैठता है। CSS जैसा काम याद आता है, जहाँ narrow context में output में छोटे बदलाव करने के लिए कई छोटे technical details जानने पड़ते हैं
अगर आप इस तरह की coding कर रहे हैं, तो मुझे लगता है कि अब अपनी skill range को broader responsibilities तक फैलाने का समय है
पुराने coders को जिन कई layers को समझना पड़ता था, नए entrants उन्हें नहीं समझते, और वे layers अब भी subtle तरीके से behavior को प्रभावित कर सकती हैं
अगर किसी ने पिछले कई दशकों की सबसे व्यापक web technology field में 13 साल से ज़्यादा programming की है, तो उसे लग सकता है कि web जिस पूरे stack पर निर्भर है, उसे हर साल समझना कठिन होता जा रहा है, और इस वजह से तकनीक ढल रही है
frontend में, केवल code देखकर किसी ने क्या किया है, यह सीखना लगातार मुश्किल होता जा रहा है। modern build technology के कारण site code देखना ज़्यादा मददगार नहीं रह गया, और ऐसी शिकायतें 13 साल पहले भी थीं
अगर आपके बच्चे हैं या काम के बाहर ज़िम्मेदारियाँ हैं, तो software के लगातार और अधिक क्षेत्रों को निगलते जाने की स्थिति के साथ मिलकर, school के बाहर लोगों के लिए intentional practice से अपनी skills को निखारना और कठिन हो जाता है
productivity में बढ़ोतरी का मतलब craftsmanship में सुधार होना नहीं है। यह वैसा ही है जैसे industrialization ने productivity बढ़ाई और कई products को आम किया, लेकिन artisan skills के लिए फायदेमंद नहीं रहा
पहले ऐसे लोग आम दिखते थे जो board पर components solder कर सकते थे और कई integrated circuits जोड़ सकते थे, और मैंने भी university में यह किया था
अब वह artisan layer गायब हो चुकी है, और लोग या तो ऐसे experts हैं जो computer hardware के काम करने के सिद्धांत को बेहद अच्छी तरह जानते हैं, या फिर बस hardware खरीदकर उसे magic की तरह treat करते हैं
परंपरागत रूप से लोग बीच के चरणों से गुजरते हुए रुचि दिखाते थे, training लेते थे और experts बनते थे, और hobby से career बन सकता था
आज chip factory में काम करने की वजह यह नहीं होती कि आप “soldering iron उठाने वाले बच्चे” थे, बल्कि यह होती है कि आपने लंबी academic process पूरी की है। आपको इतनी advanced चीज़ें सीखनी पड़ती हैं कि soldering stone age जैसी लगे
software में अभी भी यह middle artisan layer मौजूद है, लेकिन सिर्फ़ LLM की वजह से नहीं, यह तेज़ी से गायब हो रही है
ऐसे बहुत लोग हैं जो websites को किसी तरह जोड़कर चला देते हैं, या Excel या Python scripting से रोज़मर्रा का काम निपटा लेते हैं, लेकिन advanced concepts नहीं जानते
GPT जैसे tools आने पर experts को juniors की मदद की कम ज़रूरत पड़ेगी। system architect skeleton बनाकर छोटे tasks juniors में बाँटने के बजाय LLM से ज़रूरी चीज़ें हासिल कर सकता है
नतीजतन top level तक train होने वाले लोग कम होंगे, और वे थोड़े लोग बहुत ज़्यादा productive होंगे, लेकिन बहुत से लोग बीच में ही isolated रह जाएँगे
मैं यह नहीं नकारता कि AI अच्छा code लिख सकता है और समय के साथ बेहतर हो सकता है, लेकिन समझ नहीं आता कि वह workflow कैसे काम करेगा जिसमें AI ज़्यादातर developers की जगह ले ले
junior programmer के CRUD endpoints लिखने जैसे काम को उदाहरण मानें, तो मैं जो चाहता हूं उससे बिल्कुल मेल खाने वाली requirements समझाने में लगने वाला समय, Copilot जैसे tool की मदद से खुद coding करने के समय से ज़्यादा हो सकता है
क्या हम कल्पना कर सकते हैं कि कोई non-technical user AI से A से Z तक development कर लेगा? अगर generated code में bug हो तो क्या माना जा सकता है कि किसी भी चरण पर इंसान को दखल देने की ज़रूरत नहीं पड़ेगी?
bug आने पर अगर कोई technical व्यक्ति दखल भी दे, तो AI ने जो लिखा है उसकी जांच करने और बाद में यह समझने में समय लगे कि हुआ क्या था, तो code लिखने की लागत में हुई बचत जल्दी ही खत्म हो जाएगी
आखिरकार code लिखना काम का छोटा हिस्सा है, और LLM code generation में अच्छे हैं लेकिन मूल रूप से problem solver नहीं हैं
यह तकनीक कमाल की है, लेकिन लगता है कि यह developer के toolbox में शामिल होने वाला एक और tool बनेगी। यह एक शानदार tutor भी है, और webpage की सामग्री scrape करने वाली script जैसी standalone problems में developer को बुलाने की जरूरत नहीं रहने देती
लेकिन यह कई developers के workflows को काफी आसान बना सकता है, जिससे कम लोगों से काम चल सके या वही लोग ज्यादा काम कर सकें
मैंने इस thread में कहीं और भी लिखा है: https://news.ycombinator.com/item?id=38259425
मूल रूप से, जो काम आम तौर पर बहुत समय खाते हैं, उनके लिए यह एक बहुत शक्तिशाली general-purpose assistant और brainstorming partner जैसा लगा
यह सिर्फ code तक सीमित नहीं है; मैंने इसे documentation में भी इस्तेमाल किया है, जैसे कच्ची जानकारी देकर उसे coherent document में व्यवस्थित करवाना या feedback लेना
नए project में onboarding के दौरान समझने में कठिन document fragments डालकर explanation पाने में भी मदद मिलती है
management-related छोटे-मोटे कामों में भी requests और अपना नजरिया डालकर किसी खास angle के हिसाब से response बनवाने से mental energy कम लगी
बेशक यह team के दूसरे लोगों के साथ भी किया जा सकता है, लेकिन वे हमेशा पास नहीं होते और उनके पास भी अपना काम होता है। ChatGPT जैसे tools थकते नहीं हैं, इसलिए संतुष्ट होने तक लगातार “क्यों?” पूछने वाले अपने भीतर के बच्चे को खुलकर बाहर आने दिया जा सकता है
जब दूसरों से पूछना संभव हो तब भी, ChatGPT सवालों को refine करने में मदद करता है
boilerplate या boring tasks, और इंसान द्वारा समझाए गए algorithm को code में बदलने में काफी उपयोगी है
code को एक language से दूसरी में convert भी अच्छा करता है, और सही instructions देने पर काम कर देता है
hiring prospects पर इसका बड़ा असर पड़ेगा। यह अभी engineers को replace नहीं कर सकता, लेकिन जो लोग किसी खास technology के implementation experts के रूप में specialize हैं, वे जोखिम में हैं। सिर्फ productivity बढ़ने से ही demand घटेगी
98 municipalities में देखे गए anecdotal अनुभव के आधार पर, ऐसे tools कभी लंबे समय तक काम करते नहीं दिखे
इसके उलट अब digital समझ रखने वाले staff ChatGPT की मदद से कुछ बना रहे हैं और automate कर रहे हैं
long-term maintenance के नजरिए से इनमें से बहुत कुछ पहले के RPA या workflow tools जितना ही खराब है, लेकिन इस बार लोग खुद भी maintain कर सकते हैं
हालांकि वे software developers नहीं हैं, इसलिए scalability, resource usage, documentation, error handling जैसी चीजें नहीं हो पातीं
फिर भी इनमें से ज्यादातर सिर्फ महीने में कुछ घंटे “बचाने” भर के लिए हैं, इसलिए असली developer लगाने जितने important नहीं होते; ऐसे में करीब 90% पर्याप्त हो सकता है
SharePoint Online जैसे tools में सुधार के साथ मिलकर, जो काम पहले internal developer या external consultant मांगते थे, वे अब internally संभाले जा सकते हैं
यह software engineering की मौत नहीं है। यह scale नहीं करेगा, और लंबे समय में amateur architectures को आपस में fit होना पड़ेगा, जिससे problems आएंगी
लेकिन अगर किसी dictionary से arbitrary text की कुछ lines निकालने का तरीका Google पर खोजना पड़ता है, तो यह कहना मुश्किल है कि आप खतरे में नहीं हैं
GPT “Google करके लिखे जा सकने वाले programs” को काफी आसानी से और पर्याप्त अच्छे तरीके से संभाल लेता है, इसलिए industry में ऐसा और ज्यादा होगा
मेरे record को देखें तो दिखेगा कि मैं LLM, ठीक कहें तो GPT, से प्रभावित भी हूं और निराश भी। बाकी models सच कहूं तो खास नहीं हैं
रोजमर्रा के काम में actual development में यह बहुत मददगार नहीं रहा, लेकिन documents का ज्यादातर हिस्सा यह लिख देता है, और डराने वाली हद तक अच्छा लिखता है
Excel data mapping sheets से types, classes वगैरह बनाना और CRUD functionality generate करने वाला code generation भी काफी करता हूं। पहले यह छोटे CLI scripts से करता था, लेकिन अब GPT इसका ज्यादातर हिस्सा संभालता है
हालांकि efficiency की जरूरत वाली business logic को well-designed code से handle करने में यह बेहद खराब है, और अब तक ज़रा भी बेहतर नहीं हुआ
Europe की non-technical बड़ी कंपनियों और उन्हें support करने वाली विशाल IT और consulting industry में बहुत से developers वही काम करते हैं जिनमें GPT अच्छा है, और tools बेहतर होने के साथ overall software developers की जरूरत काफी कम हो जाएगी
खास तौर पर चिंता की बात यह है कि हम अब भी CS students को बहुत सी वही चीजें पढ़ा रहे हैं जिनमें GPT अच्छा है
मैं academy-level CS students का external examiner हूं, और GPT curriculum में लगभग full marks ला सकता है। इसकी वजह यह है कि focus मुख्यतः enterprise के लिए बहुत सारा “easy” code produce करने पर है
मुझे डर है कि LLM पूरी तरह स्थापित होने पर कई students को कठिन समय झेलना पड़ेगा, और curriculum समय पर नहीं बदलेगा। Denmark की higher education reality के हिसाब से adapt करने में धीमी है और 10 साल पहले ही कुछ हद तक पुरानी हो चुकी थी
“प्रोग्रामिंग ज्ञान या skill से ज़्यादा धैर्य, शायद obsession के करीब है। प्रोग्रामर वे लोग हैं जो उबाऊ बाधाओं की अंतहीन कतार झेलते हैं” — यह बात AI-assisted programming को लेकर आशावादी होने की वजह को अच्छी तरह पकड़ती है
प्रोग्रामिंग में शुरुआत की learning curve बेहद खड़ी है, इसलिए नहीं कि यह मुश्किल है, बल्कि इसलिए कि यह चिढ़ाने वाली है
वास्तव में कुछ बना रहे हैं और आगे बढ़ रहे हैं, ऐसा महसूस होने से पहले अजीब error messages और छूटे हुए semicolons के बीच 6 महीने टिकना पड़ता है
ज़्यादातर लोग हार मान लेते हैं और सोचते हैं कि वे “काफी smart नहीं” हैं, लेकिन असल में उनमें उस कीचड़ से गुजरने जितना धैर्य नहीं था
मुझे लगता है LLM उस शुरुआती learning curve पर बड़ा असर डालते हैं। ज़्यादा लोग basic programming सीखकर अपनी ज़िंदगी के उबाऊ repetitive tasks को computer से automate कर पाएँगे, यह अच्छी बात है
प्रोग्रामर को रोज़मर्रा में किसी भी पेशे से ज़्यादा बदसूरत सच स्वीकार करना पड़ता है। physical engineers, construction workers, mechanics को भी यह गुण चाहिए, लेकिन feedback cycle धीमी होने से इसकी ज़रूरत कम बार पड़ती है
यह कहने जैसा है कि Google Translate ने सबको Spanish में fluent बना दिया
आखिरकार ChatGPT को प्रभावी ढंग से इस्तेमाल करने के लिए अब भी code review करना और यह समझना पड़ेगा कि वह कैसे काम करता है
सचमुच code type करना software development का कठिन हिस्सा कभी था ही नहीं
अगर यह tool developer को सिर्फ 6 महीने आगे ले जाने भर का है, तो compute resources के हिसाब से स्कूलों में computer science classes देना बेहतर होगा और उससे कहीं ज़्यादा मजबूत engineers की पीढ़ी बनेगी
बहुत users वाले complex software projects में असल में छोड़े जा चुके endless bug-ticket backlog होते हैं
कुछ महीने पहले शायद Firefox में 25 साल पुराना bug ठीक हुआ था
ज़्यादातर compilers और frameworks में “X होने पर error message सुधारें” जैसे tickets जमा होते रहते हैं, लेकिन programmer time इतना महँगा है कि वे priority में नहीं आते
समय के साथ senior और junior का फर्क अक्सर intelligence या वास्तविक experience से ज़्यादा, product के end-of-life से पहले हल न होने वाले bugs और usability issues से जूझते-जूझते बने निशानों में बदल जाता है
AI को programmers को पूरी तरह replace करने के लिए कुछ और बड़े breakthroughs चाहिए होंगे, लेकिन उसे bug tracker पर छोड़कर दिन भर छोटी-मोटी fixes बनवाना काफी हद तक नज़र के दायरे में है
तब human programming ज़्यादा मज़ेदार और सीखने में आसान हो जाएगी
उन आम लोगों की याद आती है जो अपने इस्तेमाल किए जाने वाले apps की सीमाओं में बंधे रहते हैं, और “Python से automate करें” जैसी किताबों की लोकप्रियता भी
अगर इस नई technology की वजह से लोग अब उन सीमाओं में बंधे न रहें, तो यह काफी शानदार होगा
code अब भी complex और fragile चीज़ है
LLM का code लिखना तो बस शुरुआत है, और ज़्यादातर लोगों के लिए LLM-assisted low-code/no-code ज़्यादा ideal है
AI और neural networks पर काम करने वाले एक दोस्त से मेरी इस पर बहस चल रही है
दोस्त कहता है कि coding जल्द ही outdated हो जाएगी और ChatGPT-style code generation सब कुछ replace कर देगा
मैं एक “senior engineer” के तौर पर देखता हूँ कि मेरे काम का भारी-भरकम हिस्सा communication, organization के भीतर leadership, product requirements को सचमुच समझना और यह समझना है कि वे हमारे systems से कैसे जुड़ेंगे
मैं code लिखता हूँ, लेकिन उसका ज़्यादातर हिस्सा code generation से मजबूत हो भी जाए, तो भी मेरे काम का बड़ा हिस्सा लगभग नहीं बदलेगा
junior का काम यह नहीं होता, बल्कि registered issues लेकर उन्हें implement करना होता है। वे कठिन problems नहीं लेते, उन्हें task और acceptance criteria साथ में मिलते हैं
अगर भविष्य का कोई CodeGPT जैसी चीज़ उनकी programming skills को पूरी तरह replace कर दे, तो 10 साल बाद उनके senior बनने का रास्ता क्या होगा?
आज के seniors 10–20 साल बाद retire होंगे, और जब उनकी जगह वे लोग आएँगे जिन्हें automatic code generation का वास्तविक फायदा मिला है, तो “coding” वह काम बन सकती है जो मशीनों के करने से पहले बूढ़े लोग किया करते थे
AI की वजह से छोटी लेकिन ज़्यादा सक्षम teams संभव हो जाएँ, तो leaders और meetings की कम ज़रूरत होगी और सब कुछ बहुत अधिक efficient हो जाएगा
junior engineers को mentor करने में लगने वाले समय को भी अलविदा कहना पड़ सकता है। क्योंकि जल्द ही juniors होंगे ही नहीं
organization में रास्ता बनाना, दूसरी teams से जुड़ना, और क्या करना है यह समझने की कोशिश करना
जो code मैं लिखता हूँ, वह मेरे वास्तविक काम का byproduct जैसा लगता है
पहला, शामिल लोगों की संख्या घटेगी, जिससे coordination सरल हो जाएगा
दूसरा, ज़्यादा लोग coordination roles तक पहुँच पाएँगे, और ऐसे job groups या personality types जिनको आम तौर पर “coding में अच्छा” नहीं माना जाता था, वे उस role को संभालने की संभावना रखते हैं
अगर machine, उदाहरण के लिए, बनाई जा रही चीज़ के सामान्य तरीके से काम करने को समझा सकती है, तो उन्हें बेहतरीन coding ability की ज़रूरत नहीं रह जाएगी
इसलिए मुझे उम्मीद है कि jobs का क्षेत्र बहुत हिलेगा और wages काफी नीचे जाएँगी
यह लेख किसी programmer द्वारा लिखा हुआ नहीं लगता, और कुछ comments भी professional engineers जैसे नहीं दिखते
निकट भविष्य में AI realistically programmer के काम के कौन-से हिस्से replace कर सकता है?
चर्चा के लिए मान लेते हैं कि coding वाला हिस्सा cost-effectively replace किया जा सकता है। तो क्या बाकी हिस्से भी हो सकते हैं?
अस्पष्ट requirements लेकर design·product teams वगैरह के साथ उन्हें स्पष्ट करना, complex feature बनाने लायक AI को पर्याप्त निर्देश देना, code review, किसी भी random build failure को handle करना, दूसरे programmers और stakeholders समझ सकें इस तरह feature document करना, production issues को debug और fix करना—ऐसी चीजें शामिल हैं
वास्तविकता में, AI के किसी अच्छे programmer को effectively replace करने की संभावना बनने से पहले एक लंबा phase होगा जिसमें programmers AI का उपयोग करके अधिक efficient बनेंगे
इससे अधिक abstract तरीके से सोचने वाले engineers को फायदा होगा, और low-level programming tasks सबसे पहले absorb होंगे
किसी भी random build failure को ठीक करना भी शायद उसके बाद आएगा
फिर सवाल यह होगा कि programmer के काम का कितने percent हिस्सा लिया जा सकता है, और क्या बचा हुआ हिस्सा किसी अलग skill combination की मांग करता है
कुछ programmers coding तो अच्छी करते हैं, लेकिन business अगर थोड़े अस्पष्ट requirements दे दे तो वे जोर-जोर से शिकायत करते हैं। क्योंकि वे अपने काम को business rules स्पष्ट करने के बजाय सिर्फ coding मानते हैं
यह group उन programmers की तुलना में ज्यादा प्रभावित होगा जो अस्पष्ट परिस्थितियों में भी business requirements समझने के लिए खुशी से काम करते हैं
यह errors करता है, लेकिन वे errors human errors से कम correlated लगते हैं
खासकर जब Google धीरे-धीरे बेकार होता जा रहा है, तब कभी-कभी इसे वह चीजें पता होती हैं जिन्हें खोजने में मुझे कई घंटे लगते
व्यक्तिगत तौर पर मैं इसे scripting और execution feature assistance के लिए इस्तेमाल करता हूँ
मौजूदा tools देखकर लगता है कि अभी भी काफी लंबा रास्ता बाकी है
title लेख से बहुत match नहीं करता लगता
title ऐसा कहता है जैसे programming नाम की skill replace होने वाली हो, लेकिन लेख अंततः यही दावा करता है कि इसमें बड़ा बदलाव आएगा, और मेरी intuition भी इसी के करीब है
अंततः entry barrier कम हो रहा है। क्या यह बुरी बात है? स्वार्थी नजरिए से हाँ, लेकिन सामाजिक नजरिए से नहीं
Canada और कुछ हद तक America जिन समस्याओं का सामना कर रहे हैं, उनमें से एक inequality है, ऐसा मुझे लगता है
ज्यादा “average” service jobs में काम करने वाले लोग engineers से काफी कम कमाते हैं, और पिछले कुछ वर्षों में यह बात काफी असहज रही है
Generative AI की social value इस बात में है कि legal, medical, software engineering जैसे knowledge work को “average” लोगों के लिए कहीं ज्यादा accessible बनाया जाए
नुकसान भी होंगे, लेकिन power को समान रूप से बाँटना गलत elitism की तुलना में utopia के ज्यादा करीब रास्ता होगा। बाद वाला तो dictatorship की ओर जाने वाला रास्ता लगता है
अगर minimum wage सबसे कम wage हो और programmer salary सबसे ज्यादा wage हो, तो America एक बहुत equal economy होता
America में बचे हुए middle-class paths को automate करने से automation infrastructure के मालिक capitalists और घटते non-automated क्षेत्रों में धकेले गए लोगों के बीच की खाई ही और बढ़ेगी
तब उनकी स्थिति बेहतर नहीं होगी
रोज coding न करने वाले एक सफेद-बालों वाले व्यक्ति के नजरिए से ChatGPT programming assistant के रूप में impressive था
ऐसा लगता है जैसे $20/month वाला on-call junior developer हो
पिछले महीने मुझे एक तेज और गंदी utility चाहिए थी; मैंने problem को खुद 4–5 steps में बांटा, फिर ChatGPT से हर step के functions लिखवाए और मैंने उन्हें जोड़ दिया
ज्यादातर सब smoothly चला, लेकिन एक हिस्से में मनचाहा result आने तक बहुत ज्यादा prompting और refinement की जरूरत पड़ी