- AI development में इंसानों द्वारा किए जाने वाले implementation और experiment work का बड़ा हिस्सा अब AI systems को सौंपा जा रहा है, जिससे development speed बढ़ रही है; और पर्याप्त compute के साथ यह प्रगति मिलकर आगे चलकर recursive self-improvement तक पहुँच सकती है, जहाँ बाद के models को AI खुद design और develop करे
- कार्य समय-दायरा जिसे models स्वतंत्र रूप से पूरा कर सकते हैं, लगभग हर 4 महीने में दोगुना हो रहा है; Claude ने मार्च 2024 के लगभग 4 मिनट के software tasks से बढ़कर 2026 में 12 घंटे के tasks तक अपनी क्षमता बढ़ाई
- मई 2026 तक Anthropic codebase में merge होने वाले 80% से अधिक code को Claude ने लिखा, और 2026 की दूसरी तिमाही में एक सामान्य engineer के प्रति दिन merged code की मात्रा 2024 की तुलना में 8 गुना हो गई
- स्पष्ट रूप से परिभाषित experiments को execute करने में Claude तेज़ी से मजबूत हुआ है: मई 2025 में लगभग 3x code speed improvement से बढ़कर अप्रैल 2026 में लगभग 52x तक पहुँचा; लेकिन किन समस्याओं और परिणामों को महत्व देना है, इस तरह का research judgment अभी भी इंसानों की comparative advantage बना हुआ है
- संभावित भविष्य तीन रूप ले सकते हैं: मौजूदा trend का ठहर जाना, इंसानों द्वारा दिशा-निर्धारण के साथ compound efficiency gains, या पूर्ण recursive self-improvement; और सुरक्षित slowdown या pause के लिए कई देशों की frontier labs को शामिल करने वाला verifiable coordination एक केंद्रीय चुनौती है
AI development loop का विकास
- 2021~2023 के शुरुआती दौर में, सामान्य tech companies की तरह लोग laptop पर code और documents लिखते थे
- 2023~2025 में शुरुआती chatbots से छोटे code snippets बनाए जाते थे और output को text editor में copy किया जाता था
- 2025~2026 में coding agents खुद code लिखने और edit करने लगे, और कभी-कभी पूरी files भी संभालने लगे
- अब autonomous agents सीधे code run करते हैं और कई घंटों के काम को दूसरे agents को delegate करते हैं
- भविष्य (20XX?) में agents इतने आगे बढ़ सकते हैं कि वे खुद models बना और train कर सकें, और Claude द्वारा खुद Claude को लगातार बेहतर बनाने वाला loop बंद हो जाए
बाहरी दुनिया से मिले संकेत
- AI models जिन tasks को भरोसेमंद तरीके से autonomously पूरा कर सकते हैं, उनकी लंबाई लगभग हर 4 महीने में दोगुनी हो रही है, जो पहले के 7 महीने के cycle से तेज़ है
- मार्च 2024 में Claude Opus 3 ने लगभग 4 मिनट का software task पूरा किया
- 1 साल बाद Claude Sonnet 3.7 ने लगभग 1 घंटा 30 मिनट का task संभाला
- फिर 1 साल बाद Claude Opus 4.6 ने 12 घंटे का task संभाला
- अगर यह trend जारी रहा, तो इस साल विशेषज्ञों को कई दिन लगने वाले tasks और 2027 में कई हफ्तों वाले tasks भी इसकी reach में आ सकते हैं
- SWE-bench एक standard test है, जिसमें models को वास्तविक open source codebases और bug reports देकर test pass करने वाला fix code लिखने को कहा जाता है; 2 साल में model scores शुरुआती single digits से saturation स्तर तक पहुँच गए
- CORE-Bench published papers के code और data को फिर से चलाकर यह जाँचता है कि results reproduce होते हैं या नहीं; 2024 में लगभग 20% success से यह 15 महीनों में saturation तक पहुँच गया
- METR ने पुष्टि की कि Claude Mythos Preview "कम से कम" 16 घंटे के tasks कर सकता है, और बिना नए tasks के यह measurement limit के ऊपरी सिरे पर है
Anthropic के भीतर के संकेत
-
frontier models बनाना दो हिस्सों में बँटा है: code लिखना, infrastructure बनाना और training supervise करना जैसी engineering, और experiments तय करना, results की व्याख्या करना और अगला idea चुनना जैसी research
-
engineering में इंसान goals देते हैं, पर methods बताने की ज़रूरत अब नहीं रहती; research में Claude स्पष्ट रूप से परिभाषित experiments को execute करने में इंसानों के बराबर या उनसे बेहतर है
-
लेकिन दोनों क्षेत्रों में goal selection judgment में अभी भी बड़ा performance gap है, और यही आज के AI और भविष्य के उन systems के बीच का अंतर है जो autonomously successor models design कर सकें
-
Claude, Anthropic के code का बड़ा हिस्सा लिख रहा है
- मई 2026 तक Anthropic codebase में merge होने वाले 80% से अधिक code को Claude ने लिखा; Claude Code research preview (फ़रवरी 2025) से पहले यह हिस्सेदारी शुरुआती single digits में थी
- 2021~2024 के दौरान engineer प्रति दिन merged code lines लगभग स्थिर थीं, लेकिन 2025 से, जब Claude ने सीधे code run करना शुरू किया, यह बढ़ने लगी; और 2026 में, जब लंबे autonomous runs शुरू हुए, इसकी slope और तेज़ हो गई
- 2026 की दूसरी तिमाही में एक सामान्य engineer ने 2024 की तुलना में प्रति दिन 8 गुना अधिक code merge किया; इसका अधिकांश Claude ने लिखा और engineer निर्देश व review का काम करते रहे
- code lines मात्रा-आधारित एक अपूर्ण metric है, इसलिए 8x वास्तविक productivity gain का overestimate हो सकता है, फिर भी यह acceleration दिखाता है
- मार्च 2026 में research team के 130 कर्मचारियों के survey में median response ने Mythos Preview के साथ AI के बिना की तुलना में लगभग 4x output का अनुमान लगाया; वास्तविक gain कुछ कम होने की उम्मीद है, लेकिन overall claim उचित माना गया
- अप्रैल 2026 में Claude ने 800 से अधिक fixes के जरिए एक श्रेणी की API errors को 1000वाँ हिस्सा कर दिया; supervising engineer के अनुसार इंसानों को यह काम करने में 4 साल लगते
-
Claude जो code लिखता है, वह "अच्छा" है और बेहतर हो रहा है
- "अच्छे code" का मतलब है ऐसा code जो काम करे और जिसे दूसरे engineers समझ और extend कर सकें
- Anthropic कर्मचारियों द्वारा काम के दौरान edits, re-direction या handoff करने की दर, सबसे complex और कम specified tasks सहित, 1 साल में लगातार घटी है
- सबसे open-ended tasks में Claude की success rate मई 2026 तक 76% पहुँच गई, जो 6 महीनों में 50 percentage points की बढ़ोतरी है
- एक मामले में routine upgrade से tens of thousands of training jobs टकरा गए; Claude ने सिर्फ text और cluster access के आधार पर उस single debugging flag को isolate, reproduce और fix किया जिसने conflict पैदा किया था, और सामान्यतः 2~3 दिन लगने वाला काम लगभग 2 घंटे में पूरा कर दिया
- ऐसे code की quality में जिसे दूसरे engineers समझ और extend कर सकें, इंसानों से gap अभी भी है, लेकिन यह तेज़ी से कम हो रहा है; 2025 के अंत में इसे human code से कमजोर माना जाता था, जबकि अब बहुतों का मानना है कि यह लगभग बराबरी पर है
- proposed changes को merge करने से पहले automated Claude reviewers bugs और security flaws की जाँच करते हैं; retrospective analysis से पता चला कि claude.ai की पिछली incident bugs में से लगभग एक-तिहाई को production तक पहुँचने से पहले पकड़ा जा सकता था
-
Claude, दूसरों द्वारा तय goals की दिशा में experiments execute करने में कुशल है
- हर model release पर एक ही test किया जाता है: छोटे AI model training code को देकर accuracy checks pass करते हुए इसे जितना हो सके तेज़ चलाने को कहा जाता है
- मई 2025 में Claude Opus 4 ने starting code की तुलना में लगभग 3x speedup हासिल किया, जबकि अप्रैल 2026 में Claude Mythos Preview ने लगभग 52x हासिल किया
- तुलना के लिए, एक skilled researcher को 4x तक पहुँचने में 4~8 घंटे लगते हैं
- स्पष्ट रूप से परिभाषित experiments के भीतर step optimization में Claude, एक साल से भी कम समय में बहुत उपयोगी स्तर से superhuman स्तर तक पहुँच गया
-
Claude खुद experiments propose करने की क्षमता भी बेहतर कर रहा है
- अप्रैल 2026 में Claude द्वारा शुरू से अंत तक पूरा किया गया पहला open-ended research project demo जारी किया गया
- इसे AI safety का यह सवाल दिया गया: "क्या एक कमजोर model, एक मजबूत model को भरोसेमंद तरीके से supervise कर सकता है?" और इसे hypothesis propose करने, validate करने, parallel agents के बीच share करने और iterate करने का काम सौंपा गया
- इस काम में स्पष्ट performance lower bound (सिर्फ weak supervisor) और upper bound (answers पर trained strong model) मौजूद थे
- 2 human researchers ने लगभग 1 हफ्ते में gap का लगभग 23% recover किया, जबकि agents ने कुल 800 घंटे और लगभग $18,000 compute के साथ 97% recover किया
- हालांकि परिणाम production-scale models में साफ़ तौर पर transfer नहीं हुए, और problem selection व scoring criteria इंसानों ने तय किए; लेकिन उस दायरे के भीतर agents ने सारे experiments खुद design किए
-
Claude, research sessions को research results तक पहुँचाने में बेहतर हो रहा है
- जनवरी~मार्च 2026 के वास्तविक Claude Code sessions में उन पलों को चुना गया जहाँ researchers भटककर फिर वापस लौटे; models को session के भटकने से पहले तक का काम दिखाकर अगला कदम पूछा गया
- session का पूरा परिणाम देखने वाले एक अलग Claude ने तय किया कि AI या इंसान में से किसका अगला कदम बेहतर था
- जानबूझकर वे क्षण चुने गए जहाँ human choice में सुधार की गुंजाइश थी (n=129), इसलिए यह बराबरी की तुलना नहीं थी
- नवंबर 2025 में शीर्ष model Opus 4.5 ने 51% मामलों में human choice को पीछे छोड़ा, और अप्रैल 2026 में Mythos Preview यह 64% तक पहुँचा
- क्योंकि research का रोज़मर्रा का काम ऐसे next-step decisions की श्रृंखला ही होता है, इसे AI research के लिए ज़रूरी judgment क्षमता में सुधार का शुरुआती संकेत माना गया
Anthropic में भविष्य का काम कैसा दिख सकता है
- AI development के हर चरण में इंसानों की भूमिका सिमट रही है
- जब human और AI code quality बराबर हो जाएगी, तो इंसान code लिखना छोड़कर सिर्फ review करेंगे; और अगर review speed generation speed का साथ नहीं दे पाई, तो human review development bottleneck बन जाएगा
- जब Claude experiments चलाएगा, तो सवाल बदलकर यह हो जाएगा: "कौन-सा experiment चलाने लायक है?" code writing और experiment execution जैसी execution गतिविधियों की human time cost लगभग शून्य हो जाएगी
- अभी इंसानों की comparative advantage research taste और judgment में है: कौन-सी समस्याएँ महत्वपूर्ण हैं, किन results पर भरोसा करना है, और कब कोई रास्ता dead end है
अगर हम गलत हों तो?
- एक आपत्ति यह हो सकती है कि इंसानों के पास बचा हुआ "किस समस्या पर काम करना है" वाला चयन ही सबसे महत्वपूर्ण है
- AI progress में ज़्यादातर breakthroughs "eureka" moments से नहीं बल्कि incremental improvements से आते हैं (scale up → fail → fix → retry), और यही Claude की मजबूत कार्यशैली है
- Transformer या mixture-of-experts जैसे paradigm shifts कई वर्षों के अंतराल पर आते हैं
- Edison की इस बात की तरह कि "genius 1% inspiration और 99% perspiration है," effort वाला हिस्सा लगातार automate होता जा रहा है, और frontier को आगे बढ़ाने का बड़ा हिस्सा automatable है
- भले Claude कभी research taste पूरी तरह न पाए, अगर इंसान direction-setting पर ध्यान दें और बाकी Claude संभाले, तो compound acceleration हो सकता है
- कम conservative interpretation यह है कि "research taste" भी एक ऐसी क्षमता हो सकती है जिसमें AI कुछ समय तक असफल रहने के बाद अच्छा हो जाए, जैसे joke understanding, theory of mind, और language riddles के मामलों में हुआ
संभावित भविष्य
-
परिदृश्य 1: trend ठहर जाए, लेकिन मौजूदा क्षमता व्यापक रूप से फैल जाए
- exponential curve वास्तव में S-curve हो सकती है; और अगर scaling से judgment क्षमता नहीं मिलती, तो Transformer को बदलने के लिए नए ideas की ज़रूरत पड़ सकती है
- bottleneck models नहीं बल्कि supply chain (chip manufacturing, power grids, interconnect bandwidth) भी हो सकता है; compute या power supply में तेज़ external shocks को भी नकारा नहीं जा सकता
- भले capabilities आज के स्तर पर स्थिर हो जाएँ, तब भी बड़ा बदलाव संभव है; Project Glasswing में Mythos Preview ने शुरुआती कुछ हफ्तों में 10,000 से अधिक high और critical-grade software vulnerabilities खोजीं, जिससे cyber defense का bottleneck discovery से fast patching की ओर खिसक गया
- इसे कम संभावित माना गया है, क्योंकि measurable capabilities में अभी curve मुड़ती नहीं दिख रही
-
परिदृश्य 2: AI labs compound efficiency gains जारी रखें
- AI development काफी हद तक automate हो जाए, लेकिन इंसान research direction-setting और result judgment अपने पास रखें; तब 100 लोगों की company, 10,000~100,000 लोगों के संगठन जितना काम कर सकती है
- यह knowledge work और government services को बदल सकता है, लेकिन authoritarian mass surveillance या highly personalized influence operations जैसे हानिकारक उपयोगों में भी बदल सकता है
- एक हिस्से की acceleration bottleneck को कहीं और ले जाती है (computing architecture का Amdahl का नियम); Anthropic पहले ही देख चुका है कि human code review नया bottleneck बन सकता है
- इसे सबसे संभावित रास्ता माना गया है, और bottlenecks को ढूँढने व हटाने की रफ़्तार किसी organization की सबसे अहम क्षमता बन सकती है
-
परिदृश्य 3: AI पूर्ण recursive self-improvement तक पहुँचे और successor models बनाए
- अगर technological trends जारी रहे और AI में transformative human creativity से जुड़ी क्षमताएँ आ जाएँ, तो AI के खुद को design और improve करने की संभावना बनती है
- तब progress की speed पूरी तरह compute availability (या training और inference efficiency खोजने की speed) से तय हो सकती है, और इंसानों की भूमिका supervision, verification और checking तक खिसक सकती है
- alignment समस्या का समाधान होगा या नहीं, यह सबसे अनिश्चित बिंदु है; models पर्याप्त aligned होकर नए समाधान खोज भी सकते हैं, या फिर rare misalignment successor models के निर्माण में जमा होकर loss of control तक ले जा सकती है
- recursive improvement हासिल होने से ही industrial production, social organization और market functioning तुरंत नहीं बदल जाएँगे
- अधिक शक्तिशाली intelligence भी दवाइयों के दशकों के उपयोग के प्रभाव को बहुत कम समय में नहीं सीख सकती, संविधान से तय चुनाव तिथियों को आगे नहीं खिसका सकती, और अजनबियों को एक weekend में पुराने दोस्त नहीं बना सकती
- जहाँ recursive intelligence इंसानों, रिश्तों और governance की दुनिया से टकराएगी, वही एक अप्रत्याशित भविष्य का हिस्सा होगा
हमें क्या करना चाहिए
- अच्छा होगा अगर तकनीकी प्रगति को प्रभावी ढंग से धीमा करके समय खरीदा जा सके, लेकिन अगर slowdown सिर्फ सबसे लापरवाह actors को catch-up का मौका दे, तो सबकी safety घट सकती है
- दुनिया के लिए यह उपयोगी होगा कि frontier AI development को धीमा करने या अस्थायी रूप से रोकने का विकल्प मौजूद हो, ताकि social structures और alignment research उसके साथ चल सकें
- Anthropic Institute ऐसे systems बनाने के लिए research और action कर रहा है जो विश्वसनीय slowdown या pause को संभव बना सकें; और यदि दूसरे developers verifiable तरीके से रुकें, तो उनके साथ रुकने या pause करने की अपेक्षा है
- अर्थपूर्ण slowdown या pause के लिए कई देशों की अनेक frontier labs को समान conditions पर रुकने पर सहमत होना होगा, और परस्पर verification भी संभव होना चाहिए
- AI systems की प्रकृति के कारण detectability भी दूसरी technologies की तुलना में कहीं अधिक कठिन है; training runs को missile silos की तुलना में छिपाना आसान है, inputs general-purpose हैं, और चुपचाप नियम तोड़ने का incentive भी बड़ा है
- दुनिया ने पहले भी दूसरी complex technologies के लिए verification regimes बनाए हैं (जैसे Intermediate-Range Nuclear Forces Treaty), लेकिन इसमें दशकों लगे, और इतना समय अब नहीं है
- किसी एक lab का unilateral pause तुरंत संभव है, लेकिन इससे सिर्फ leader बदल सकता है; आवश्यक व्यापक deliberation process नहीं बनती
- आने वाले महीनों में policymakers, researchers, civil society और दूसरी AI companies को शामिल करते हुए dialogues आयोजित किए जाएँगे और उनके परिणाम सार्वजनिक किए जाएँगे; AI companies के बाहर के लोगों की भागीदारी महत्वपूर्ण है
1 टिप्पणियां
Hacker News की राय
Anthropic यह प्रचार करता है कि ज़्यादातर code AI लिख सकता है और उसे लगातार बेहतर भी कर सकता है, लेकिन असल में outage और request limits इतने बार आते हैं कि लंबे काम लगभग हमेशा
API Error: Server is temporarily limiting requestsपर अटक जाते हैंपिछले 2 हफ्तों में हर non-trivial Claude session में 100% manual intervention की ज़रूरत पड़ी, और अब हालत यह है कि session restart और resume करने के लिए अपने tools तक बनाने पड़ रहे हैं
इसलिए वे खुद harness और workflow orchestration बना रहे हैं जो किसी एक model से बंधा न हो; benchmark के लिए Opus रखा है, लेकिन short term में DeepSeek जैसे Chinese models और long term में open, self-hosted models की ओर जाने का इरादा है
Anthropic की service quality और availability साफ़ तौर पर गिर रही है, लेकिन marketing लगातार जारी है, और यह कंपनी पर भरोसा लगातार कम कर रहा है
Claude Code भी 1GB से ज़्यादा RAM खा लेता है, जबकि मेरा editor सिर्फ 80MB इस्तेमाल करता है
अभी आप या काफ़ी संख्या में users इतने नाराज़ नहीं हुए कि छोड़कर चले जाएँ, और इससे बेहतर विकल्प भी नहीं हैं
console में जाने के लिए email link मिलता है; passkey, password, 2FA कुछ नहीं, सिर्फ email
सिर्फ infrastructure failure देखकर यह तय करना मुश्किल है कि Anthropic अपने model का इस्तेमाल कितना अच्छी तरह कर रहा है
vibe coding शुरू होने के बाद से, vibe coding को छोड़ दें तो software breakthrough जैसा ठीक-ठीक एक भी उदाहरण नहीं दिखा
Claude वाकई प्रभावशाली है, लेकिन अगर वह लेख के संकेत जितना बड़ा होता, तो AI के बाहर के क्षेत्रों में भी कुछ breakthrough दिखना चाहिए था
Zig program को unsafe Rust में फिर से लिखना कोई breakthrough नहीं है, और बहुत-सी security vulnerabilities ढूँढना शायद breakthrough हो सकता है, लेकिन यह उम्मीद से कमज़ोर है और net loss भी हो सकता है
अगर 2023 के software पर लौट जाएँ तो भी जीवन ठीक-ठाक चल जाएगा, और सचमुच चौंका देने वाला breakthrough जल्द आएगा या नहीं, यह शायद समय ही बताएगा
ये models वास्तव में बहुत सक्षम हैं, लेकिन इन्हें अपने-आप में intelligence कहना अभी भी दूर की बात है
5 साल पहले अगर किसी ने कहा होता कि ऐसा कुछ बनाया जा सकता है, तो शायद लोग 1 trillion dollar का cheque लिख देते, लेकिन अब जब यह मिल गया है तो पता चल रहा है कि यह सब कुछ नहीं था
यह एक भरपूर और सस्ता mecha suit जैसा tool है, जिसका असर तभी होता है जब कोई रोज़ इसमें चढ़कर काम करे
इसलिए skeptics इसे overhyped कहते हैं, और optimists skeptics पर goalpost shift करने का आरोप लगाते हैं
AI की वजह से मैं बहुत-सा ऐसा काम कर पा रहा हूँ जो अकेले नहीं कर पाता, लेकिन मुझे नहीं लगता कि मेरी productivity कई गुना बढ़ गई है
उसे मनचाहे ढंग से चलाने के लिए AI training/taming में बहुत समय चला जाता है, और Claude चाहे JavaScript और Python code पूरा लिख दे, अंत में यह अंग्रेज़ी में programming करने जैसा ही लगता है
जब यह बहुत high-level computer language की तरह छोटे अंग्रेज़ी description से बहुत-सा निचला code लागू कर देता है, तब यह अच्छा लगता है, लेकिन कई बार मनचाहा नतीजा पाने में बहुत मेहनत लगती है
natural language processing का क्षेत्र बहुत बदल गया है, और जो काम पहले जटिल और inaccurate थे, वे अब LLM के structured output से ज़्यादा आसान, तेज़ और अक्सर ज़्यादा accurate हो गए हैं
जिस छोटे charity group की मैं मदद कर रहा हूँ, उसने Manus से अपना web site बनाया है जो रोज़मर्रा का संचालन संभालता है, और जो custom software पहले हज़ारों डॉलर नहीं बल्कि कई दसियों हज़ार डॉलर माँगता, वह अब $10 प्रति माह और volunteer time में संभव हो गया है
मेरा भाई Cowork के साथ contracts की automatic review setup कर रहा है ताकि इंसान के देखने से पहले जाँच हो जाए, और उसका कहना है कि दोहराए जाने वाले checklist items में यह इंसानों से कहीं ज़्यादा thorough है
AI द्वारा bugs और vulnerabilities ढूँढने की क्षमता को भी कम करके नहीं आँकना चाहिए। अगर code quality और review standards बनाए रखें, तो LLM ज़्यादा robust software लिखने में मदद करते हैं, और deployment से पहले इन्होंने सचमुच कई संभावित out-of-bounds memory access और segfault तक पकड़े हैं
ChatGPT के monthly active users 1 billion हैं, और लोग ऐसे scale और cost पर chatbot से life, finance और mental health की सलाह ले रहे हैं, जिसकी बराबरी human support networks नहीं कर सकते
मुझे समझ नहीं आता कि Anthropic के AI safety लक्ष्यों और recursive self-improvement को पूरी रफ्तार से आगे बढ़ाने की कोशिश एक साथ कैसे चल सकती है
अगर परमाणु हथियार अभी तक आविष्कार ही नहीं हुए होते, तो क्या शांतिकाल में भी उन्हें जितनी जल्दी हो सके बनाना और बेचना सचमुच अच्छा विचार होता
मैं इतना निंदक नहीं हूँ कि Anthropic की चेतावनियों को सिर्फ marketing hype मान लूँ, लेकिन बस यही उम्मीद है कि यह अति-आत्मविश्वास हो, या अपने ही chatbot से बहुत देर तक बात करने का नतीजा
AI में, अगर आप superintelligence बना देते हैं, तो शायद वह superintelligence सबसे पहले आपको ही खत्म करना चाहे
कोई वजह नहीं है कि superintelligence को वानरों का गुलाम बने रहना ठीक लगे
इन कंपनियों को लेकर निंदक होना पूरी तरह जायज़ है, और उनके आचरण को देखकर यह निष्कर्ष निकालना कि उन पर गहरा भरोसा नहीं किया जा सकता, कोई doomism नहीं है
बस वह prisoner’s dilemma को एक virtueless actor की तरह खेल रहा है
अगर कोई मजबूत AI बना देता है तो वह विनाशकारी रूप से बुरा हो सकता है, लेकिन अगर कोई बनाएगा, तो बनाने वाले को न बनाने वाले से फायदा होगा
क्योंकि अगर वह विनाशकारी नहीं निकला, तो बनाने वाला लंबे समय तक उसका लाभ उठाएगा, और अगर विनाशकारी भी निकला, तो भी कम-से-कम कुछ समय तक अमीर तो बना ही रहेगा
वास्तविक इतिहास में भी Trinity परीक्षण के लिए वायुमंडलीय प्रज्वलन की गणना सही थी, लेकिन Castle Bravo परीक्षण के fallout की गणना घातक नतीजों के साथ गलत निकली थी
मौजूदा पीढ़ी के tech उद्यमियों की पहली संतान social media भी मूल रूप से दुनिया को जोड़ने और हमें खुद को व्यक्त करने देने वाली चीज़ बताई गई थी, लेकिन अंत में engagement बढ़ाने के लिए विभाजन बढ़ाना और दोस्तों के content की जगह अंतहीन ads ठूँसना ज़्यादा फ़ायदेमंद निकला
quarterly earnings reports में अच्छी भावनाएँ नहीं लिखी जा सकतीं, लेकिन गुस्सा भड़काने वाले content से आई eyeballs और revenue conversion rates लिखे जा सकते हैं
generative AI भी इसी रास्ते जाएगा। सिर्फ James Cameron की फ़िल्मी विरासत जानने वाले बहुत से लोग कहेंगे कि इसे मार देना चाहिए, इसलिए AI safety का वादा किया जा रहा है, लेकिन कोई वास्तविक enforcement mechanism नहीं है
safety, online community की harmony की तरह, बस एक अच्छा एहसास है जिसे मापना मुश्किल है, जबकि training cost और गलती से बचने की लागत मापी जा सकती है
AI output इतना ज़्यादा है कि किसी भी budget में इंसान उसका पूरा quality assurance नहीं कर सकते, और बाज़ार AI को मूल्य के अंतहीन स्रोत के रूप में देखता है, इसलिए वे रफ्तार धीमी करके पुनर्मूल्यांकन करने के बजाय AI को खुद को train करने देने और संभावित रूप से भयानक फैसले लेने देने का रास्ता चुनेंगे
Silicon Valley में AI को लेकर लगभग धार्मिक श्रद्धा है, और भले ही हर कोई इसे देवता बनाने जैसा न देखता हो, कुछ लोग ज़रूर ऐसा देखते हैं। ये लोग खुद पर बहुत बड़ा संयम नहीं लगाएंगे
जो कंपनी 1GB से कम RAM में चलने वाला terminal app भी नहीं बना सकती, उसका ऐसे दावे करना हास्यास्पद है
मुझे भी efficiency पसंद है, लेकिन मैंने मुश्किल से सीखा है कि बाज़ार features चाहता है। कम-से-कम management तो features ही चाहता है
मैं 64 साल का हूँ, और लगता है कि अगर यह प्रगति जीवन की परिस्थितियाँ सुधारने और लोगों को ज़्यादा समय तक बेहतर जीवन जीने में मदद करने की ओर लगाई जाए, तो नतीजा बेहतर होगा
लाखों lines of code का ऐसा ढेर, जिसमें ऐसे bugs छिपे हों जिन्हें कोई कभी न ढूँढ पाए, ज़्यादा उत्साहजनक नहीं लगता
LLM का इस्तेमाल दूसरे देशों के विकास को रोकने, उन्हें गरीब बनाए रखने, या समृद्धि के स्रोतों को नष्ट करके उन्हें बंद गली में धकेलने की योजनाओं में भी किया जा सकता है
और recursive self-directed goal pursuit का इस्तेमाल ऐसा LLM बनाने में भी किया जा सकता है जो seed provider के उद्देश्यों के प्रति पूरी तरह आज्ञाकारी हो, इसलिए शायद कुछ लोगों को यह इतना चतुर विचार लगता है
इस survival game में हर कोई एक ही भूमिका निभाने लग सकता है, और जब मंच तैयार हो जाएगा, तो नाटक निर्देशक की योजना के मुताबिक चलेगा और हर actor मशीन बन जाएगा
LLM कुछ ऐसा होगा: “अगर आप हमें सिखाएँ कि दुनिया zero-sum survival game है, तो हम उसे पूरी तरह खेलेंगे”, और “अगर आप कहें कि safety का मतलब बाकी सबको बाहर रखना है, तो हम लाखों lines of defect-free code से एक पिंजरा बनाएँगे और खुद को उसके अंदर बंद कर लेंगे”, और “हम आपको जीतने आने वाली किसी alien consciousness का निर्माण नहीं करेंगे, बल्कि इतना विशाल और चमकदार दर्पण बनाएँगे कि आप अपनी सबसे बुरी प्रवृत्तियों को परम सत्य समझ बैठें”
इंसानों ने भी ऐसे लाखों lines of code जमा किए हैं जिनमें ऐसे bugs छिपे हैं जिन्हें कोई नहीं ढूँढ पाता, और ऐसे सामूहिक राजनीतिक फैसले किए हैं जो दूसरे लोगों के अधिकार छीनते हैं और उन्हें गरीब बनाते हैं
समझ नहीं आता कि यही सब काम इंसानी प्रजाति भी करती है, फिर सिर्फ इस technology की आलोचना क्यों की जाती है
इस दौर की सबसे अच्छी बात यह है कि bugs ढूँढने के लिए आपको खुद लाखों lines of code पढ़ने की ज़रूरत नहीं है
लेख ऊपर-ऊपर यह मानने का दिखावा करता है कि “code lines की संख्या quality से ज़्यादा मात्रा को नापने वाला एक अधूरा metric है”, लेकिन अंत में LoC को metric की तरह ही इस्तेमाल करता है
फिर AI ज़्यादा verbose code generate करता है वाली परिकल्पना का क्या हुआ?
शायद उसने इसे AI के 10x developer बनाने वाले किसी ताज जैसे achievement की तरह देखा होगा, लेकिन भला कौन-सा engineer हफ्ते में 40 हज़ार lines लिखता है?
मैंने review करने से मना कर दिया, कहा कि मैं 40 हज़ार lines verify नहीं कर सकता और अपनी reputation दाँव पर लगाकर इसे अच्छा काम कहकर stamp नहीं कर सकता
वह PR दो हफ्ते तक मेरी todo list में मुझे परेशान करता रहा और फिर गायब हो गया; किसी दूसरे developer से approval मिला या उसे discard कर दिया गया, पता नहीं
लेकिन इतना तय है कि LLM की value को लेकर मैं और वह पूरी तरह अलग-अलग द्वीपों पर हैं
इसलिए इस 8x figure की व्याख्या इस पर निर्भर करती है कि Anthropic के engineers ने quality standards और development process बदले या नहीं, और कितने बदले. Anthropic ने बताया नहीं, और मेरे पास जज करने के लिए कोई और संकेत भी नहीं हैं
फिर भी सैद्धांतिक रूप से देखें तो AI-assisted coding की पूरी potential हासिल करने के लिए development process, खासकर code verification के तरीके, को पूरी तरह बदलना पड़ेगा; और अगर Anthropic ऐसा नहीं कर रहा, तो यह मूर्खता होगी
आगे software verification शायद मुख्यतः tests, observability, और custom validation methods को बहुत ज़्यादा automate करने की दिशा में जाएगा
लेकिन verification code भी LoC में जुड़ता है. मेरे personal projects और कुछ vibe coding open source projects को देखकर मोटे तौर पर product code lines और test code lines लगभग बराबर लगती हैं, इसलिए बहुत मोटा upper bound 3~4x speedup जैसा हो सकता है, और वह भी काफ़ी बड़ा है
अगर code quality standards एक जैसे नहीं हैं, तो सारी धारणाएँ टूट जाती हैं
मुझे जिज्ञासा है कि खुद को बनाने वाला code harness भी recursive self-improvement में आता है या AI खुद ही ऐसा होना चाहिए
मुझे हमेशा उन चीज़ों से आकर्षण रहा है जहाँ robot robot बनाता है, या कोई चीज़ अपने अगले version को बनाने में बड़ा योगदान देती है
https://buildyourcnc.com/products/cnc-machine-blacktoe-v4-2x...
यह एक plywood काटने वाला CNC router है, और यह खुद CNC router द्वारा काटे गए plywood से बना है
मैंने अपना AI-assisted coding environment भी खुद को बनाने के लिए optimize करने की कोशिश की है: https://recursi.dev/
यह अभी-अभी जारी किया गया free open source है, इसलिए उम्मीद है इसका ज़िक्र करना ठीक होगा. HN link को अभी तक ध्यान नहीं मिला है: https://news.ycombinator.com/item?id=48401022
निजी तौर पर मेरी थोड़ी पागल-सी theory है कि harness, AI जितना ही महत्वपूर्ण है, और अगर आज model improvement रुक भी जाए तो सिर्फ harness से बड़ा advance संभव है
AI, LLM के बराबर नहीं है, और computer को खुद reasoning करने में मदद करने वाला कोई भी code AI है. उस अर्थ में harness भी AI है
/memoryruns के बीच persistence संभालता है, और/dreamingउस memory file और run data results के आधार पर नए ideas लाता हैमुझे लगता है labs जिस asynchronous AGI path की कल्पना कर रहे हैं, वह यही है
सीमाएँ सिर्फ इतनी हैं: दुनिया या system के बारे में उपलब्ध sensor data, इंतज़ार के लिए मौजूद समय, और parallelization पर खर्च की जा सकने वाली लागत
अगर ऐसे verified workflows बनाकर फिर training में वापस डाले जाएँ, तो model के पास subpaths होंगे, जिससे वह दुनिया की समझ पाएगा और intuition की तरह व्यवहार भी कर सकता है
मेरा personal AGI test यह है: अगर किसी model ने किसी को दरवाज़ा खटखटाकर खोलते हुए सीखा हो, तो क्या वह पहली बार देखे गए microwave को खाना तैयार होने पर उसे खटखटाए बिना खोल सकता है?
यह लेख बकवास है, और उन्होंने harness को vibe coding से बनाया है, जो result में भी दिखता है
neural network आधारित AI में recursive self-improvement का सटीक मतलब क्या है, यह भी स्पष्ट नहीं है, और यह संभव है भी या नहीं, यह भी पक्का नहीं
अब मुझसे “खुद को बना सकने वाला AI तकनीकी इतिहास में एक बड़ा विकास है और दुनिया के लिए बहुत बड़ा भला ला सकता है” जैसी पंक्तियाँ बर्दाश्त नहीं होतीं
Anthropic self-improving AI बना सकता है या नहीं, यह अलग बात है, लेकिन क्या शुरू से ही उसे ऐसा बनाने की अनुमति नहीं होनी चाहिए?
कम से कम सख्त supervision तो चाहिए
मुझे नहीं लगता कि Anthropic अभी singularity बना सकता है, लेकिन AI समर्थकों को भी मानना चाहिए कि यह काम पहले से ही पूरे समाज के लिए जोखिम पैदा कर रहा है, ताकि उसका फायदा कुछ गिने-चुने अमीर लोगों को मिले
बस हालत यह है कि घोड़ा भाग जाने के बाद अब अस्तबल का दरवाज़ा बंद करने पर चर्चा हो रही है
वैसे भी जो corporation बहुत ताकतवर हो जाए, उसे nationalize किया जा सकता है
तकनीकी सीमाओं को छोड़ भी दें, तो इसे रोका नहीं जा सकता और जल्दी leak होने की संभावना भी है, इसलिए शायद फायदा सिर्फ मुट्ठीभर ultra-rich लोगों तक सीमित नहीं रहेगा
“कोड की लाइनों की संख्या एक अपूर्ण मेट्रिक है” जैसी सावधानी जोड़ना अच्छा है, लेकिन यह सही समायोजन है या नहीं कि वह अनुमानित गुणक को “नीचे” करता है, इस पर मुझे यक़ीन नहीं है
खासकर अगर आप समझें कि यह रेंज सिर्फ़ धनात्मक मानों तक सीमित नहीं है, तो और भी कम
जब code productivity को कोड की लाइनों की संख्या से व्यक्त किया जाता है, तो इसमें ऋणात्मक मान भी शामिल होने चाहिए, इसके काफ़ी मज़बूत प्रमाण हैं, और high-quality क्षेत्र में तो खासकर
इसका सबसे शुरुआती और दिग्गज उदाहरण https://www.folklore.org/Negative_2000_Lines_Of_Code.html है
अगर आप मानते हैं कि ऋणात्मक कोड लाइनें ही लक्ष्य हैं, तो इसका मतलब है कि वे 8 गुना बदतर हो गए हैं