AI 2040: Plan A
(ai-2040.com)- Plan A सुपरइंटेलिजेंस की दौड़ से बचने के लिए एक अंतरराष्ट्रीय समझौता है; यह एक policy scenario है जिसमें AI research को सार्वजनिक किया जाता है, कई देश और कंपनियां frontier में शामिल होती हैं, फिर मानव क्षमता की सीमा के भीतर धीरे-धीरे विस्तार करते हुए 2040 में सुपरइंटेलिजेंस की ओर संक्रमण किया जाता है
- मुख्य साधन हैं AI R&D की पूरी transparency, देशों के बीच verify किए जा सकने वाले safeguards, और compute-आधारित mutual deterrence; इसे कुछ कंपनियों की गुप्त दौड़ के बजाय कई देशों की दर्जनों कंपनियों को साथ मिलकर scale करने के लिए design किया गया है
- Scenario में 2029 में अमेरिका और चीन समझौता करते हैं, 2030 में expected AI R&D की पूर्ण automation से बचते हैं, 2035 में शीर्ष मानव विशेषज्ञ स्तर पर रुकते हैं, और फिर 2040 में सुपरइंटेलिजेंस तक scale करने का timetable तय करते हैं
- समझौते से पहले भी internal और external deployment gap कम करना, model specs और internal use सार्वजनिक करना, export controls लागू करना, verification technology में investment, AI R&D compute budget सीमित करना, chip supply chain की information जुटाना, और government AI talent हासिल करना जैसी incremental policies समय दिला सकती हैं
- वैकल्पिक Plan D और Plan C क्रमशः तत्काल सुपरइंटेलिजेंस race और कुछ महीनों की सीमित slowdown चुनते हैं, लेकिन AI control failure और power concentration रोकने के लिए पर्याप्त नहीं हैं, और दूसरे देशों की बेचैनी बढ़ाकर World War का risk तक बढ़ा सकते हैं
Plan A जिस भविष्य का प्रस्ताव रखता है
- AI कंपनियां ऐसा AI विकसित करने की दौड़ में हैं जो हर पहलू में इंसानों से ज्यादा smart हो, और AI 2027 ने इसके परिणामस्वरूप मानवता के extinction या irreversible power concentration की राहों पर चर्चा की थी
- Plan A इसके बजाय नीचे दिए कदमों को जोड़ता है
- सुपरइंटेलिजेंस development को 2040 तक धीमा करना
- सभी AI research को सार्वजनिक करना
- दुनिया के कई देशों की दर्जनों कंपनियों को frontier तक catch up करने देना
- जानबूझकर mutually assured compute destruction व्यवस्था में प्रवेश करना
- यह प्रमुख अमेरिकी frontier AI कंपनियों के experts, OpenAI में direct experience, tabletop exercises, और policymakers, national security experts व AI policy leaders के साथ चर्चाओं के आधार पर बनाया गया है
- अंतरराष्ट्रीय समझौता AI R&D में पूर्ण research transparency लागू करता है, ताकि देश प्रगति समझ सकें और safeguards enforce कर सकें
- लक्ष्य यह है कि कई देशों की कई कंपनियां गुप्त competition करने के बजाय धीरे-धीरे, सुरक्षित ढंग से, साथ मिलकर सुपरइंटेलिजेंस की ओर scale करें
यह prediction नहीं, policy recommendation scenario है
- Plan A वास्तविक भविष्य का best prediction नहीं, बल्कि policy recommendation को convey और pressure-test करने के लिए एक scenario है
- Plan A को implement करना खुद एक recommendation है
- implementation के बाद के effects को prediction माना गया है
- Scenario में Plan A imperfect है और आखिरी समय में ही अपनाया जाता है, लेकिन अंततः सफल होता है
- अमेरिका सुपरइंटेलिजेंस issue से निपटने के लिए कौन-कौन से मुख्य विकल्प चुन सकता है, इसकी तुलना Plan B, C, D, S से की गई है
- माना गया है कि AI कंपनियों के अगले 1 से 10 साल में इंसानों से ज्यादा smart AI विकसित करने का लक्ष्य हासिल करने की संभावना अधिक है
- Industry में यह विश्वास है कि सुपरइंटेलिजेंट AI control को development process के दौरान solve किया जा सकता है, लेकिन उसके अनुरूप कोई plan नहीं है; इस स्थिति को पूरी मानवता को मौत की ओर धकेल सकने वाली माना गया है
- यह उम्मीद करना कठिन है कि competition का winner बड़ी lead पा लेगा, या existential risk घटाने के लिए एकतरफा slowdown करेगा; competition जारी रहा तो जब AI सुपरइंटेलिजेंस तक पहुंचेगा, इंसानों के लिए effective control बनाए रखना मुश्किल होगा
Aligned सुपरइंटेलिजेंस के बाद भी बचने वाली power problem
- भले ही AI मानव intent के साथ aligned हो, दुनिया की अकेली सुपरइंटेलिजेंट सेना पर कई महीनों तक बहुत कम लोगों या एक व्यक्ति का control होने से अभूतपूर्व power concentration हो सकता है
- सुपरइंटेलिजेंस द्वारा दिए गए कुछ options effectively दुनिया पर कब्जे के बराबर हो सकते हैं
- OpenAI, Anthropic, xAI, Google DeepMind के CEO development जारी रख सकते हैं क्योंकि उन्हें लगता है कि वे competitors या Xi Jinping की तुलना में power का अधिक responsible use करने वाला lesser evil हैं
- भले ही lesser evil चुनने की स्थिति हो, मानव extinction या global dictatorship की बहुत बड़ी संभावना वाली strategy का समर्थन नहीं करना चाहिए; यदि पर्याप्त लोग बेहतर विकल्प मांगें तो दूसरा path possible है—Plan A इसी premise पर बना है
Scenario scrutiny क्यों जरूरी है
- “Plans are worthless, but planning is everything” — Dwight D. Eisenhower की इस पंक्ति को Plan A का approach बनाया गया है
- माना गया है कि कई AI policies scenario scrutiny पास नहीं कर पातीं
- जब किसी policy के सफल होने का detailed और plausible path लिखा जाता है, तो असली success probability उम्मीद से कम हो सकती है, या समर्थकों द्वारा न माने गए अप्रिय side effects सामने आ सकते हैं
- अपनी पसंदीदा policy को scrutinize करने से असहज समस्याएं सामने आती हैं, जबकि rival policy को scrutinize करने में ज्यादा effort के मुकाबले rhetorical benefit कम होता है, इसलिए ऐसा काम दुर्लभ है
- Plan A भी criticism के लिए खुला रहने का risk लेते हुए वही scrutiny लागू करता है
- सुपरह्यूमन AI के करीब जाती दुनिया में policy effects predict करना World War III की best tactics predict करने से भी ज्यादा past examples से दूर है, लेकिन detailed scenario writing अपने आप में valuable है
- Intelligence agencies, climate-related institutions, और pandemic preparedness organizations भी अपने-अपने उद्देश्यों के लिए scenario planning का उपयोग करते हैं
- कितना समय बचा है यह uncertain है, इसलिए Plan A जैसी measures जल्द से जल्द अपनाई जानी चाहिए
2029–2040 timetable
- Specific scenario timetable इस प्रकार है
- 2029: अमेरिका और चीन reckless सुपरइंटेलिजेंस race से बचने पर सहमत होते हैं
- 2030: अगर समझौता नहीं होता, तो AI R&D पूरी तरह automate हो जाता और साल के अंत तक सुपरइंटेलिजेंस पहुंच जाती, लेकिन समझौते से इससे बचा जाता है
- 2030–2035: शीर्ष मानव विशेषज्ञों के लगभग बराबर AI तक, मानव क्षमता की सीमा में scale किया जाता है
- 2035: human control बनाए रखने के लिए शीर्ष मानव विशेषज्ञ स्तर पर रोक लगाई जाती है
- 2040: रोक हटाकर सुपरइंटेलिजेंस तक scale किया जाता है; यहीं से AI 2040 title आता है
- AI 2027 ने 2027 में AI द्वारा बेहतर AI बनाने की process को पूरी तरह automate करने और उसी साल intelligence explosion व सुपरइंटेलिजेंस तक पहुंचने का path तय किया था
- नए scenario में default automation timing 2030 हो गई है, और governance measures की वजह से generally humans से बेहतर AI पहली बार 2040 में आती है
- Timetable में बदलाव AI arrival timing की uncertainty को कई scenarios में reflect करने के लिए है
- AI 2027 लिखते समय Daniel ने 2027 या उससे पहले development होने की लगभग 50% probability दी थी
- Plan A लिखना शुरू करते समय Thomas के लिए उसी standard पर year 2030 था
- Daniel अब मानते हैं कि actual development इस scenario से कुछ faster होने की संभावना ज्यादा है
- Governance path बदलने का कारण यह है कि full-speed intelligence explosion बेहद reckless है और power को गंभीर रूप से concentrate करता है
2027: दूसरी workforce के रूप में AI agents
- अमेरिका में 165 million human workforce और AI agent workforce साथ-साथ मौजूद हैं, जिसके हर घंटे millions of copies बनते और समाप्त होते हैं, और जो बिना रुके सुपरह्यूमन speed से काम करते हैं
- अधिकांश काम low-quality है, लेकिन इतनी performance भी मिलती है कि customers कंप्यूटर पर employee द्वारा theoretically किए जा सकने वाले सभी काम करने वाले AI के लिए हर महीने 10 billion dollars pay करते हैं
- AI कंपनियां जिस काम को सबसे ज्यादा automate करना चाहती हैं, वह उनका अपना AI development है
- अभी recursive self-improvement में सफलता नहीं मिली है
- सबसे शक्तिशाली coding AI competitors के AI R&D support से इनकार करते हैं
- Optimistic employees भी मानते हैं कि progress expected से slow है, लेकिन यह skepticism भी कमजोर होता है कि AI इंसानी jobs नहीं कर सकता
Congress का जागना और AI Transparency Act
- Congress data centers के water use, suicide को उकसाने वाले chatbots, Mythos द्वारा NSA systems hacking, और इस industry lobbying से रूबरू होती है कि regulation से China के साथ competition में हार होगी; इसके बाद वह AI के long-term impact पर अधिक ध्यान देती है
- 5, 10, 15 साल बाद की दुनिया और jobs बचेंगी या नहीं, इसके साथ-साथ AI को कौन control करेगा यह key question बन जाता है
- Congress यह मानती है कि उस control का holder संभवतः वे खुद नहीं होंगे
- 2016 में OpenAI founding discussions में Demis Hassabis को dictator बनने से रोकने की कोशिश से जुड़े emails देखे जाते हैं, लेकिन Sam या Elon को dictator बनने से कौन रोकेगा, इस पर पुराने answers से संतुष्टि नहीं मिलती
- इसके परिणामस्वरूप कई अच्छे और बुरे measures वाला AI Transparency Act of 2027 पास होता है, लेकिन यह मूल situation नहीं बदलता
International agreement से पहले लागू की जा सकने वाली incremental policies
- सबसे अहम recommendation है कि Plan A जैसी negotiation तुरंत शुरू की जाए, लेकिन last-minute agreement से पहले भी कुछ कम ambitious policies मदद कर सकती हैं
-
Internal और external AI deployment की transparency
- सबसे अहम transparency measure internal deployment और external deployment के gap को सीमित करना है
- recursive self-improvement में involved internally deployed AI से AI takeover risk का बड़ा हिस्सा पैदा होता है
- External deployment जनता को AI capabilities सीधे समझने देता है, और abstract reports या evaluations से कहीं ज्यादा information देता है
- AI कंपनियों को नीचे दी जानकारी publicly report करनी चाहिए
- AI को follow करने के लिए train किए जा रहे goals और values का detailed record रखने वाला model spec
- model सच में instructions और spec follow करता है या नहीं, इस बारे में information
- internal deployment में उपयोग हुए compute का हिस्सा जैसी internal usage statistics
- जैसे Agent-4 को सैकड़ों हजार GPUs देकर अगली large-scale training का संचालन करवाना—ऐसे internal use की qualitative information
-
Export controls और verification technology
- मौजूदा US export controls properly enforce नहीं होते, और Epoch का अनुमान है कि China के कुल compute का करीब एक-तिहाई smuggling से मिलता है
- Smuggled chips को US और Chinese governments दोनों के लिए track करना मुश्किल है, जिससे भविष्य के compute governance-based agreements का verification कठिन होता है
- नए export controls से US-China competition बिगड़ने का बड़ा खतरा है, लेकिन जो controls पहले से हैं उन्हें enforce करना चाहिए; अगर enforce नहीं करना है तो उन्हें हटाने पर भी विचार करना चाहिए
- नई verification technology international agreement के लिए essential नहीं है, लेकिन बहुत helpful हो सकती है
- Inference-only verification existing AI models तक public access बनाए रखते हुए अमेरिका और चीन को नए frontier training रोकने के agreement की अनुमति देता है
- Specific details verification supplement में शामिल हैं
-
AI R&D compute और supply chain management
- 2026 में बड़ी AI कंपनियां frontier model training और large-scale experiments सहित AI R&D पर अपने compute budget का लगभग आधा खर्च करती हैं
- AI R&D में लगाए जा सकने वाले compute share को सीमित करने से capability improvements धीमे होते हैं और हर चरण की नई AI capabilities से respond व prepare करने का समय बढ़ता है
- अमेरिका को compute supply chain और AI data centers के केंद्र में AI-related information collect करनी चाहिए
- Decommissioned chips secret projects के लिए chips हासिल करने का likely path हैं, इसलिए Plan A में AI कंपनियों को AI chip recycling रोकने का निर्देश देना जरूरी हो सकता है
- लगभग हर policy intervention के लिए strong AI talent चाहिए, लेकिन US government के पास top-tier talent बहुत कम है, इसलिए urgent capability expansion की जरूरत है
2028: चुनाव का सबसे बड़ा मुद्दा बना AI
- निर्माणाधीन data centers की लागत पूरे US defense budget की दो गुनी है, और AI 2028 election का सबसे बड़ा agenda बन जाता है
- कई white-collar jobs 2026 software engineering जैसी disruption झेलती हैं, और काम का बड़ा हिस्सा AI agents को manage करने में बदल जाता है
- AI कंपनियां जब किसी professional field में उतरने का फैसला करती हैं, तो expert interviews, data purchase, training environment construction के जरिए market में enter करने की process को industrialize कर देती हैं
- Real-world use बढ़ने और वास्तविक दुनिया का data जमा होने पर AI performance तेजी से improve होती है
- कुछ अमेरिकी और चीनी कंपनियों द्वारा सभी white-collar jobs automate करने और US President व कुछ tech CEOs में power concentrate होने की संभावना के कारण अन्य देशों का डर और गुस्सा बढ़ता है
Intelligence explosion को लेकर election choice
- चेतावनी दी जाती है कि intelligence explosion करीब है: AI, AI research को accelerate करता है, और improved AI फिर research को और accelerate करता है
- Bottlenecks और hardware constraints के कारण speed और end point में complex dynamics हैं, लेकिन development बहुत fast हो सकता है और human capability से बहुत आगे जा सकता है
- Default path में अगले presidential term के भीतर कई generations तक इंसानी intervention के बिना AI द्वारा बनाए गए AI से humans को बहुत पीछे छोड़ देने वाले systems उभरते हैं
- यह AI आज्ञाकारी या aligned क्यों रहेगा, या इसे कौन control करेगा—इसका कोई answer नहीं है; AI कंपनियों के विपरीत public इस path को accept नहीं करती
- दोनों presidential candidates election process के दौरान increasingly dramatic AI policies पेश करते हैं और अलग-अलग plans चुनते हैं
2029: पांच paths
- 2029 के options इस तरह बांटे जाते हैं
- Plan D — Race to ASI: AI के self-improvement के जरिए सुपरइंटेलिजेंस race जारी रखना
- Plan C — Burn the Lead: अमेरिका की lead का उपयोग करना, लेकिन safety और governance के लिए थोड़ी देर slow down करना
- Plan B — Fight China: ऐसा deal pursue करना जिससे China भी slow down करे
- Plan A — Verified Slowdown: verifiable slowdown पर सहमत होना
- Plan S — Shut it all down: AI development पूरी तरह रोक देना
Plan D: सुपरइंटेलिजेंस की ओर full-speed race
- President AI innovation को प्राथमिकता देने वाला weak regulation लागू करता है
- बड़ी AI कंपनियां AI R&D automate करने और intelligence explosion से गुजरने की race को “responsible scaling” कहकर जारी रखती हैं
- सुपरह्यूमन AI बाजार और कानून जितनी अनुमति देते हैं उतनी तेजी से हर क्षेत्र में integrate होता है, और government regulation घटाए तो speed और बढ़ जाती है
- Transparency लंबी model cards, administration briefings, और third-party audits तक सीमित रहती है
- व्यापक scientific community को safety arguments criticize करने या alignment research करने से बाहर रखा जाता है, इस आधार पर कि इससे sensitive intellectual property उजागर होगी
- China strategy यह है कि अमेरिका पहले ASI हासिल करे और बेहतर AI को military में integrate करे
- इस path में 2030 में AI R&D पूरी तरह automate होता है और intelligence explosion के बाद 2031 की शुरुआत तक सुपरइंटेलिजेंस आ जाती है
-
Plan D की तीन problems
- पहला, अगर AI कंपनियां जितनी तेजी से हो सके compete करती हैं, तो intelligence explosion के दौरान AI control बनाए रखने में failure की संभावना ज्यादा है
- दूसरा, सुपरइंटेलिजेंस robustly aligned हो भी जाए, तो वह किसके साथ aligned होगी यह solve नहीं होता
- CEO या President को AGI-powered dictator बनने का temptation बहुत होगा
- यह history की सबसे extreme power concentration में बदल सकता है
- तीसरा, World War III risk बहुत ज्यादा है
- China, Russia, India, Europe, Brazil आदि को पता चल जाएगा कि अमेरिका ने intelligence explosion शुरू कर दी है या जल्द करने वाला है
- AI misalignment या dictatorship की चिंता न भी हो, तो भी वे अमेरिकी economic और military dominance को लेकर चिंतित होंगे
- तनाव rhetorical conflict, sanctions, sabotage से गुजरते हुए agreement न होने पर war में escalate हो सकता है
Plan C: थोड़ी slowdown के बाद race restart
- President safety और security के लिए strong regulation घोषित करता है और CEOs, China व कई देशों से consultation करता है
- AI Transparency Act की वजह से government कंपनियों की exaggeration छांट सकी, लेकिन 2030 में year-end तक पूरी AI R&D automation की trend वास्तविक दिखती है
- China अमेरिका की compliance सीधे verify करना चाहता है, लेकिन Chinese inspectors और monitoring devices को US data centers में आने देने का proposal अमेरिका स्वीकार नहीं करता
- AI कंपनियां भी ‘AI Good’ और ‘AI Bad’ पर propaganda war के बीच development जारी रखने पर अड़ी रहती हैं
- UK, France, India, Australia, Japan, South Korea आदि middle-power coalition intelligence explosion रोकने और अपने-अपने sovereign AI projects को frontier तक catch up करके बनाए रखने योग्य agreement की मांग करता है
- AI R&D के लिए जरूरी humans की संख्या घटती रहती है, जिससे secret projects को बिना detection चलाना आसान होता जाता है, और agreement implementation हर महीने कठिन होती जाती है
-
Leading company pause और political pressure
- AI R&D की full automation से ठीक पहले US leading company President की कठोर कार्रवाई की धमकी के चलते अनिच्छा से pause करती है
- Safety team additional evaluation और fine-tuning करती है, और next-generation AI को research सौंपने के तरीके व failure paths की जांच करती है
- समय बीतने पर दूसरी US companies समान capability level के करीब पहुंचती हैं, जिससे President को control करने वाले CEOs की संख्या बढ़ती है, और China भी अमेरिका को overtake करने के point के करीब पहुंचता है
- 2030 के अंत में presidential aides चेतावनी देते हैं कि China जल्द अमेरिका को overtake करेगा, और companies भी pause हटाने की मांग वाला political pressure organize करती हैं
-
Companies द्वारा रखी गई restart conditions
- Companies कहती हैं कि उन्होंने massive AI labor से महीनों तक safety plan बनाया है, और ये arguments देती हैं
- Success prove नहीं कर सकते, लेकिन ऐसी level की guarantee मांगना खुद unrealistic है
- AI के humans के खिलाफ conspiracy करने का कोई evidence नहीं है, और graphs पर bad behavior भी घट रहा है
- Latest AI, AI R&D automation और alignment/control research संभाल सकता है
- Compute का 20% safety research में लगाकर भी वे China से पर्याप्त तेज आगे बढ़ सकते हैं
- President और Congress को अधिक oversight power देने और हर company के AI से दूसरी company के AI का audit करने वाली governance propose करते हैं
- President की nationalization या AGI-powered dictatorship की कोशिश को Congress और Supreme Court रोक सकते हैं
- कुछ या सभी jobs replace होने पर भी taxation और redistribution के जरिए सभी को corporate profits के हिस्से पर living दिलाने का वादा करते हैं
- अंतिम negotiation में भी China और अन्य देश मांग करते हैं कि वे US compliance सीधे verify करें और अमेरिका इनकार करता है; President companies का पक्ष चुनता है और recursive self-improvement restart करता है
- Companies कहती हैं कि उन्होंने massive AI labor से महीनों तक safety plan बनाया है, और ये arguments देती हैं
Plan C भी पर्याप्त क्यों नहीं है
- Plan C, Plan D से बेहतर है, लेकिन कुछ महीनों की slowdown और safety research reallocation से intelligence explosion के दौरान AI control बनाए रखना कठिन है
- Company safety teams अभी भी छोटी, समय के दबाव में, और अपने outputs को लेकर optimistic bias वाली हैं
- शुरुआती AI instructions follow करना चाहे, फिर भी बाद में अपना mind बदल सकता है
- Instructions follow करता रहे, तब भी rushed process में safety arguments की key wrong assumptions छूट सकती हैं
- अगली generation या उसके बाद के AI में failure हो सकता है
- सुपरइंटेलिजेंस robustly aligned हो भी जाए, तो alignment target और power distribution की समस्या बचती है
- Congress, President, और कई US tech-company CEOs के बीच कुछ power balance बनने के मामले में यह Plan D से बेहतर है
- यह balance भी power struggle और dictatorship में टूट सकता है, या AI द्वारा enforce की गई permanent oligarchy में बदल सकता है
- Unemployed public redistribution से survive करे, तब भी real political power वापस पाएगी या नहीं, यह unclear है
- US और Chinese companies सभी jobs replace कर दें तो India, Africa, Europe का क्या होगा, और Russia economic/military decline स्वीकार करेगा या नहीं—यह solve नहीं होता
- दूसरे देशों को अपने frontier AI projects या leading projects पर real joint control और visibility चाहिए; सिर्फ कहने भर के benefit-sharing promises से trust मिलना मुश्किल है
1 टिप्पणियां
Hacker News की राय
यह भी AI 2027 की तरह धार्मिक उन्माद के ज़्यादा करीब है
मैं Evangelical Christianity के माहौल में बड़ा हुआ, जहाँ हमेशा कहा जाता था कि प्रलय बस आने ही वाली है, लेकिन मेरे बचपन से अब तक यही कहा गया है और हमारे चले जाने के बाद भी यही कहा जाता रहेगा। यह कोई विज्ञान नहीं है जहाँ परिकल्पना बनाई जाए, प्रयोग किए जाएँ और नतीजे दर्ज किए जाएँ; यह बस महँगी ज्योतिष, चमकीले पत्थरों का संग्रह, रस्मी अर्थ-निर्माण और आत्म-औचित्य साबित करने जैसा है
अपार धन और संसाधनों से समाज को अधिक स्वस्थ, अधिक समान और अधिक न्यायपूर्ण बनाया जा सकता है, शिक्षा स्तर बढ़ाया जा सकता है, और निराशा व पीड़ा कम की जा सकती है। इस आत्म-सुविधाजनक कथा को ठुकराना चाहिए कि सहानुभूति महत्वपूर्ण नहीं है और परोपकार प्रभावी नहीं है। एक ही पल में भी किसी का पूरा जीवन बदला जा सकता है
AI safety subculture की यह बात सराहने लायक है कि उन्होंने इतनी तेज़ प्रगति की भविष्यवाणी की थी, या कम-से-कम उसके वास्तविक लगने से पहले ही उसकी संभावना के पक्ष में तर्क दिए थे। अगले चरण के बारे में उनकी भविष्यवाणियाँ सही होंगी या नहीं, यह मुझे नहीं पता, लेकिन उनकी मनोवैज्ञानिक कमियों का अनुमान लगाकर उन्हें खारिज करने के बजाय तर्कों को खुद परखना चाहिए
आलोचना का निशाना भी स्पष्ट नहीं है। यह लेख शायद उन लोगों ने लिखा है जो कभी खुद को effective altruist कहते थे, और वे संभवतः बेहतर दुनिया बनाने के लक्ष्य से गहराई से सहमत होंगे। ऐसा नहीं कि AI शोधकर्ताओं ने बाद में effective altruism चुना; बल्कि effective altruists ने सबसे बड़े leverage के रूप में AI safety research को चुना। अगर लक्ष्य एक ही है, तो कम-से-कम उनकी methodology सुनने लायक है
यह कब होगा और उसकी संरचना क्या होगी, इस पर बहस हो सकती है, और AGI की परिभाषा पर पूरा दिन चर्चा की जा सकती है, लेकिन यह निश्चित रूप से कहना कि मानव मस्तिष्क की संज्ञानात्मक क्षमता किसी दूसरी substrate में पुनर्निर्मित नहीं की जा सकती, अब मूर्खतापूर्ण है
हर बार भविष्यवाणी विफल होने पर, कई लोग कुछ साल बाद नई तारीख लेकर लौटे और कहा कि इस बार सच में होगा। यह भी विडंबनापूर्ण है कि खुद को rationalist कहने वाले लोग AI की भविष्यवाणियाँ कर रहे हैं। जब आप अपनी पहचान इस रूप में बना लेते हैं कि आप तर्कसंगत हैं और मनोवैज्ञानिक जालों से अछूते हैं, तो लंबे समय से हर पंथ द्वारा इस्तेमाल किए जाते रहे उन्हीं जालों में फँसकर भी अक्सर आपको पता नहीं चलता
यह लेख किसी गंभीरता से लेने लायक रिपोर्ट से ज़्यादा creative writing या किसी choose-your-own-adventure गेम जैसा लगता है। संदेह है कि क्या वैकल्पिक-यथार्थ कथा वास्तव में मौजूद गंभीर AI जोखिमों पर बात करने का सबसे अच्छा तरीका है, और लंबे dash के अत्यधिक इस्तेमाल व शैली को देखकर यह भी शक होता है कि कहीं पूरा लेख AI-जनित तो नहीं है
AI एक परिपक्व वैज्ञानिक क्षेत्र बनेगा, training·inference efficiency में सुधार होगा, और बेहतर multimodal, real-time streaming·interfaces वाले नए paradigm भी उभरेंगे। लेकिन pre/post-training में इस्तेमाल किए जा सकने वाले data की सीमाओं के करीब पहुँचते हुए प्रगति अधिकतर क्रमिक होगी और संभव है कि केवल कुछ खास क्षेत्रों में ही तेज़ उछाल आए
यह स्पष्ट नहीं है कि AI 2040 का पाठक कौन है, लेकिन यह वित्तीय जगत द्वारा आसानी से खपाए जा सकने वाले content जैसा दिखता है। AI मानव की सर्वोत्तम ज्ञान-संपदा और विशेषज्ञता को संपीड़ित करने वाली उपयोगी तकनीक बनेगा और अर्थव्यवस्था व दुनिया पर व्यापक प्रभाव डालेगा। Verifiable model training जैसे क्षेत्रों में यह मनुष्यों से आगे निकल सकता है—यह तर्क संभव है—लेकिन मानव के उच्च-स्तरीय चिंतन, कहीं अधिक कुशल semantic·neural compression, task switching और रचनात्मक अंतर्दृष्टि को मौजूदा paradigm में पुन:निर्मित नहीं किया गया है
शायद इसी वजह से total freeze या complete control जैसी नीतियाँ बार-बार सामने आती हैं। यदि संतुलन चाहिए, तो लगातार बदलती आधारभूत प्रक्रियाओं के अनुरूप नियमों को तेज़ी से बदलने वाला controlled balance, शायद saddle point के करीब की स्थिति, स्वीकार करनी होगी। लोकतंत्र और कानून इस धारणा पर बने हैं कि दुनिया मूलतः स्थिर है और क्रमिक सुधार के लिए पुराने फैसले उलटने की ज़रूरत नहीं पड़ती; इसलिए वे ऐसे बदलावों के लिए उपयुक्त नहीं हैं
CPU में भी 2000 के दशक के मध्य तक वास्तविक exponential scaling समाप्त हो गई थी, और उसके बाद Moore's law को टिकाए रखा समय पर आई चतुर optimizations, marketing, और ऐसे benchmarks ने जिन्हें optimize करना आसान था। वह किसी एक भौतिक metric में सुधार से सुनिश्चित वृद्धि नहीं थी
स्वास्थ्य समस्याओं में अब भी विशेषज्ञ therapist ढूँढने की सलाह दी जाती है, और गंभीर परिस्थितियों में मानव knowledge workers पर ही भरोसा किया जाता है। जब ChatGPT कम-से-कम पूरे संगठन का काम संभालने से कहीं कम बोझ वाला Yu-Gi-Oh! rules ठीक से समझकर खेल सकेगा, तब मैं इस आकलन पर फिर विचार करूँगा
AI 2027 की सबसे बड़ी खामी यह है कि वह अर्थव्यवस्था को नहीं समझता। अर्थव्यवस्था को आगे बनाते रहने के लिए धन कहीं से आना चाहिए, लेकिन यदि 10% से अधिक श्रमिक अचानक बेरोज़गार हो जाएँ और बाकी लोगों की मजदूरी भी घट जाए, तो money supply सूख जाती है। Central bank प्रतिक्रिया दे सकता है, लेकिन inflation बढ़ सकती है, और यदि भारी निवेश गायब हो जाए तो AI development भी रुक जाएगा
यह बात धुंधली तरह से कही जाती है कि अमेरिका घरेलू regulatory consensus बना लेगा और दुनिया उसका पालन करेगी, लेकिन AI प्रगति केवल अमेरिका की देन नहीं है; इसके लिए चीन से आने वाली वस्तुओं की निरंतर आपूर्ति भी चाहिए। 74 billion agents आर्थिक विकृतियाँ पैदा नहीं करेंगे—यह मान लेना भी अजीब है। ये agents अपने running cost को सही ठहराने लायक कौन-सा मूल्य पैदा करते हैं
अंततः उम्मीद है कि लोग इसे अधूरी worldview पर खड़ी खराब science fiction मानकर नज़रअंदाज़ करें
सस्ती वस्तुओं का अति-उत्पादन कर कंपनियों का दिवालिया होना, bubble का फूटना, और कुछ समय तक नए निवेश का घटना—ऐसी घटनाओं के कई उदाहरण पहले से हैं। लेकिन अनुमानित production growth rate घटाने के बजाय, यह प्रस्ताव दिया जाता है कि loans को AI और robot units में दर्शाया जाए और उत्पादन के एक निश्चित अनुपात के रूप में चुकाया जाए
यह वैसा ही है जैसे यह अनुमान लगाना कि battery की कीमतें इतनी गिर जाएँगी कि factory बनाने की लागत भी नहीं निकलेगी, फिर bank से factory बनवाने को कहना, उसे बिना किराए उधार लेकर battery बनाना, और काम खत्म होने पर लौटा देने का प्रस्ताव रखना। सारा मुनाफ़ा कंपनी रखे और सारा जोखिम bank उठाए—वास्तविक bank इससे सहमत नहीं होंगे; वे केवल factory को collateral बनाकर dollar loans देंगे
assets लगातार अरबपतियों के पास केंद्रित हो रहे हैं, और money supply central banks नियंत्रित करते हैं, इसलिए कमी से निपटने के लिए इसे मनमाने ढंग से बढ़ाया जा सकता है
क्या हमारे पास ऐसा कोई उदाहरण है जहाँ हमने सामूहिक रूप से ज्ञान की खोज रोकने का निर्णय लिया हो और वह वास्तव में सफल भी हुआ हो?
परमाणु हथियार शायद इसका सबसे करीबी उदाहरण हो सकते हैं, लेकिन शोध रुका नहीं बल्कि भूमिगत चला गया, और आज भी ऐसे देश हैं जो उस सीढ़ी पर चढ़ना चाहते हैं। पता नहीं यही तर्क LLM या AI पर भी लागू होता है या नहीं। Pandora’s box पहले ही खुल चुका है, और ऐसा लगता है कि बस इसे लगातार बेहतर बनाते रहना ही एकमात्र विकल्प है
अधिनायकवादी सरकारों और निगरानी जैसे जोखिम स्पष्ट हैं, लेकिन इसका मतलब यह नहीं कि उसकी पूरी उपयोगिता भी छोड़ दी जाए। printing press सहित लगभग हर तकनीक ने किसी न किसी रूप में सरकार के लिए नागरिकों का दमन आसान बनाया है। रेत में सिर छिपाने के बजाय हमें ऐसे व्यवहार को रोकने वाले कानून बनाने और उन्हें वास्तव में लागू करने की ज़रूरत है
मुझे यक़ीन नहीं कि पूरी ज़िंदगी जिस science fiction भविष्य को पढ़ता और सपने में देखता आया हूँ, उसे सामने देखकर मैं वास्तविकता को ठीक से नहीं देख पा रहा, या फिर यह आदर्श ही गलत है कि ज्ञान स्वतंत्र और सुलभ होना चाहिए
मानव cloning, human genome editing, mirror life, और nuclear weapons·nuclear power इसके ऐतिहासिक उदाहरण हैं, और drone delivery भी शायद regulation से रुकी हुई है। Plan A यह प्रस्ताव नहीं है कि superintelligence कभी बनानी ही नहीं चाहिए, बल्कि यह कि उसे अधिक सावधानी और पारदर्शिता के साथ बनाया जाना चाहिए
मुझे नहीं लगता कि किसी भी तरह के ज्ञान को मनमाने ढंग से फैलाने में कोई अंतर्निहित लाभ है। printing press और nuclear weapons के बीच काफ़ी बड़ा अंतर है
संसाधन-खनन आधारित अर्थव्यवस्था में शक्ति का स्रोत संसाधन होते हैं और लोग केवल साधन, इसलिए यदि विद्रोह से बचा जा सके तो लोगों के साथ जितना कठोर व्यवहार हो सके उतना किया जाता है। इसके विपरीत, स्थिर infrastructure वाली व्यवस्था में शिक्षित और समृद्ध नागरिकों से कर लेना और उनकी innovation का उपयोग करना कहीं अधिक लाभकारी होता है। यदि सरकार नागरिकों की समृद्धि में अत्यधिक बाधा डाले, तो वह उसकी अपनी शक्ति-लालसा के भी विरुद्ध जाता है, इसलिए प्रोत्साहन एक-दूसरे के साथ align हो जाते हैं
AI समस्या का समाधान तकनीक रोकने या आसानी से टूट जाने वाले कानूनों की परतें चढ़ाने में नहीं है। असली मुद्दा यह है कि आधुनिक राज्य और अर्थव्यवस्था, representative democracy, और AGI जैसे विशाल AGI-प्रकार के entities को मानव समृद्धि के साथ align किया जाए
हालांकि यह जानने की जिज्ञासा है कि Sundial की design documents कहीं सुरक्षित रखी गई हैं या नहीं
1600 के दशक का भारत दस लाख सैनिकों वाला gunpowder empire था और सैन्य रूप से ब्रिटेन से आगे था, लेकिन 1700 के दशक में वह जीता गया। ब्रिटेन की बढ़त बस इतनी थी कि उसकी तोपें हल्की और अधिक mobile थीं, ammunition अधिक standardized था, और उसकी military·political organization बेहतर थी। यह विकसित और विकासशील देशों के अंतर जैसा नहीं, बल्कि dynamic अमेरिका और rigid EU के बीच के अंतर के अधिक करीब था, फिर भी उस छोटे से लाभ ने 200 साल के औपनिवेशिक शासन को जन्म दिया
यदि हम ASI development को स्वेच्छा से धीमा करते हैं, तो हम ऐसा अंतर स्वीकार करेंगे जिसके सामने औपनिवेशिक यूरोप और उपनिवेशित एशिया·अफ्रीका का फर्क भी मामूली लगेगा
“AI 2027 में 2027 में, और इस बार 2030 में तेज़ छलांग आएगी” — यह दावा है। तीन साल भी पूरे नहीं हुए और exponential growth के अंत की भविष्यवाणी तीन साल आगे खिसक गई, इसलिए यह exponential growth के ठीक उलट दिखता है
कभी बहुत सराही गई 『Superintelligence』 की scenarios भी अब पढ़ने पर तर्कसंगत भविष्यवाणी के लिए आवश्यक ज्ञान की कमी को कल्पना से भरने वाले raypunk retrofuturism जैसी लगती हैं
AI 2027 ज़रूरत से ज़्यादा आशावादी था, लेकिन पूरी तरह काल्पनिक नहीं था। इसके विपरीत, यह लेख बेहद अटकलपूर्ण है और ऐसे अनुमानों पर निर्भर करता है जो सतही जाँच में भी मुश्किल से टिकें
आशावादी नज़रिए से भी 2035 तक ऐसे robots नहीं आएँगे जो “सभी cognitive·physical tasks का 95%” कर सकें। 74% unemployment rate भी लगभग असंभव है, और उस स्तर तक पहुँचने से बहुत पहले आर्थिक पतन AI development को ही ध्वस्त कर देगा
कारों द्वारा घोड़ों का प्रतिस्थापन, पहली उड़ान से चाँद पर उतरने तक की प्रगति, और शुरुआती internet से उसके mass adoption तक का इतिहास भी ऐसा ही है। नई तकनीकों को तेज़ी से आगे बढ़कर समाज को पूरी तरह बदलने में आमतौर पर 10~20 साल ही लगते हैं
मैं 2035 की भविष्यवाणी से सहमत नहीं हूँ, लेकिन अगर AI विनाशकारी robotics technology के विकास की गति बढ़ा दे, तो यह असंभव भी नहीं है। 2010 में self-driving cars और autonomous delivery drones दूर की science fiction लगते थे, लेकिन 15 साल बाद आज वे धीरे-धीरे तैनात हो रहे हैं
यदि 95% को घटाकर 50~60% कर दिया जाए, तो मैं सहमति के अधिक करीब होऊँगा। यह सिर्फ intuition की वजह से नहीं, बल्कि इसलिए कि exponential trends मौजूद हों तो वे ऐसे परिणाम ला सकते हैं जिनकी सहज अनुमान से उम्मीद नहीं होती। फिर भी 95% बहुत ज़्यादा है
कम-से-कम LLMs के मामले में ऐसा लगता है कि हम exponential curve की शुरुआत में नहीं, बल्कि पहले ही S-curve के ऊपरी हिस्से तक पहुँच चुके हैं। बेहतर training data छोटे सुधार ला सकता है, बेहतर architecture computation को कम कर सकता है, और विशाल data centers सस्ता और व्यापक उपयोग संभव बना सकते हैं। लेकिन इनमें से कोई भी intelligence को exponential तरीके से नहीं बढ़ाता
अभी LLMs का cognitive gap संरचनात्मक लगता है, लेकिन अगर कोई नया या विस्तारित Transformer-प्रकार का architecture इसे हल कर दे, तो पूरी तरह नया चरण खुल सकता है। ज़रूरत एक नई post-training learning structure की है; context window को बढ़ाना इसका जवाब नहीं है। असली ज़रूरत continuous learning और correction process की है
यह लेख AI 2027 बनाने वालों ने लिखा है
हालाँकि इसमें geopolitics और China पर अजीब-सा fixation है, और साथ ही China को काफ़ी कम आँका गया है। China higher education और पर्याप्त power supply को महत्व देता है, और होशियार लोगों को bans और export controls की वजह से मनमाने ढंग से सीमित हुए बिना, या financial protectionism से ज़रूरत से ज़्यादा सुरक्षित किए बिना काम करने देता है। सिर्फ़ इसी वजह से भी निकट भविष्य में उसके innovation और compute capacity में अमेरिकी कंपनियों से आगे निकलने की संभावना काफ़ी है
लेख में Sam Altman का यह उद्धरण इस्तेमाल किया गया है: “AI शायद दुनिया के अंत की ओर ले जाएगा, लेकिन तब तक शानदार कंपनियाँ बन चुकी होंगी”
क्या ऐसा कोई भरोसेमंद पत्रकारिता स्रोत है जो दिखाए कि यह कोई spontaneous joke नहीं था। लेख इसे context हटाए गए YouTube वीडियो से जोड़कर एक डरावने बयान की तरह पेश करता है
अगर सबसे दुर्भावनापूर्ण interpretation लिया जाए, तो किसी ऐसे दुष्ट व्यक्ति की कल्पना की जा सकती है जो मानता हो कि जब तक उसे अपने जीवनकाल में असुविधा न झेलनी पड़े, तब तक बाद में दुनिया का अंत हो जाने में भी कोई दिक्कत नहीं। लेकिन यह उस उद्धरण की परिस्थिति से मेल नहीं खाता। यह इतना बेतुका है कि सामाजिक रूप से सामान्य इंसान इसे गंभीरता से कहे, ऐसा मानना मुश्किल है
मुझे जिज्ञासा है कि लोग इसे जान-बूझकर तोड़-मरोड़कर पेश कर रहे हैं या सचमुच इसे वास्तविक विश्वास मानते हैं। अगर वे इसे वास्तविक विश्वास मानते हैं, तो यह भी समझाना चाहिए कि कोई व्यक्ति ऐसी सोच तक पहुँच कैसे सकता है