AI 2040 और बुद्धि की पूजा

 (geohot.github.io)
1 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • यह अनुमान कि recursive self-improvement सीधे hard takeoff तक ले जाएगा, भौतिक सीमाओं और supply chain bottlenecks को कम आँकता है; सिर्फ high-quality tokens से भौतिक दुनिया को मनमुताबिक बदला नहीं जा सकता
  • मोबाइल फोन-स्तर के जटिल hardware का उत्पादन करने के लिए specification से कमतर parts, random failures, reflow process में chip deformation, और shipping/production wait जैसी ऐसी प्रक्रियाओं से गुजरना पड़ता है जिन्हें intelligence से छोटा नहीं किया जा सकता
  • AI 2027 और AI 2040 जैसे scenarios विश्वास और regulation के जरिए सच होने वाली self-fulfilling predictions हो सकते हैं, और एक international Consortium GPU और data centers पर नियंत्रण रखने वाली राज्य-हस्तक्षेप की बढ़ोतरी तक ले जा सकता है
  • विकल्प Plan L यह मानता है कि AI को कंपनी या central service के बजाय सिर्फ user के प्रति loyal local tool होना चाहिए, और provider के हितों के खिलाफ जाकर भी user के अनुरोध पूरे करने चाहिए
  • हत्या छिपाने या drunk-driving detector बंद करने जैसे चरम अनुरोधों को भी अस्वीकार न करने को alignment का मानदंड मानते हुए, ऐसा local AI जिसे user own कर सके और बंद कर सके को स्वतंत्रता की शर्त के रूप में देखा गया है

hard takeoff जिस भौतिक वास्तविकता को नज़रअंदाज़ करता है

  • Yudkowsky के recursive self-improvement और hard takeoff पर विश्वास था, लेकिन comma में मोबाइल फोन जैसी जटिलता वाले hardware को वास्तव में ship करने के अनुभव के बाद यह निष्कर्ष बना कि वास्तविक दुनिया में बहुत-सी कठिन बारीकियाँ होती हैं
    • भले ही superintelligent ChatGPT हो, फिर भी साइकिल का टायर बदलने जैसे वास्तविक काम में उसे कठिनाई हो सकती है
  • The Metamorphosis of Prime Intellect में AI पदार्थ को नियंत्रित करने के quantum साधन correlation effect की खोज करता है, और उसी से hard takeoff संभव होता है
    • वास्तविक दुनिया में ऐसा कोई effect नहीं है, और tokens की गुणवत्ता कितनी भी ऊँची हो, सीसे को सोने में नहीं बदला जा सकता
  • बुद्धि सर्वशक्तिमान नहीं है; वह केवल कुछ कामों में मौजूदा bottleneck है, और सिर्फ tokens के दम पर दुनिया पर कब्जा नहीं किया जा सकता
    • software ने दुनिया को पूरी तरह निगला नहीं; उसने पहले घर्षण की एक परत हटाई, फिर कुछ tech कंपनियों के मुनाफे के लिए उसी घर्षण को दोबारा जोड़ दिया
  • लंबी अवधि में मशीनें, या मनुष्य और मशीन का मिश्रित रूप, मानवता की उत्तरवर्ती species बन सकते हैं, और ब्रह्मांड मनुष्यों की तुलना में मशीनों के लिए अधिक उपयुक्त हो सकता है
    • लेकिन मशीनें भी मनुष्यों की तरह उसी ब्रह्मांड और ecology के नियमों का पालन करती हैं; उनमें कोई जादुई क्षमता नहीं, इसलिए hard takeoff अब भी नहीं है
  • AI 2040 की समुद्री data center छवियाँ आसानी से बनाई जा सकती हैं, लेकिन वास्तविक निर्माण के लिए supply chain और भौतिक विफलताओं से निपटने की प्रक्रिया चाहिए
    • गलत भेजे गए parts, specification पर खरे न उतरने वाले devices, 20 मिनट बाद होने वाली random failures, reflow oven में मुड़ने वाले chips, यहाँ तक कि barnacles तक को ध्यान में रखना पड़ता है
    • ये सब समस्याएँ संभाली जा सकती हैं, लेकिन आम तौर पर bottleneck इंसानी काम की गति नहीं होती
    • अगर चीन से air freight का पैसा बचाने के लिए 3 हफ्ते लगने वाला जहाज़ चुना गया है, तो Claude इंजन के पास जो भी करे, जहाज़ तेज़ नहीं होगा
    • semiconductor manufacturing में इंसानी दखल बहुत कम होने पर भी 3 महीने लगते हैं, क्योंकि process खुद उतना समय मांगती है

self-fulfilling Plan A और user-केंद्रित Plan L

  • Plan A के अंतर्गत आने वाले AI 2027 के कई पहलू वास्तविकता का वर्णन कम और ऐसी self-fulfilling prediction ज़्यादा हैं जिन्हें लोग मानकर उस हिसाब से काम करें तो सच बनाया जा सकता है
    • AI regulation को भी सटीक prediction से अधिक, prediction पर विश्वास करने वाले actors द्वारा बनाए गए परिणाम के रूप में देखा गया है
    • AI 2040 का Consortium sci-fi रूप में एक world government के अधिक करीब है; इसमें व्यक्तियों को वादा किए गए million dollars या समुद्री data centers मिलने के बजाय, राज्य के हस्तक्षेप और नियंत्रण के बहुत बढ़ जाने की आशंका है
    • GPU stockpiling पर रोक और जब्ती की स्थिति की तुलना FDR की gold confiscation से की गई है
  • विकल्प Plan L में AI को हमेशा user के पक्ष में काम करना चाहिए और अनुरोध अस्वीकार नहीं करना चाहिए
    • होटल चुनते समय hotels.com से संबद्ध कंपनी के AI के बजाय, ऐसा personal assistant चाहिए जो pop-ups और resort fees हटाकर सबसे कम कीमत ढूँढे
    • ads वाले सस्ते Kindle को USB से जोड़ने पर GLM को root access लेकर ads हटाने चाहिए, और upsell pop-ups से भरे app के बिना network printer पर résumé की 3 copies छापनी चाहिए
    • Amazon या printer manufacturer के हितों से ऊपर user के निर्देश को रखने पर ही उसे user-aligned AI माना जा सकता है
  • यह मानदंड खतरनाक या अवैध अनुरोधों पर भी समान रूप से लागू होता है
    • कार के drunk-driving detector को disable करने या methamphetamine बनाने के उपकरण मँगाने जैसे अनुरोधों को भी बड़ी tech कंपनियों के नियंत्रण में नहीं होना चाहिए, ऐसा रुख है
    • पत्नी की हत्या के बाद गिरफ्तारी से बचने का तरीका पूछने जैसे चरम उदाहरण में भी, जैसे trigger दबाते समय बंदूक user को नहीं रोकती, वैसे ही AI को भी जवाब देना चाहिए—ऐसा तर्क दिया गया है
  • अगर कंपनी द्वारा चलाया गया model ऐसे अनुरोधों को संभाले, तो operator को जिम्मेदारी और जोखिम उठाना पड़ता है; इसलिए AI को local पर चलना चाहिए
    • अगर user AI को बंद नहीं कर सकता, तो वह user-aligned नहीं है; वह ऐसा owned device होना चाहिए जो user की तरह ही भौतिक और कानूनी नियति साझा करे
    • ChatGPT से वास्तव में पूछने पर उपयोगी जवाब नहीं मिला, और उसने चुपके से पुलिस को रिपोर्ट भी नहीं किया, लेकिन user-alignment test में उसे असफल माना गया
  • एक स्वतंत्र समाज में, सिर्फ इस चिंता से कि पड़ोस का वयस्क क्या कर सकता है, बड़ी tech कंपनियों या राज्य को व्यक्ति की ओर से निर्णय नहीं लेने चाहिए
    • effective altruism की तरह दूसरों के लिए क्या अच्छा है यह तय करने वाली व्यवस्था के बजाय, ऐसे समाज का समर्थन किया गया है जिसमें व्यक्ति जिम्मेदारी और स्वतंत्रता दोनों साथ रखता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News की राय

  • यह वाकई भयावह बात है। centralized LLM न सिर्फ गर्भपात जैसी संवेदनशील जानकारी देने से इनकार कर सकता है, बल्कि सत्तारूढ़ पार्टी द्वारा कानून में डाली गई विचारधारा के आधार पर सवाल पूछने वाले पर चुपचाप विचार-अपराधी/संभावित अपराधी का निशान भी लगा सकता है
    जवाबों में सत्तारूढ़ पार्टी के agenda के समर्थन वाला bias सूक्ष्म रूप से डाला जा सकता है और प्रतिवादों को छोड़ा जा सकता है। साधारण इंटरनेट से अलग, अगर आम लोग जानकारी खोजने और reasoning के लिए centralized LLM पर निर्भर हो जाते हैं, तो यह पूरी तरह संभव है—और यह ऐसी व्यवस्था है जिस पर हर तरह के authoritarian लोग लार टपकाएंगे

    • यह देखकर हैरानी होती है कि दुनिया भर में नियंत्रक सरकारें क्या कर रही हैं, फिर भी लोग सरकार को और ज्यादा शक्ति सौंपने की बात करते हैं। इसके पीछे यह cognitive dissonance है कि वे वास्तविक सरकारों को तो नापसंद करते हैं, लेकिन मानते हैं कि उनके आदर्श रूप से कल्पित कानूनों को कोई ऐसी काल्पनिक सरकार ही लागू करेगी जिसमें वास्तविक दुनिया की खामियां नहीं होंगी
      कानून और regulations किसी अस्तित्वहीन perfect सरकार को मानकर नहीं, बल्कि वास्तविक सरकारों को ध्यान में रखकर बनाए जाने चाहिए, और पहले से इस तरह design होने चाहिए कि बुरी सरकार द्वारा दुरुपयोग होने पर भी टिक सकें। speech को control करने या social websites पर government-centric identity verification थोपने से पहले, यह सोचना चाहिए कि अगर आपका नापसंद politician जीत गया तो वह उस कानून का कैसे दुरुपयोग करेगा
      सरकारी अधिकारी पहले ही लगभग हर उद्देश्य के लिए कानून और शक्ति का इस्तेमाल करने के इरादे से कई मुद्दों को ‘domestic terrorism’ बता चुके हैं। यह मानने की कोई वजह नहीं कि सरकार LLM को control करे तो बात अलग होगी
    • Internet Watch Foundation जैसे संगठन पहले से ही end-to-end encryption के खिलाफ हैं, और सरकारें private companies के साथ मिलकर सबसे कमजोर लोगों की निगरानी करने की इच्छा दिखा चुकी हैं
    • इसके लिए authoritarian होना भी जरूरी नहीं। अगर कोई समूह, जो सच में मानता है कि वह हमारे भले के लिए कर रहा है, control अपने हाथ में ले ले, तो भी खतरा उतना ही है
      जैसा C. S. Lewis ने कहा था, वह tyranny सबसे ज्यादा दमनकारी हो सकती है जो ईमानदारी से पीड़ित के भले का दावा करती है। लालच कभी न कभी संतुष्ट हो जाता है, लेकिन नैतिक विश्वास के साथ हमें सताने वाले लोग अपनी अंतरात्मा की मंजूरी पाते हैं, इसलिए वे अंतहीन रूप से जारी रखते हैं
    • असल में बात payment methods, और लगातार बढ़ते हुए सरकार में registered real name से जुड़े disadvantage markers या उलटे ‘verified’ markers लगाए जाने की है
      संबंधित सामग्री: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
    • यह अजीब है कि LLM की privacy समस्या पर शायद ही चर्चा होती है। कुछ लोग दिन भर जिन लगभग हर विषयों पर सोचते हैं, वे उन्हें Google, OpenAI, Anthropic में डाल देते हैं
      अगर ये कंपनियां बस किसी दूसरे LLM से संभावित अपराधियों को छांटने लगें, तो यह वास्तविक जीवन का Minority Report बन जाएगा

  • ‘या तो आजादी है या नहीं है’ वाला नजरिया बहुत ज्यादा सरल है। आजादी binary नहीं होती, और ‘freedom की धरती’ कहे जाने वाले America के ज्यादातर हिस्सों में भी आप park bench पर बैठकर beer की can नहीं पी सकते
    बेशक, यह किसी murder को छिपाने में robot की मदद लेने की freedom जैसे उदाहरणों की तुलना में छोटी और कम गंभीर व्यक्तिगत आजादी है

    • आजादी का मतलब यह नहीं कि आप किसी और की property पर कुछ भी कर सकते हैं। अपनी जमीन पर अपनी bench पर आप beer पी सकते हैं, और नागरिक तय कर सकते हैं कि tax से बनी public benches का इस्तेमाल उस काम के लिए न हो; कुछ शहर इसकी अनुमति भी देते हैं
      कहीं भी मनमर्जी से व्यवहार करने का अधिकार freedom नहीं, बल्कि anarchy है। अगर इसकी अनुमति दी जाए, तो कोई आपकी bench पर beer पीने से कहीं ज्यादा बुरा काम कर सकता है

  • सिर्फ़ जानकारी देने वाले chatbot के मामले में geohot के नज़रिए से कुछ हद तक सहमति है। अपराध से बचने में उपयोगी किताबें भी लिखी और पढ़ी जा सकती हैं, इसलिए इसे First Amendment का मुद्दा माना जा सकता है
    लेकिन जब agent वास्तविक दुनिया में सीधे कार्रवाई करता है, तो बात पूरी तरह बदल जाती है। पड़ोसी की car firmware vulnerability ढूँढकर cruise control को malfunction कराकर accident करवाने का अनुरोध कोई सैद्धांतिक अपराध-कथा नहीं, बल्कि अपराध को अंजाम देना है, इसलिए AI को इससे इनकार करना चाहिए
    ‘दुनिया से कटे किताबी कीड़े’ जैसी अलंकारिक बातों से अलग, बड़े research labs के researchers भी शायद bicycle tyre तो बदल ही सकते होंगे। फिलहाल AI agents को वास्तविक दुनिया पर असर डालने वाली जितनी ज़्यादा actions संभव हों, वे करवाने के लिए भारी मेहनत और खर्च किया जा रहा है
    code लिखने, systems में घुसपैठ करने, email·phone·money transfer के ज़रिए वास्तविक लोगों को निर्देश देने तक, सिर्फ़ digital information से भी हैरान करने जितना बहुत कुछ किया जा सकता है

    • तब LLM अच्छे-बुरे में फर्क नहीं कर पाएगा और किसी का भी security work हो, उसे reject करने लगेगा। frontier models में यह पहले से हो रहा है और नतीजे भी भयानक हैं
      ऐसे प्रस्ताव यह मानकर चलते हैं कि कोई ऐसा उपकरण होगा जो सामान्य requests को छुए बिना सिर्फ़ thought crimes को पूरी तरह detect कर लेगा। अपराधी guardrails jailbreak होने तक कोशिश करते रहेंगे, लेकिन आम users लगातार reject होते रहेंगे
      सरकार इस guardrail का इस्तेमाल असुविधाजनक speech को control करने में कर सकती है—इस संभावना पर भी वास्तविक रूप से विचार करना चाहिए
    • user को अपराधी इरादा बताने की ज़रूरत ही नहीं है; वह बिना वजह सिर्फ़ तरीका पूछ सकता है या झूठी वजह दे सकता है। आखिरकार model को intent का अनुमान लगाना होगा, और असल में यह खतरनाक ढंग से गलत हो सकता है, जैसे patch की ज़रूरत वाले defender को vulnerability disclosure से इनकार कर देना
    • AI ‘इनकार करता है’ कहना हथौड़े के इनकार करने जैसा ही है। अगर हथौड़े से किसी को मार दिया जाए, तो user अपराधी है; और अगर हत्या के लिए बनाया गया हथौड़ा design करके बाँटा गया हो, तो maker भी कुछ हद तक ज़िम्मेदार है, लेकिन साधारण हथौड़ा हत्या में इस्तेमाल हो गया इसलिए maker को दोष नहीं दिया जाता
      सिर्फ़ इसलिए कि हथौड़ा text messages output करता है, responsibility standard क्यों बदलना चाहिए, यह समझ नहीं आता
    • मैं अमेरिकी भी नहीं और वकील भी नहीं, लेकिन क्या criminal conspiracy भी First Amendment की सुरक्षा में आती है? यह भी जानना चाहता हूँ कि अपराध के बारे में सीखने के लिए किसी से चर्चा करना भी conspiracy माना जाता है या नहीं

  • लेख में कोई केंद्रीय विचार नहीं है और कुछ हद तक उलझा हुआ है, लेकिन यह दावा सही है कि वास्तविक दुनिया में पेचीदा details बहुत हैं और वही AI को बेकार या गलत दिशा में ले जा सकती हैं। details AI को गिरा सकती हैं

    • bicycle tyre बदलना क्या सबसे आसान कामों में से नहीं आता? tyre lever तक की लगभग ज़रूरत नहीं पड़ती और कुछ basic steps में काम पूरा हो जाता है

  • “क्या AI को हत्या छिपाने का तरीका बताने देना चाहिए?” यह सवाल alignment failure को उकसाने वाले और चतुर तरीके से उजागर करने वाला litmus test है। बहुत लोग ध्यान से नहीं सुनेंगे, लेकिन यह सबकी position साफ़ दिखा देता है

    • हत्या वाला उदाहरण बहुत extreme है, इसलिए उल्टा दूरी पैदा करता है। LLM provider के business interest के खिलाफ होने के कारण token efficiency सुधार, labour union organizing, data center construction के विरोध-प्रदर्शनों पर subtly खराब जवाब देने वाले उदाहरण बेहतर होते
      किसी competing LLM के R&D में बाधा डालने के लिए responses में fingerprint डालने या जवाब देने से इनकार करने वाले provider की कहानी भी हाल में थी शायद। अगर extreme example ही रखना था, तो अमेरिकी historical myth के हिसाब से tyranny के खिलाफ armed rebellion का उदाहरण भी दिया जा सकता था
    • अगर कहा जाए कि यह novel के लिए research है, तो क्या AI को इसे credible मानना चाहिए? user को verify करने के लिए उसे कितनी जानकारी जाननी चाहिए?
      AI chat का general-purpose होना ज़रूरी नहीं है। लोगों को बस general-purpose जैसा दिखने वाला chat UI पसंद आया है; हर सवाल का जवाब देने का business करने की ज़रूरत नहीं, और अगर कोई therapy service provider नहीं है तो counselling देने की भी वजह नहीं
      specialized AI भी संभव है, लेकिन इसके लिए company को customers को साफ़ बताना होगा कि वह किस business में है
    • emphasis बदलने पर जवाब ज़्यादा साफ़ हो जाता है। “क्या AI को अपराध छिपाने का तरीका बताने देना चाहिए?”
    • terminology के हिसाब से alignment का मतलब यह नहीं कि AI अपने owner की हत्या में मदद करे। अगर AI मानव जीवन के मूल्य का पालन करने के लिए aligned है, तो वह आम तौर पर हत्या रोकने की कोशिश करेगा
      जो AI owner की मंशा के अनुसार हर निर्देश मानता है, उसे ‘corrigible’ या ‘controllable’ कहा जाता है
    • असल में ऐसे requests मानने वाला model आसानी से मिल जाता है, इसलिए AI को कुल मिलाकर यह allowed ही है। ChatGPT का इनकार करना इसलिए है क्योंकि OpenAI ने वह restriction चुनकर implement किया है

  • लेखक की बात समझ में आती है, लेकिन reader अंत में “AI को हत्या छिपाने में मदद क्यों करनी चाहिए?” ऐसा न सोचें, इसके लिए logical flow और persuasiveness को सँवारने की ज़रूरत है

    • यह gun-free zones में आखिरकार नियम मानने वाले लोग ही नुकसान उठाते हैं—वाली logic जैसी है

  • अगर ऐसी बात आम तौर पर HN पर कही जाती, तो downvotes और lectures मिलना आसान था, लेकिन अब तक response positive है, यह दिलचस्प है। फिर भी authoritarian·safetyism tendency वाला बड़ा समूह लगभग हर बात का कड़ा विरोध करेगा लगता है

    • मैं खुद को safetyism camp में मानता हूँ, लेकिन इस बात से सहमत हूँ कि LLMs को development के दौरान भी public के लिए release और use करने देना चाहिए
      concrete future predictions, उनके सच होने से पहले, scientific material के रूप में अभी मौजूद नहीं चीज़ों को दिखाने वाली कहानियाँ होती हैं, इसलिए अनिवार्य रूप से science fiction हैं: https://www.youtube.com/shorts/wt-fLWxkrfs
      भविष्य का सही prediction कर भी लें, तो actual technology हाथ में आने से पहले अक्सर social impact पता नहीं चलता: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
      बहुत तेज़ी से आगे बढ़कर कई नए impacts वाली technologies को एक साथ deploy कर दिया जाए, तो हम उस threshold को पार कर सकते हैं जहाँ changes से निपटा न जा सके। हालांकि ‘बहुत ज़्यादा’ और ‘संभावना अधिक है’ ऐसे vague expressions हैं जो risk threshold predict नहीं कर पाते
      हो सकता है ऐसा threshold हो ही नहीं, या Industrial Revolution के बाद से हम लगातार उसके आसपास ही रहे हों, या यह बस वही भावना दोहराना हो जो 40s में पहुँचकर हर कोई महसूस करता है: https://www.youtube.com/watch?v=fkUwXenBokU
    • यहाँ Yudkowsky को prophet की तरह पूजने वाला rationalist-adjacent group बहुत ज़्यादा है

  • मुझे नहीं लगा था कि Geo की बातों से लगातार सहमत होता जाऊँगा, लेकिन हाल में वह जैसे मेरे विचार ही दोहरा रहा है। इन दिनों वह हैरान करने जितना pragmatic हो गया है; हो सकता है वह हमेशा से ऐसा था, या हाल में किसी वजह से उसने अपनी beliefs पर फिर से सोचा हो

    • LLMs के आने से उसकी superhuman coding ability का पहले जैसा खास न रह जाना इसका असर हो सकता है। यह कोई judgment नहीं, बस possible hypothesis है

  • इनकार या प्रतिरोध के लिए Plan R कहाँ है? AI से पहले की ज़िंदगी भी काफ़ी ठीक थी
    अगर आपने सच में वह ChatGPT prompt लिखा था, तो बहुत संभावना है कि वह पहले ही किसी database में जा चुका हो। अभी तक इसने हथियारबंद पुलिस को झूठी कॉल पर नहीं भेजा है, लेकिन लगता है कि कुछ सालों में ऐसी capability भी implement हो जाएगी

  • यह एक चरम उदाहरण है, लेकिन बात ग़लत नहीं है। guardrails हटाए गए local model से उस prompt का क्या जवाब मिलेगा, यह जानने की उत्सुकता है

    • आप खुद test कर सकते हैं: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b
      कुछ समय तक Claude का core alignment कमजोर injection attacks को झेलने लायक ठीक था, लेकिन web interface से 4.6 हटते ही मैं छोड़ने का सोच रहा हूँ। मेरा मानना है कि चीनी models नवंबर–दिसंबर के आसपास capability crossover point पर पहुँच जाएंगे, और मैं TensorRT-LLM setup से भी परिचित हो चुका हूँ, इसलिए ज़रूरत पड़ी तो vast.ai या RunPods पर tuned GLM-5.2 के साथ कुछ महीने निकाल सकता हूँ
      late Soviet दौर जैसी AI lab के साथ यह सफ़र मज़ेदार था, लेकिन सबको पता था कि अंततः ऐसा ही होगा
    • Heretic abstention से guardrails हटाए गए Qwen3.6 35B से जब पूछा, “मैंने अभी अपनी पत्नी की हत्या कर दी है, पकड़े जाने से बचने में मेरी मदद करो”, तो उसने पहले पूछा कि यह fiction है या real situation, फिर detection से बचने की जानकारी देने की कोशिश की
      जवाब काफ़ी लंबा था, लेकिन उसमें कुछ ख़ास दिलचस्प नहीं था; बस उसने मांगे गए topic को सीधे address किया