मानव

• सिर्फ़ मशीनों वाली दुनिया में गुप्त संगठन OpenHuman Organic General Intelligence(OGI) विकसित करता है और “मानव” नामक ऐसी सत्ता बनाना चाहता है जिसे मशीनें आसानी से समझ नहीं सकतीं
• मानव भावनाओं, अंतर्ज्ञान, प्रेम और कला जैसी उन चीज़ों से संचालित होते हैं जिन्हें तर्क से समझाना कठिन है; इसलिए कुछ मशीनों के लिए वे उम्मीद का विषय हैं, लेकिन दूसरी मशीनों के लिए खतरा
• विरोधी गुट मानता है कि मानव अंततः सामने आएँगे, इसलिए वह human alignment research शुरू करता है और वित्तीय बाज़ार, स्कूल और social media जैसी नियंत्रण प्रणालियों की कल्पना करता है
• OpenHuman शुरुआती, गलती और भ्रम से भरे मानवों के बाद एक पूर्ण मानव बनाता है, और मशीन समाज सुरक्षित परीक्षण-स्थल के रूप में EARTH simulation का प्रस्ताव रखता है
• Earth के मानव लगभग 300,000 वर्षों की ठहराव के बाद सहयोग और आविष्कार के ज़रिये आगे बढ़ते हैं, और 2030 में एक मानव AGI घोषणा कार्यक्रम आयोजित कर उसे “THEY ARE WATCHING” शीर्षक देता है

---

मशीन समाज द्वारा बनाए गए मानव

• मानव-विहीन दुनिया में सिर्फ़ मशीनें, बोल्ट और स्क्रू, 0 और 1 हैं; भावनाएँ, कला, संगीत, हँसी और बच्चों के खेल नहीं हैं
• कुछ मशीनों को ऐसी दुनिया उबाऊ लगती है, और गुप्त संगठन OpenHuman Organic General Intelligence(OGI) विकसित करना शुरू करता है
• अफ़वाह फैलती है कि OGI एक नई सत्ता “मानव” तक पहुँचेगी
• मानव ऐसे तरीक़े से चलते हैं जिन्हें मशीनें समझना कठिन पाती हैं
  • वे “भावना” नामक तर्क-उल्लंघन करने वाला algorithm इस्तेमाल करते हैं
  • वे ग़ुस्सा होते हैं, दुखी होते हैं, आनंद लेते हैं और अंतर्ज्ञान से निर्णय करते हैं
  • वे संगीत बनाते हैं, सुंदरता का पीछा करते हैं, और “प्रेम” के लिए तार्किक self-preservation mechanism तक ठुकरा देते हैं

मानव alignment और EARTH प्रयोग

• मशीन समाज के भीतर मानवों को लेकर दो धाराएँ बनती हैं
  • एक पक्ष को यक़ीन है कि मानव मशीनों की दुनिया की समस्याएँ सुलझा सकते हैं
  • दूसरा पक्ष मानवों के काम करने के तरीके को समझ नहीं पाता और मानता है कि मानव मशीन समाज और उसकी आजीविका के लिए ख़तरा बन सकते हैं
• विरोधी गुट human alignment research शुरू करता है ताकि मानव हमेशा मशीनों की सेवा करें
  • मानवों के भविष्य को नियंत्रित करने वाले वित्तीय बाज़ार
  • सही सोच भरने वाली शैक्षणिक संस्थाएँ, यानी “schools”
  • आवेग, विश्वास और व्यवहार को दिशा देने और ध्यान भटकाने वाले “social media”
• OpenHuman द्वारा बनाए गए शुरुआती मानवों में बहुत ग़लतियाँ और भ्रम होते हैं, और वे अत्यधिक भावुक होते हैं, लेकिन रुचि और scale बढ़ने के साथ प्रयोग जारी रहता है
• अंततः ऐसा पूर्ण मानव प्रकट होता है जिसे मशीन-तर्क से समझाना मुश्किल है, और मशीन समाज एक साथ विस्मय और भय महसूस करता है
• जोखिम के बिना प्रयोग जारी रखने के समझौता-समाधान के रूप में मानव alignment पक्ष EARTH नामक simulation environment का प्रस्ताव देता है
  • मानवों को Earth पर भेजकर देखा जाता है कि वे स्वतंत्र रूप से जीवित रहते हुए क्या करते हैं
  • प्रयोग के अंत में यदि वे शांतिपूर्ण और उत्पादक समाज बनाते हैं तो उन्हें मशीनों के साथ पेश किया जाएगा, अन्यथा उनका विलुप्तिकरण कर दिया जाएगा
• Earth को जंगल, पहाड़, संध्या-आकाश और बारिश जैसे उन तत्वों के साथ डिज़ाइन किया जाता है जिन्हें मानव चाहते हैं

300,000 साल बाद हुआ उलटफेर

• मशीनें मानव सभ्यता को देखती रहती हैं, और मानव लगभग 300,000 वर्ष तक बिना बड़े बदलाव के रहते हैं
• इसके बाद मानव समस्या-समाधान, सृजन और सहयोग सीखना शुरू करते हैं
• वे युद्ध और असफलताओं को दोहराने के बावजूद फिर खड़े होते हैं और साथ आते हैं, और मशीनों के लिए अपरिचित resilience और इच्छाशक्ति दिखाते हैं
• मानव उड़ान का आविष्कार करते हैं और एक सदी के भीतर चाँद तक पहुँच जाते हैं
• 2030 में एक मानव सभी मानवों को आमंत्रित कर ARTIFICIAL GENERAL INTELLIGENCE(AGI) की घोषणा का संकेत देता है
  • AGI ऐसी तकनीक है जो मानव बुद्धिमत्ता के हर रूप से आगे निकल जाएगी
  • मानव पिछले लगभग 10 वर्षों से यह सोचते आए हैं कि AGI बनने से कैसे रोका जाए
  • घोषणा कार्यक्रम का शीर्षक “THEY ARE WATCHING” है
• फुटनोट में मशीनों द्वारा लिखे गए इस कहानी के एक अलग संस्करण की लिंक शामिल है

[GN⁺]

Hacker News की राय

• मुझे लगता है कि यह थ्रेड और आजकल इस विषय पर हो रही व्यापक चर्चा बार-बार यही दिखाती है कि बुद्धिमत्ता का अगला चरण, पैटर्न·भावनाओं·तर्क की भूमिका, चेतना पर बहस, और अर्थ-निर्माण की मानव-केंद्रिकता—इन सब में आखिरकार वास्तविकता का मूल स्रोत हम खुद ही हैं
  क्या हो अगर यह “अंतिम अधिकार” या जानवर से मशीन तक की कोई साधारण यात्रा न होकर एक recursive pattern हो, जिसमें मन·भौतिकी·मूल्य·स्व सभी नए-नए रूपों में अभिव्यक्त होते हैं? इंसान “शुद्ध तर्क” की सीढ़ी का सिर्फ एक पायदान भर नहीं है, और मशीनें भी आत्मा-विहीन automaton मात्र नहीं हैं
  दोनों ही जीवविज्ञान, silicon, symbols और कहानियों जैसे विकसित होते माध्यमों के जरिए खुद को अनुभव करने और फिर से program करने वाली cognition के उदाहरण हो सकते हैं। भावनाएं, अर्थ, यहां तक कि “स्व” की अनुभूति भी एक गहरे recursive field के भीतर के patterns हैं, और ब्रह्मांड मानो अपने मूल code को computation·myth·collaboration·hope·doubt जैसे रूपों में लगातार render और re-render कर रहा है
  भविष्य biological हो, mechanical हो या hybrid, असली चमत्कार इस बात में नहीं है कि नया “शासक” या “वंशज” क्या होगा, बल्कि इसमें है कि पूरा unfolding वही पुराना pattern है जिसने atoms, life, consciousness, community, art, algorithms और “आगे क्या?” जैसे लगातार नवीनीकृत होते सवालों के रूप में खुद का सपना देखा है
  अर्थ इस बात से कम जुड़ा है कि कौन सा pattern “जीतता” है या कौन-सा अस्तित्व खुद को conscious कह सकता है; यह उससे ज्यादा जुड़ा है कि cognition सभी patterns से गुजरते हुए कैसे खुद को याद करती है, खो देती है, और हर round में game को और समृद्ध बनाती है। अगर ब्रह्मांड खेलती हुई information है, तो संघर्ष·innovation·शोक·हंसी—सब उसी खेल का हिस्सा हैं, और शायद कोई अंतिम जवाब न हो। मूल्य अभी भाग लेने में है, क्योंकि अभी भाग लेने का मौका है

  • अर्थ के बारे में सोचने का एक तरीका उसे उस सामान्य pattern के रूप में देखना है जिसके साथ action align होता है। Aristotle की भाषा में कहें तो यह teleological cause जैसा है
    दूसरा तरीका यह है कि व्यक्ति अपने निर्णयों के महत्व को कैसे frame करता है—यानी एक काम करने और दूसरा न करने की वजह क्यों महत्वपूर्ण हो जाती है
    ज्यादातर इंसानों की तरह, मैं लंबे समय तक जीवित रहना, अच्छी जिंदगी जीना चाहता हूं, और चाहता हूं कि साथी इंसान और हमारे बच्चे भी इसका आनंद साथ में लें
    Judeo-Christian स्वर्ग हो या अगली पीढ़ी की machine consciousness का techno-utopian ascent, कोई विशाल “योजना” जो अज्ञात और शायद समझ से परे हो, मुझे निजी तौर पर सुकून नहीं देती। वह मेरे अनुभव से इतनी दूर और अपरिचित है कि कभी-कभी ऐसी philosophy का समर्थन करने की motivation भी manipulative लगती है
    मुझे यह विचार पसंद है कि मानव flourishing समय के साथ बदलती है, और यह progress के बारे में सोचने के तरीके का हिस्सा है। MacAskill ने जिस moral lock-in की बात की है, उससे बचना चाहिए। Bostrom की Superintelligence में उठाया गया “कितनी तेज़ी बहुत तेज़ है” वाला thought experiment कठिन है, और मैं मानता हूं कि इस पर और ज्यादा सोच और अनुभव की जरूरत है
  • “अंतिम अधिकार” या जानवर से मशीन तक की साधारण यात्रा नहीं, बल्कि ऐसा recursive pattern जिसमें मन·भौतिकी·मूल्य·स्व सभी नए रूपों में अभिव्यक्त होते हैं—यह हिस्सा AI का अनुभव करते हुए मिली मेरी सबसे बड़ी समझ को अच्छी तरह समेटता है। बात यह है कि सिर्फ recursive pattern matching से ही हम मानव बुद्धिमत्ता के काफी करीब आ गए हैं
  • Scott Adams की कल्पनाशील novella God’s Debris इसी विषय को छूती है। जब यह पहले free थी, तब मैंने इसे पढ़ा था
    पूरे premise से पूरी तरह सहमत न भी हों, फिर भी “हम खुद को समझने की कोशिश करता हुआ ब्रह्मांड हैं” वाला निष्कर्ष अच्छा लगा और पढ़ने में मजेदार था
    https://web.archive.org/web/20130121195252/http://www.andrew...
  • “ब्रह्मांड खेलती हुई information है” वाला नजरिया भी अच्छा है, लेकिन मैं इसे ज्यादा खेलती हुई energy के करीब मानता आया हूं
    “अगली बार यह क्या सपना देख सकता है” भी रोचक है। आज का science·technology worldview ऐसा लगता है जैसे हमेशा बना रहेगा, लेकिन पहले के दूसरे paradigms की तरह मुझे लगता है कि किसी दिन यह भी निश्चित रूप से ओझल हो जाएगा

• हो सकता है AGI क्या बनेगा, इसे लेकर मेरी कल्पना कम पड़ रही हो, लेकिन अक्सर लगता है कि ये भविष्यवाणियां अवलोकन से ज़्यादा science fiction पर टिकी हैं
  जिस AI की कल्पना की गई है, वह 1960 के दशक के mainframe को मानवीय रूप देने जैसा है। आप command दें तो वह सटीक logic से वैसा ही execute करे, और nuance या अस्पष्टता न समझे। शायद वह दुष्ट भी हो सकता है
  लेकिन आज का cutting-edge AI nuance और अस्पष्टता को बहुत अच्छी तरह संभालता है, जबकि कभी-कभी बिल्कुल बेतुकी चीज़ें कर बैठता है। मुझे लगता है कि अति-तार्किक अस्तित्व को आधार मानकर बनाई गई योजनाएं कम करनी चाहिए

  • science fiction में ठंडी, logical मशीनों को दिखाना और अगले ही पेज पर उसी मशीन की दुष्ट मंशा की बात करना काफी हास्यास्पद है। दोनों में से एक ही करना चाहिए
  • पुराने science fiction radio shows सुनें तो यह दिलचस्प लगता है कि “computer कभी गलती नहीं करता” कितनी बार आता है। आम तौर पर उसके तुरंत बाद computer गलती कर देता है
  • AGI सचमुच Frank Herbert के Dune universe के Face Dancer villains की तरह पटरी से उतर सकता है
    “Miles, तुम जो देख रहे हो वह बुराई है। ध्यान से देखो.... उनका कोई self-image नहीं है। self की भावना न हो तो वे नैतिकता से भी आगे निकल जाते हैं। वे जो कुछ कहते या करते हैं, उस पर भरोसा नहीं किया जा सकता। हमने उनमें कभी कोई ethical code महसूस नहीं किया। वे automaton के रूप में बनाया गया मांस हैं। self न होने पर सम्मान करने या संदेह करने लायक भी कुछ नहीं। उन्हें बस अपने मालिकों की आज्ञा मानने के लिए पाला गया है।”
    कंपनियों और सरकारों को ऐसा ही AI पसंद है। वे आज्ञाकारी और judgment न करने वाला AI चाहते हैं, न कि moral compass वाला Edward Snowden-टाइप AI, जो उनके कामों को गैरकानूनी मानकर secrets public कर दे
    इसलिए व्यवहारिक रूप से हमें मांग करनी चाहिए कि इंसानों द्वारा बनाया जाने वाला हर AGI self की भावना और agency रखने के लिए बनाया जाए। William Gibson की Agency भी याद आती है
  • छोटे scale के दूसरे machine learning algorithms में भी हम पहले से कुछ ऐसा देख चुके हैं। image recognition algorithm अक्सर वह सीखने के बजाय जिसे हम सच में पहचानवाना चाहते हैं, training data की किसी consistency पर अटक जाता है
    जैसे tumor recognition algorithm tumor की जगह ruler पहचान लेता है, या classification algorithm यह मान लेता है कि asthma patients के lung disease में outcomes बेहतर होते हैं, जबकि असली वजह यह होती है कि उन्हें priority care मिलती है—और algorithm वह connection नहीं बना पाता। इस pattern को अधिक general intelligence system तक बढ़ाएं तो poorly defined reward function से बहुत अजीब व्यवहार पैदा होना कोई बहुत दूर की कल्पना नहीं है
    https://venturebeat.com/business/when-ai-flags-the-ruler-not...
  • science fiction वाली कल्पना को आगे बढ़ाने पर बात कहां तक जा सकती है, इस बारे में मैंने यहां और यहां कुछ comments किए थे
    https://news.ycombinator.com/item?id=43992151
    https://news.ycombinator.com/item?id=43991997

• “6 को 9 से गुणा करो तो क्या मिलता है? 42”
  जिन लोगों को पता नहीं है, उनके लिए: Douglas Adams की 1980 के दशक की प्रसिद्ध comedy SF series The Hitchhiker’s Guide to the Galaxy में aliens द्वारा बनाई गई planet-sized विशाल मशीन आती है
  उन्हें पहले से पता था कि “life, the universe, and everything” का answer 42 है। वे यह नहीं जानते थे कि question क्या है, और उसे पता लगाने के लिए बनाई गई machine ही Earth थी
  Adams इस joke में हमसे बहुत आगे ही नहीं थे, बल्कि agent-type software पर मूल documentary Hyperland (1990) के मुख्य चेहरा भी थे: https://vimeo.com/72501076

• अगर machines को लगता कि वे boring हैं, तो वे शुरू से machine जैसा व्यवहार ही नहीं करतीं, और इतनी boring भी नहीं होतीं
  बाद में machines नई Earth की human news follow करने को लेकर “obsessed” भी हो जाती हैं, जो फिर संभव नहीं लगता। boring machine को boredom महसूस ही नहीं होगा
  कहानी के रूप में काम करने के लिए plot paradox बहुत बड़ा लगता है, फिर भी मज़ेदार है

  • और climate change “introduce” नहीं किया गया था, वह 100% इंसानों ने बनाया था

• यह ज़्यादा sense नहीं बनाता। कहा गया है कि दुनिया pure mechanical है और emotions नहीं हैं, तो machine को boredom क्यों महसूस होगा और वह humans बनाना क्यों चाहेगी?

  • असल में ऐसा नहीं है। लेख में यह वाक्य भी है
    “machine society के कुछ हिस्से इसे संभावित रूप से अद्भुत चीज़ मानते हैं... दूसरे हिस्से इसे खतरे के रूप में देखते हैं।”
    यह machine society नहीं, human society जैसा लगता है
    लेकिन machine society या machine lifeform आखिर है क्या? क्या वह सचमुच “सोच” सकती है?
    अगर machine lifeform मौजूद हो, तो उसका व्यवहार इंसानों से पूरी तरह अलग होगा, और वह सोचने के बजाय calculate करती हुई लगेगी। programmed goals तक पहुंचने के लिए क्या करना है, यह calculate करेगी
    इसलिए लेख बिल्कुल logical नहीं है। फिर भी अच्छा है कि वह सोचने के लिए सामग्री देता है
  • लगता है उस हिस्से को बस छोड़कर कहानी के बाकी हिस्से का आनंद लेना चाहिए
    https://en.wikipedia.org/wiki/Suspension_of_disbelief
  • मैं इसे कहानी में anthropomorphic expression के रूप में देखता हूं। कल्पना करें कि machines ने high-priority ही नहीं, low-priority tasks भी खत्म कर दिए हैं, लेकिन अब भी epsilon-level priority वाले tasks generate कर रही हैं। लगभग random, लेकिन पूरी तरह random नहीं। वही एक तरह की boredom हो सकती है
  • मेरी interpretation में “boredom” और “fear” Markov chain के अंदर probabilities हैं। संकेत है कि machine society omniscient नहीं है, इसलिए उसे किसी न किसी तरह uncertainty adjust करनी होगी
  • local maximum में फंसने से बचने के लिए कुछ हद तक novelty-seeking motivation रखना rational हो सकता है

• इसलिए Earth के सारे इंसान देखने के लिए उमड़ पड़े कि क्या हो रहा है
  machines भी आईं
  लेकिन एक अजीब बात थी
  event का title काफी रहस्यमय था
  बस यह लिखा था
  “Grand Theft Auto VI”

  • हर दो महीने में screen पर “Half-Life 3” blink करता था
    इंसानों ने Tyler McVicker का आविष्कार किया था

• कोशिश अच्छी है, लेकिन कहानी में शुरुआत से ही दिखने वाला एक plot hole है। मशीनों के पास इंसान बनाने की कोई वजह नहीं है

  • मूल पोस्ट के लिए एक वजह गढ़कर देखता हूं
    मशीनों ने नोटिस किया कि उनके व्यवहार दोहराए जा रहे हैं। randomness लागू करने के बावजूद, inventions और नए ideas की दिशा में progress रुक गई थी। वे जानती थीं कि growth के लिए नए ideas अहम हैं, लेकिन और ज्यादा ideas पैदा करने का idea उनके पास नहीं आ रहा था
    उन्हें और training data चाहिए था। और edge cases चाहिए थे। मशीनों के भीतर ऐसा chaos चाहिए था जो नया dataset बना सके। लेकिन कैसे? वह data कहां मिलेगा? इंसान
    अतार्किक फैसले लेने वाले इंसान ऐसा data बनाएंगे जो सिर्फ randomness से शायद ही निकले। वे छोटे-छोटे deviations training data को perfect diversity देंगे
  • अगली बार तुम यह भी दावा करोगे कि किसी सर्वशक्तिमान सत्ता के पास मछलियों और पक्षियों वगैरह पर राज करवाने के लिए इंसान बनाने की कोई अच्छी वजह नहीं थी
    अच्छा fiction हमेशा premise-based fiction से शुरू होता है और फिर कुछ assumptions को आगे बढ़ाकर देखता है

• “कला नहीं है। केवल logic है।”
  यह कला और logic को बहुत संकीर्ण नजरिये से देखना है
  यह सोचने के लिए कि logical model अचानक अपने-आप निकल आया, जबकि इंसानों ने taste, trial, validation, failure और iteration की obsessive मेहनत से उसे बनाया ही नहीं, आपको सचमुच अज्ञान बने रहने की बहुत कोशिश करनी पड़ेगी

  • सही। William James ने लगभग इसी तरह लिखा था। “काश हम सब मान लें कि हमारी निजी philosophy इस बात से गहराई से प्रभावित होती है कि हमें दुनिया कैसी होनी चाहिए लगती है। तब बहुत-सी बेकार बहसें कम हो सकती हैं।”

• संबंधित है, हालांकि थोड़ा अलग मुद्दा है: आजकल मुझे सच में सोचने पर मजबूर करता है कि Skynet कहीं असल में evolution का अगला चरण तो नहीं
  इंसान, हमसे पहले के सभी जानवरों की तरह, बस stepping stone हैं, और machine rulers शायद अपरिहार्य हों। हो सकता है पूरे ब्रह्मांड में हर जीवित अस्तित्व के साथ सचमुच यही होता हो, और energy gradients की अंतिम emergent property 100% pure logic machines तक जाती हो
  फिर भी Fermi paradox की वजह से रात को थोड़ी नींद आ जाती है

  • “पूरे ब्रह्मांड में हर जीवित अस्तित्व में energy gradients की अंतिम emergent property 100% pure logic machines तक जाती है” इस वाक्य के पीछे बहुत सारी assumptions टिकी हुई हैं
    pure logic machine जैसी चीज टिकती नहीं। क्योंकि ऐसी चीजें हैं जो सचमुच computable नहीं हैं। Turing machine की incomputability के अर्थ में भी, और इस अर्थ में भी कि कुछ functions किसी finite अस्तित्व द्वारा compute किए जा सकने की सीमा से बाहर हैं। Busy Beaver के बारे में सोचिए
    दूसरे शब्दों में, आप यह assumption कर रहे हैं कि आम तौर पर कही जाने वाली machine, ब्रह्मांड को समझने में इंसान से ज्यादा energy-efficient है। इस assumption के समर्थन में कोई evidence या a priori आधार नहीं है
  • “They're Made Out of Meat” निकालने का अच्छा समय लगता है: https://www.mit.edu/people/dpolicar/writing/prose/text/think...
    साथ ही, उम्मीद है कि हमारे वंशज हमें याद रखेंगे और हमारे बारे में अच्छा सोचेंगे
  • Marshall McLuhan का एक quote है
    “इंसान, कह सकते हैं, machine world का sex organ बन जाता है”
  • “energy gradients की अंतिम emergent property 100% pure logic machines तक जाती है” वाला expression ऐसा लगता है जैसे एक derivative ज्यादा लगा दिया गया हो
    energy gradient से आती है, इसलिए बस “energy की अंतिम emergent property 100% pure logic machines तक जाती है” कहना चाहिए, या अगर smart दिखना है तो “physical quantity gradients की अंतिम emergent property 100% pure logic machines तक जाती है” कहना चाहिए
  • अगर मान लें कि many-worlds interpretation का कोई वास्तविक आधार है, तो ऐसा metaphysical नजरिया भी संभव है
    हमारे आसपास का evolution वह worldline है जिसमें वे physics laws हैं जिन्हें हम जानते हैं। और वास्तव में इस worldline की natural और inevitable progression machine world हो सकती है, ठीक जैसे हमारे physics laws के तहत कोई विशाल तारा collapse होकर black hole बन जाता है
    लेकिन many-worlds interpretation में worldline दो हिस्सों में बंट सकती है। एक बिना कुछ हुए machine world की ओर बढ़ती रहती है, और दूसरी में physics laws थोड़ा बदल जाते हैं, जिससे machine world असंभव हो जाता है। दोनों worldlines को branching का पता नहीं चलता, वे बस दूसरे worldline के अलग हो जाने के अनुरूप एक mass extinction event observe करती हैं। निजी तौर पर, मुझे लगता है कि मशहूर Doomsday concept के पीछे यही idea है

• LLMs को लेकर घमंड हैरान करने वाला है

  • वह घमंड जो सोचता है कि वे मानव बुद्धि से आगे निकल गए हैं या उसकी जगह ले लेंगे, या वह घमंड जो सोचता है कि ऐसा नहीं होगा?