सालाना $12,000 पर रहते हुए AI की दिशा का अनुमान लगाने वाले गुमनाम लेखक Gwern का इंटरव्यू

 (dwarkeshpatel.com)
1 पॉइंट द्वारा GN⁺ 2024-11-15 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • गुमनाम इंटरनेट शोधकर्ता और लेखक Gwern Branwen को ऐसे व्यक्ति के रूप में पेश किया गया है जिन्होंने 2020 के आसपास कई AI टिप्पणीकारों से छूट गई LLM scaling की लहर को जल्दी अपना लिया था
  • वे मानते हैं कि गुमनामी सिर्फ प्रतिशोध से बचने से आगे जाकर पाठक को लेखक को किसी तय पहचान या niche में बंद कर तुरंत नज़रअंदाज़ करने से रोकती है, और इस तरह कम-से-कम पढ़े जाने का मौका बनाती है
  • उनका मानना है कि enterprise automation CEO से नीचे आने के बजाय निचले कामों से ऊपर की ओर बढ़ने वाले bottom-up pressure से ज्यादा संचालित होगी, और मानव executive द्वारा AI संगठन की दीर्घकालिक choices संभालना अधिक realistic संरचना है
  • Gwern बुद्धिमत्ता को Turing machine search के रूप में देखते हैं, और GPT-1·GPT-2·GPT-3, 2017 Baidu scaling laws paper, AlphaZero, BigGAN के जरिए compute·data·trial and error की शक्ति पर जोर देते हैं
  • अगर माना जाए कि AGI कुछ वर्षों में आ रही है, तो सभी projects को खुद खत्म करने से ज्यादा अहम यह हो जाता है कि preferences·desires·evaluation·judgment जैसी वे चीजें दर्ज की जाएं जिन्हें AI आपकी जगह तय नहीं कर सकती, ताकि वे भविष्य के execution की सामग्री बन सकें

गुमनामी, अवतार, automated संगठन

  • इंटरव्यू आमने-सामने record किया गया था, लेकिन Gwern की गुमनामी बचाने के लिए avatar का उपयोग किया गया
    • वीडियो में चेहरा और आवाज़ असली नहीं हैं; सिर्फ कही गई बातें Gwern की हैं
  • गुमनामी का कम आंका गया फायदा यह है कि यह पाठक के लिए लेखक को किसी खास identity या niche में डालकर पहले से ही ignore कर देना मुश्किल बनाती है
    • प्रतिशोध से बचाने का असर भी है, लेकिन Gwern इस बात को ज्यादा अहम मानते हैं कि context की वजह से तुरंत exclude हुए बिना कम-से-कम पढ़े जाने का मौका मिलता है
    • घर पर heroin भेजे जाने या SWAT report का शिकार होने से बचना भी वे फायदा मानते हैं
  • उनका मानना है कि enterprise automation में CEO को पहले replace करने वाले top-down तरीके की तुलना में workers और lower-level tasks से ऊपर आने वाला bottom-up pressure ज्यादा मजबूत होगा
    • मौजूदा organizations में नीचे के roles को replace कर धीरे-धीरे ऊपर जाना ज्यादा आसानी से स्वीकार्य होगा
    • आखिरकार वे एक ऐसे रूप की कल्पना करते हैं जिसमें human executives AI से बनी company की निगरानी करेंगे
  • reinforcement learning के नजरिए से, AI की तुलना में humans जिस हिस्से में बेहतर हो सकते हैं वह long-term vision, नई long-term strategies, और opportunities पकड़ना हो सकता है
    • एक संरचना संभव है जिसमें human CEO vision देता है, AI organization proposals और execution संभालती है, और human CEO उनमें से चुनाव करता है
    • वे मानते हैं कि ऐसी human-led companies, पूरी तरह AI-only companies की तुलना में long term में बेहतर choices कर सकती हैं
  • Gwern अपने काम में आखिर तक बचने वाली human role को भी Steve Jobs-style choice के करीब देखते हैं
    • वे कल्पना करते हैं कि जब AI minions essays लेकर आएंगे, तो उनका काम यह चुनना होगा कि कौन-सा लेख बेहतर है और किस direction में उसे और push करना है

AI संगठन और selection units

  • AI से बनी company में selection unit individual model से बड़ा “minds का package” या department unit हो सकता है
    • अगर individual models को पूरी तरह clone किया जा सके, तो selection unit और ऊपर shift हो जाएगी
    • individual mind को differentiable तरीके से train किया जा सकता है, लेकिन minds के बीच interactions को सीधे train करना कठिन है
  • किसी specific interaction element में reduce न किया जा सके, फिर भी कुल मिलाकर अच्छे से fit होने वाले model groups हो सकते हैं
    • उदाहरण में programmer, manager type, secretary type, financial type, legal type आदि को शामिल करने वाली department unit है
    • जब नया unit चाहिए हो, तो base package को copy करके हर component में random variation देने और फिर अच्छे performance वाले packages को बचाए रखने वाली evolution संभव है

Singularity की वंशावली और बुद्धिमत्ता का सिद्धांत

  • Singularity को कब से foresee किया जा सकता था, इस पर Gwern का मानना है कि कम-से-कम Samuel Butler की 1872 की Erewhon या 1863 के essay “Darwin among the Machines” तक पीछे जाना चाहिए
    • Butler ने 1863 में स्पष्ट रूप से लिखा था कि machine life धीरे-धीरे विकसित होकर autonomy हासिल करेगी और अंततः humanity के लिए threat बनेगी
    • Butler ने machines के बारे में निष्कर्ष निकाला: “war to the death should be instantly proclaimed against them”
    • Gwern कहते हैं कि 1863 से पहले का कोई और स्पष्ट Singularity scenario उन्हें निश्चित रूप से नहीं पता
  • कहा जाता है कि Isaac Newton ने अपने समय के inventions और progress को actual technological acceleration के रूप में नहीं, बल्कि इस तरह समझाया कि civilization हर कुछ हजार वर्षों में नष्ट होती है और past knowledge को rediscover करती है
    • Dwarkesh इसे space में alien civilizations के Fermi paradox के बजाय time में अलग-अलग civilizations के Fermi paradox जैसा देखते हैं
    • Gwern कहते हैं कि Lucretius ने भी करीब 1,700 साल पहले Rome की innovation और scholarship को देखते हुए ऐसी ही reasoning लिखी थी
  • Gwern का intelligence theory “Turing machines पर search” है
    • जो कुछ भी घटित होता है, उसे अलग-अलग length की Turing machines से describe किया जा सकता है
    • learning या scaling ज्यादा और लंबी Turing machines को search कर उन्हें specific cases पर apply करने की प्रक्रिया है
    • वे मानते हैं कि कोई general master algorithm या खास intelligence fluid नहीं है; बल्कि असंख्य special cases को सीखकर brain में encode किया जाता है
  • वे human intelligence differences को भी ज्यादा compute के साथ ज्यादा Turing machines को ज्यादा देर तक search करने के फर्क के रूप में देखते हैं
    • वे कहते हैं कि brain में fluid intelligence के लिए जिम्मेदार “IQ gland” जैसा कोई हिस्सा शायद नहीं होगा
    • उनके अनुसार brain बहुत सारे individual special problems सीखता है, और बाद में वे recombine होकर fluid intelligence जैसे दिखते हैं
    • बड़े neural network model को कई छोटे problems के लिए tuned small models के विशाल ensemble की तरह देखा जा सकता है
  • human-level general intelligence के evolve होने में देर इसलिए लगी क्योंकि कई organisms के लिए specific problems के लिए बने mechanisms, general-purpose intelligence से अधिक adaptive हो सकते हैं
    • पर्याप्त evolution होने पर genes छोटी Turing machine को ज्यादा सीधे encode कर सकते हैं
    • static niche, ऐसे niche जहां intelligence बहुत महंगी हो, और कम lifespan के कारण learning time कम रखने वाले organisms में human-style learning की तुलना में specific problem mechanisms बेहतर हो सकते हैं

स्केलिंग को जल्दी स्वीकार करने की प्रक्रिया

  • Gwern का scaling नज़रिया 2000 के दशक के मध्य में Moravec और Ray Kurzweil को पढ़ने से शुरू हुआ
    • कहा जाता है कि दोनों ने connectionist तर्क दिया था कि पर्याप्त compute होने पर मानव मस्तिष्क के अनुरूप neural network architecture की खोज हो सकती है
    • Gwern ने उस समय इसे “magical thinking” जैसा माना, और यह सोचकर संशय में थे कि algorithms जटिल होते हैं और उनके लिए गहरी insight या कठिन गणित की ज़रूरत होती है
  • LessWrong, transhumanism और AI risk में रुचि रखते हुए उन्होंने Shane Legg के लेखों को follow किया और Legg की भविष्यवाणियों से परिचित हुए
    • Gwern के अनुसार, Legg ने अनुमान लगाया था कि अगर Moore’s Law जारी रहा, तो 2019 के आसपास पहला generalist system, 2025 के आसपास generalist capabilities वाले humanish agents, और 2030 के आसपास AGI आ जाएगा
  • DanNet और AlexNet के बाद Gwern ने connectionism की प्रभावशाली सफलताएँ देखीं
    • उन्होंने ध्यान देना शुरू किया कि क्या यह isolated success है, या फिर Kurzweil·Moravec·Legg वाली वही धारा है कि GPU आने पर बेहतर algorithms उभरते हैं
    • deep learning literature पढ़ते हुए उन्होंने देखा कि dataset size, model size और GPU usage बढ़ रहे हैं, और neural network के application scope narrow use case से धीरे-धीरे व्यापक होता जा रहा है
    • arXiv पर CNN को हर दिन किसी अलग समस्या पर लागू होते देखकर वे इस विचार की ओर बढ़े कि “intelligence शायद बहुत सारे compute, data और parameters लगाने का परिणाम हो सकता है”
  • GPT series ने उनका आकलन बदलने में अहम भूमिका निभाई
    • GPT-1 का unsupervised sentiment neuron इसलिए चौंकाने वाला था क्योंकि वह खुद सीखता था
    • GPT-2 की prompting और summarization ने यह एहसास बहुत मजबूत किया कि हम scaling world में रह रहे हैं
    • GPT-3 को उन्होंने GPT-2 का बड़े पैमाने पर scale-up और Go जैसे narrow task के बजाय scaling की वैधता परखने वाला अहम test माना
    • GPT-3 paper की शुरुआत में few-shot learning chart देखकर उन्होंने निष्कर्ष निकाला कि “we are living in the scaling world”
  • 2020 के आसपास कई AI commentators ने LLM, GPT-3 और scaling laws को क्यों miss किया, इसके दो कारण वे मानते हैं
    • उन्होंने पहले के scaling results को पर्याप्त रूप से follow नहीं किया और retrospectively महत्वपूर्ण results का मूल्यांकन नहीं कर पाए
    • वे इस shared belief पर टिके रहे कि algorithm compute से ज़्यादा महत्वपूर्ण है
  • Gwern के अनुसार compute पहले आता है, क्योंकि वही trial and error और serendipity को संभव बनाता है
    • hyperparameter में छोटे अंतर या architecture की choice results को बहुत बदल सकती है, लेकिन अगर आप केवल कुछ ही बार try कर पाते हैं तो यह मानकर छोड़ देना आसान है कि यह काम नहीं करता
    • compute बहुत हो तो लगातार try करते हुए कोई अच्छी तरह काम करने वाला solution मिल सकता है, और बाद में simplification, improvement और कारण समझने के ज़रिए उसे robust solution बनाया जा सकता है
  • पुराने deep learning literature में modern ideas पहले से मौजूद थे, लेकिन compute की कमी के कारण उन्हें वास्तव में इस्तेमाल करना मुश्किल था—वे ऐसे उदाहरण मानते हैं
    • वे बताते हैं कि ResNet 1988 में publish हुआ और काम भी करता था, लेकिन scale इतना छोटा था कि practical usefulness नहीं थी, इसलिए वह भुला दिया गया; 2015 में ही वह deep learning की revolution के रूप में उभरा
    • BigGAN द्वारा 300 million images तक scaling का उदाहरण भी वे ऐसा result मानते हैं जिसे लोगों ने पर्याप्त ध्यान से नहीं देखा

AGI युग में projects और writing

  • 2005~2010 में Gwern की AGI timeline बहुत दूर थी, जैसे 2050 के बाद
    • AlexNet और DanNet के बाद उन्होंने कहा कि timeline हर साल 2 साल आगे खिसकने की गति से छोटी होती गई
    • deep learning लगातार barriers पार करता रहा, और alternative paradigms अच्छा नहीं कर पाए, जबकि यह paradigm बहुत अच्छा चला—वे ऐसा मानते हैं
  • AlphaGo के बाद कुछ लोगों ने AI hype पर जरूरत से ज्यादा update कर लिया—वे ऐसा मानते हैं
    • Dota के बाद reinforcement learning की बड़ी कोशिशें simulated game universe के बाहर कठिन समस्याओं पर अच्छी तरह काम नहीं कर पाईं, तो Gwern को भी लगा कि वे जरूरत से ज्यादा आगे निकल गए थे
    • GPT के आने के बाद उन्होंने वह आकलन हटाया, और माना कि RL generative model नामक cake के ऊपर cherry बनेगा
  • अगर आप सचमुच मानते हैं कि AGI कुछ ही वर्षों में आ रहा है, तो हर project को खुद implement करने की ज़रूरत नहीं है
    • जो काम वे करना चाहते हैं या enjoy करते हैं, वे उन्हें अभी करते हैं, भले ही AI 3 साल बाद वही कर सके
    • कुछ projects के लिए वे यह साफ sketch कर सकते हैं कि वे क्या चाहते हैं, वह अच्छा क्यों है, और कैसे करना है, ताकि बेहतर AGI उसे execute कर सके
  • Gwern आगे जिन चीज़ों को और record करना चाहते हैं, उन्हें वे preferences, desires, evaluations, judgments मानते हैं
    • AI “आपकी जगह ice cream नहीं खा सकता”, और यह भी आपकी जगह तय नहीं कर सकता कि आपको कौन-सी ice cream पसंद है
    • काम का आकलन करने के उनके तीन मानदंड हैं
      • क्या यह ऐसा काम है जो future AI से स्वतंत्र रूप से enjoy करने के कारण किया जा रहा है
      • क्या इसमें केवल वह हिस्सा करना है जो इंसान को करना चाहिए, और बाकी AGI बाद में कर सकता है
      • क्या आज ऐसी चीज़ लिखी जा रही है जो दर्ज नहीं है और future AI version वाले अपने-आप की मदद करेगी
    • जो काम इन तीनों में नहीं आता, उसे वे मूलतः नहीं करना चाहते
  • AI कब Gwern-quality essay लिख पाएगा, इस पर वे कहते हैं कि पूरे corpus को combine किया जाए तो उनके पास ऐसा idea है जिससे AGI के बिना भी यह संभव बनाया जा सकता है
    • कई संभावित essay ideas पहले से ही corpus के भीतर लगभग पूरी तरह तैयार हैं, इसलिए उन्हें बाहर निकालने के लिए super intelligence की ज़रूरत नहीं भी हो सकती है
    • सामान्य AGI planning के हिसाब से वे कहते हैं कि Anthropic timeline, यानी 2028, एक अच्छा starting point लगती है
  • Writing को वे भविष्य के Shoggoth को प्रभावित करने की क्रिया मानते हैं
    • LLM को जिन tokens की prediction करनी होती है, वे AI द्वारा पहचानी जाने वाली कुछ गिनी-चुनी currencies में से एक हैं, और writing भविष्य के लिए vote करने जैसी है
    • जो values, tastes और desires online text में व्यक्त नहीं हैं, वे AI के लिए व्यावहारिक रूप से मौजूद नहीं हैं
    • “If it wasn’t written down, it wasn’t written down” की तरह, दर्ज न की गई autobiographical information या किसी खास समय की भावनाएँ बाद में traces से reconstruct करना कठिन है

Rabbit holes, श्रवण बाधा, Wikipedia

  • Gwern कहते हैं कि वे जीवन में जिस चीज़ को अधिकतम करना चाहते हैं, वह rabbit holes हैं
    • वे सबसे अधिक उस अनुभव की प्रतीक्षा करते हैं जब वे किसी बिल्कुल अनजान नए विचार या क्षेत्र में गहराई से डूब जाते हैं
    • catnip पर प्रतिक्रिया न देने वाली बिल्ली के उदाहरण से, उन्होंने बताया कि वे यह तक खोजने लगे कि कुछ बिल्लियाँ catnip से immune क्यों होती हैं और वैकल्पिक catnip drugs क्या हैं
  • साथ ही, वे मानते हैं कि जिन rabbit holes को सच में गहराई से explore किया जा सकता है, उनकी अधिकतम संख्या 2–3 है
    • उससे अधिक होने पर यह वास्तविक मेहनत लगाकर खोदने जैसा नहीं, बल्कि गुजरती हुई दिलचस्पी जैसा होता है
    • rabbit hole जुनूनी होना चाहिए; अगर वह लगातार अपनी ओर नहीं खींचता, तो वह असली rabbit hole नहीं है
  • सबसे लंबे समय तक चले, लेकिन संतोषजनक रूप से आगे न बढ़ पाए rabbit hole के रूप में वे Neon Genesis Evangelion से जुड़े अपने शुरुआती काम का उदाहरण देते हैं
    • उन्होंने अंग्रेज़ी में लिखी लगभग हर सामग्री पढ़ी और यह समझने की कोशिश की कि इसका development process क्या था और作品 वैसा क्यों बना, लेकिन उस समय स्पष्ट जवाब न मिल पाने से वे थक गए
    • वे कहते हैं कि कई साल बाद संयोग से उन्हें समझ आ गया, लेकिन अब उसे फिर से लिखने या पूरा करने लायक रुचि बाकी नहीं है
  • Gwern को जन्म से ही श्रवण बाधा थी, और kindergarten से पहले वे श्रवण बाधा और अन्य disabilities वाले बच्चों के लिए special education school में जाते थे
    • स्कूल में हर class में उन्हें teacher से जुड़ा hearing aid और एक बड़ा भूरा box लेकर जाना पड़ता था, और दूसरे बच्चों से अलग दिखने की भावना के कारण उन्हें अपमान महसूस होता था
    • उस समय hearing aids की performance अच्छी नहीं थी, इसलिए बातचीत समझने में वे हमेशा एक beat पीछे रहते थे, जिसका socialization पर बड़ा नकारात्मक असर पड़ा
    • वे मानते हैं कि पढ़ना ऐसी activity थी जो श्रवण बाधा से प्रभावित हुए बिना की जा सकती थी, इसलिए उसने उन्हें bookworm बनाने में भूमिका निभाई
  • ब्लॉग शुरू करने से पहले वे Wikipedia edit करते थे
    • वे कहते हैं कि Wikipedia, gwern.net से पहले के gwern.net जैसा था, और आज वे अपनी site पर जो काम करते हैं, उस समय शायद वही English Wikipedia पर करते
    • वे Fujiwara no Teika article पर अब भी गर्व करते हैं
    • वे कहते हैं कि writing के बारे में उन्होंने जितना सीखा, उसका बड़ा हिस्सा school या university से ज़्यादा Wikipedia editing से आया
  • वे मानते हैं कि आज की English Wikipedia में पहले जैसी rabbit hole-आधारित training करना मुश्किल है
    • वे कहते हैं कि 2004 की तुलना में articles बहुत अधिक भरे जा चुके हैं, और editing community विस्तृत, जुनूनी research-style contributions के प्रति अधिक विरोधी हो गई है
    • ऐसे contributions delete किए जा सकते हैं या original research और approved न किए गए sources की समस्या के कारण reject हो सकते हैं
  • उनकी पहली बड़ी सफलता Silk Road पर लिखा लेख था
    • जब Adrian Chen ने Gawker में Silk Road से LSD खरीदने पर article लिखा, तो Gwern ने देखा कि Bitcoin इतना वास्तविक हो चुका है कि internet पर सच में drugs खरीदी जा सकती हैं, और उन्होंने अपना रुख बदल लिया
    • Gwern ने Silk Road को खुद use किया और ordering process को screenshots के साथ document किया
    • वे कहते हैं कि article publish होने के बाद उसे लाखों views मिले, इतना कि Google Analytics chart में वह vertical spike जैसा दिखा

काम करने का तरीका, लिखने की प्रेरणा, site design

  • Gwern मानते हैं कि लोग उनकी intelligence को overestimate करते हैं
    • वे कहते हैं कि क्योंकि वे बहुत कुछ याद रखते हैं और लंबे समय से बहुत लिखते आए हैं, वे ऐसे व्यक्ति जैसे दिखते हैं जो सब कुछ मौके पर ही कर देता है
    • वास्तविक बातचीत में वे अक्सर वही बातें quote करते हैं जिन्हें वे पहले लिख चुके हैं या जिन पर लंबे समय से सोच चुके हैं
    • जो लोग तुरंत तेज़ी से update कर लेते हैं, उनसे तुलना करें तो वे खुद को खास तौर पर बहुत smart नहीं मानते, लेकिन अंततः महत्वपूर्ण चीज़ output ही है
  • उनका work process किसी genius-level एक झटके से अधिक लंबे समय तक छोटे notes जमा करने जैसा है
    • “यह अजीब है”, “यह इस pattern का एक और example है” जैसे notes अगर 10 साल तक जमा हों, तो final output जादू जैसा दिख सकता है
    • वे कहते हैं कि उन्हें Penn & Teller की यह बात पसंद है कि “जादू वह है जिसमें एक rational व्यक्ति जितनी मेहनत की उम्मीद करता है, उससे अधिक मेहनत लगाई जाती है”
  • “Evolution as Backstop for RL” जैसे essay एक ही pattern को बार-बार देखने से बनी synthesis हैं
    • केंद्र में यह structure है कि बेवकूफ और inefficient learning method से अधिक smart चीज़ सीखी जाती है, लेकिन मूल method को पूरी तरह हटाया नहीं जा सकता
    • कंपनियाँ, meta reinforcement learning, neural networks, pain जैसे examples जुड़ते हैं और वर्तमान structure बनता है
  • कुछ essays eureka moment से निकलते हैं, लेकिन उससे पहले लंबे समय तक कई ऐसे notes पड़े रहते हैं जिनके आपसी connection का पता नहीं होता
    • किसी दिन अचानक यह क्षण आता है कि वे सब जुड़े हुए हैं, तो वे एक विशाल essay एक ही बार में लिख डालते हैं
    • “The Melancholy of Subculture Society” ऐसे eureka-type essay का example है
  • उनका daily workflow पिछले दिन website पर किए गए काम को समेटने से शुरू होता है
    • वे formatting, spelling errors, layout issues ठीक करते हैं, और additional thoughts या important comments जोड़ते हैं
    • इसके बाद Twitter या RSS feed के ज़रिए खूब पढ़ते हैं, और comments या questions ध्यान खींचें तो लिखते हैं
    • शाम को वे वास्तविक projects या contribution work करने की कोशिश करते हैं, और फिर gym जाते हैं
  • Gym जाने की वजह यह है कि यह computer के सामने बैठकर पढ़ने के बिल्कुल उलट activity है
    • वे weightlifting को खास तौर पर पसंद करने के कारण नहीं जाते, बल्कि मानते हैं कि burnout से बचना हो तो जितना हो सके अलग काम करना चाहिए
  • Online arguments Gwern के लिए लिखने की मजबूत प्रेरणा हैं
    • लिखने और विचारों को crystallize कर “harvest” करने के लिए motivation चाहिए
    • online लोगों के गलत होने से पैदा होने वाला गुस्सा और debate की प्रेरणा बहुत प्रचुर होती है
    • हालांकि वे मानते हैं कि spite को सिर्फ उतनी देर इस्तेमाल करना चाहिए जितनी जरूरत हो, और फिर छोड़ देना चाहिए; उसे पकड़े रहना खुद को ज़हर देने जैसा है
  • वे कहते हैं कि website CSS और design पर बहुत समय लगाना social utility के नजरिए से पूरी तरह defend नहीं किया जा सकता
    • यह उनका hobby है जिसे वे पसंद करते हैं, और एक सुंदर website अपने लेखों को बार-बार पढ़ना सहने योग्य बना देती है
    • वे मानते हैं कि site maintenance लेखक के लिए एक तरह की spaced repetition हो सकती है

आजीविका, Patreon, सालाना $12,000 से कम में जीवन

  • full-time writing वे Patreon और savings से जारी रखते हैं
    • Patreon income लगभग $900–1,000 प्रति माह है
    • शुरुआती Bitcoin holdings से किस्मत से इतना कमाया कि लंबे समय तक चला सकें, लेकिन वह स्थायी रूप से पर्याप्त नहीं है
    • वे खर्च जितना संभव हो घटाकर writing runway बढ़ाने की कोशिश करते हैं
  • Patreon और Substack का reward design Gwern को असहज लगता है
    • वे मानते हैं कि paywall बनाए बिना अच्छे rewards बनाना मुश्किल है
    • Scott Alexander जैसे लोगों के लिए, जिन्हें regular newsletter-style updates पसंद हैं, Patreon और Substack अच्छे fit हैं, लेकिन उन्हें खुद ऐसा तरीका पसंद नहीं
  • सालाना $12,000 से कम में रहने की शर्तें बेहद मितव्ययी हैं
    • वे दूरदराज़ जगह पर रहते हैं, travel, eating out और health insurance पर लगभग कोई खर्च नहीं है, खुद खाना बनाते हैं और free gym use करते हैं
    • वे उदाहरण देते हैं कि जब bedroom floor नमी से सड़कर धंसने लगा, तो उन्होंने scrap wood और joists से उसे सहारा दे दिया और कीड़े अंदर आने जैसी बात स्वीकार कर ली
    • वे अपने जीवन को “बेहतर ramen खाने वाले graduate student” जैसा बताते हैं
  • यह lifestyle आदर्श नहीं है और न ही ऐसा model है जिसे दूसरे writers हूबहू follow कर सकें
    • वे मानते हैं कि अब तक उनका स्वास्थ्य बहुत अच्छा रहा है और कोई बड़ी emergency नहीं आई, यह भी किस्मत है
    • वे कहते हैं कि Bitcoin, संन्यासी की तरह जीने में संतोष रखने का स्वभाव, और health—ये सब साथ आ गए, यह एक विशेष मामला है
    • writer या blogger बनने वालों को अपना अलग livelihood model खोजना चाहिए, जैसे Substack या किसी tech company में JavaScript का काम करते हुए side में लिखना
  • San Francisco न जाने की मुख्य वजह पैसा है
    • वे कहते हैं कि वे यह सोचना नहीं चाहते कि San Francisco में हर महीने रहने पर उन्हें कितने महीनों की writing runway छोड़नी पड़ेगी
    • वे कहते हैं कि अगर कोई उन्हें सालाना $50,000–100,000 देकर SF ले जाए और अभी की तरह full-time writing जारी रखने दे, तो वे तुरंत स्वीकार कर लेंगे

AI मॉडल विविधता, GLP दवाएं, पर्यावरणीय कारक, psychedelics

  • Gwern का मानना है कि “क्षमता” को छोड़ दें तो AI मॉडल पहले से ही इंसानों की तुलना में संज्ञानात्मक रूप से कहीं अधिक विविध हैं
    • उनका दावा है कि अलग-अलग LLM सिर्फ sample देखकर भी अलग-अलग तरीकों से सोचते हैं
    • उनके अनुसार LLM, GAN से अलग हैं, और GAN, VAE से भी अलग हैं; खासकर छोटे या कम performance वाले models में latent space, artifact और errors बहुत अलग होते हैं
  • Chatbot Arena में model-specific outputs को अलग पहचानना मुश्किल होने के मामलों पर Gwern का मानना है कि यह हाल के LLM तक सीमित और heavily tuned स्थिति है
    • वे इसे “identical twins” जैसा बताते हैं, क्योंकि सब एक-दूसरे के तरीकों को follow कर रहे हैं और लगभग समान data पर train हो रहे हैं
    • deep learning को पूरे रूप में देखें तो mind और सोचने के तरीकों की range बहुत व्यापक है
  • GAN और diffusion model का अंतर हाथों को व्यक्त करने के तरीके में दिखता है
    • GAN में adversarial loss के कारण कुछ छिपाने का incentive होता है, और यह हाथों को frame से बाहर भेजने या हाथों के बारे में सोच ही न पाने जैसे रूप में दिखता है
    • वे कहते हैं कि diffusion model हाथों के बारे में सोचते हैं, लेकिन उन्हें विशाल और राक्षसी आकार में दिखाने जैसी गलती करते हैं
  • मौजूदा समय में लोगों ने जिन trends के implications को पर्याप्त रूप से नहीं समझा है, उनमें वे GLP श्रेणी की weight-loss drugs को गिनते हैं
    • वे कहते हैं कि health, addiction और तरह-तरह के behaviours पर इनके effects हैरान करने वाले रहे हैं
    • results अभी preliminary हैं, लेकिन असली effect जैसे दिखते हैं
    • उनके अनुसार यह human willpower और dysfunctionality के बारे में महत्वपूर्ण बातें बता सकता है
  • GLP drugs क्या Algernon argument को तोड़ती हैं, इस पर फैसला करना अभी जल्दबाजी है
    • उनका कहना है कि हम अभी समझते ही नहीं कि GLP वास्तव में क्या कर रही है
    • वे कहते हैं कि benefits fertility के संदर्भ में fitness को घटा सकते हैं, या शरीर पर ऐसे तरीके से असर डाल सकते हैं जिसे genetically replicate करना बहुत मुश्किल हो
    • obesity crisis हाल की घटना है, जो 1990s के आसपास ही स्पष्ट हुई, इसलिए 20–30 साल के scale पर Algernon argument लागू करना कठिन है
  • आधुनिक environment में प्राचीन Rome के lead poisoning जैसा बड़ा असर डालने वाला कोई factor मौजूद होने की संभावना वे लगभग 100% मानते हैं
    • chemists लगातार नए substances बना रहे हैं, microbiome से जुड़े factors भी हैं, और plastics एक popular candidate हैं, लेकिन जरूरी नहीं कि कारण plastics ही हों
    • वे किसी specific cause में विश्वास नहीं करते, लेकिन मानते हैं कि “1% here, 1% here” की तरह जमा होने वाली कोई harmful चीज हो सकती है
    • time series देखें तो intelligence कुल मिलाकर काफी stable है, इसलिए वास्तविक harmful factor intelligence की बजाय obesity से जुड़ा होने की संभावना अधिक है
  • वे Bay Area-style psychedelics experiments को लेकर skeptical हैं
    • psychedelics के effects acute और permanent हो सकते हैं
    • nootropics के effects comparatively manageable और controllable लगते हैं
    • LSD जैसी चीजें LSD लेने के बारे में आपका perspective या psychiatric state स्थायी रूप से बदल सकती हैं
    • कुछ बार उपयोग अच्छा हो सकता है और उन्हें खुद भी लाभ हुआ है, लेकिन उससे आगे जाएं तो आपको गंभीरता से देखना चाहिए कि आपको क्या benefit मिल रहा है और आप कैसे बदल रहे हैं

साहित्य, fiction, बचे हुए सवाल

  • Gwern कहते हैं कि अगर internet न होता, तो वे formal academia में survive करने के लिए अपने interests को सीमित कर लगातार publish करते, या Jorge Luis Borges की तरह librarian बनने की राह पर चले जाते
    • वे कहते हैं कि Borges के इस विचार से वे सहमत रहे हैं कि “स्वर्ग की कल्पना एक library के रूप में की जाती है,” और वे खुद भी libraries से प्यार करते हैं
    • उन्हें अफसोस है कि अब ज्यादातर पढ़ना computer पर होता है, इसलिए physical libraries में ज्यादा समय नहीं बिता पाते
  • Borges, Gwern के लिए hero जैसे लेखक हैं
    • Dan Simmons की Hyperion और The Fall of Hyperion, Kevin Kelly की Out of Control, और “The Library of Babel” के रास्ते वे Borges के fiction और nonfiction के collected works को बार-बार पढ़ते रहे
    • वे इस बात से अभिभूत थे कि गहरी scholarly knowledge के आधार पर रचनात्मक, मजेदार और provocative short stories और essays लिखे जा सकते हैं; और कहते हैं कि अगर वे किसी लेखक जैसे बन सकते, तो Borges बनना चाहते
  • जिस साहित्य को वे शुरुआत में नहीं समझ पाए लेकिन बाद में समझे, उनमें Ted Chiang की “Story of Your Life” और Gene Wolfe की “Suzanne Delage” को गिनते हैं
    • वे “Suzanne Delage” को Dracula की एक subtle retelling के रूप में interpret करते हैं, जिसमें Dracula कस्बे में घुसकर लड़की को छीन लेता है और narrator को Bram Stoker-style brainwash करके सब कुछ भुला देता है
    • “Story of Your Life” को वे time travel या भविष्यवाणी नहीं, बल्कि ऐसी alien लेकिन समान रूप से valid mind के बारे में कहानी मानते हैं जो सब कुछ पहले से निर्धारित कहानी और तय अंत के हिस्से के रूप में देखती है
  • fiction की utility को लेकर वे cynical हैं
    • उनके अनुसार कोई व्यक्ति जीवन भर सिर्फ fiction पढ़े तो भी लोगों द्वारा गढ़ी गई चीजों के बारे में बहुत सारी trivia याद रखने के अलावा शायद कोई लाभ न हो
    • वे कहते हैं कि उनके द्वारा पढ़े गए SF का 99% पूरी तरह बेकार था, और सच में perspective बदलने जितनी insight रखने वाले works को लगभग 20 novels और short stories तक घटाया जा सकता है
    • उन top works की common बात यह है कि वे non-human intelligence को गंभीरता से लेते हैं
  • वे लोगों के जीवन में जो भूमिका निभाना चाहते हैं, वह Claude-3 जैसे LLM में “Gwern” character के mentor या old wizard की तरह आने वाली भूमिका से मिलती-जुलती है
    • वे ऐसे व्यक्ति के करीब हैं जो स्थिति पर insight देता है और “तुम भी लिख सकते हो, कुछ कर सकते हो, सोच सकते हो” जैसा call to adventure देता है
    • वे चाहते हैं कि reader केवल मनोरंजन या जानकारी लेने तक सीमित न रहे, बल्कि webpages और internet को बेहतर बनाया जा सकता है—ऐसी aspiration रखे
  • असल में उन्हें चिंता है कि वे कुछ लोगों के लिए guru या trickster devil जैसे बन सकते हैं
    • जो लोग उन्हें पसंद करते हैं, वे उन्हें ऐसा व्यक्ति मान सकते हैं जिसकी site की हर चीज gospel की तरह स्वीकार की जा सकती है, और उन्हें यह पसंद नहीं
    • जो उन्हें नापसंद करते हैं, वे उन्हें covert, malicious, neo-Nazi, eugenicist, totalitarian, communist, anti-Chinese devil figure जैसे बढ़ा-चढ़ाकर बनाए गए villain के रूप में देख सकते हैं
  • 2050 तक जिन open rabbit holes के जवाब वे पाना चाहते हैं, वे humans और civilization से जुड़े बड़े सवाल हैं
    • हम सोते और सपने क्यों देखते हैं
    • इंसान बूढ़े क्यों होते हैं
    • sexual reproduction क्यों मौजूद है
    • इंसान एक-दूसरे से इतने अलग क्यों हैं, और दिन-प्रतिदिन भी क्यों बदलते रहते हैं
    • इंसानों को technological civilization विकसित करने में इतना लंबा समय क्यों लगा
    • aliens कहां हैं
    • Industrial Revolution China के बजाय कहीं और क्यों हुई
    • deep learning revolution की भविष्यवाणी हमें कैसे करनी चाहिए थी
    • human brain, artificial neural networks की तुलना में इतना oversized क्यों है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-11-15
Hacker News टिप्पणियाँ

  • लिखना, Shoggoth द्वारा स्वीकार की जाने वाली कुछ ही मुद्राओं में से एक—यानी भविष्यवाणी किए जाने वाले टोकन—से भविष्य पर वोट डालना है। अगर आप नहीं लिखते, तो आप भविष्य या उसमें अपनी भूमिका छोड़ रहे हैं; और भले ही आपको लगे कि अच्छा नागरिक बनकर रहना, वोट देना, कचरा उठाना और रीसायकल करना काफी है, भविष्य को इससे फर्क नहीं पड़ता
    AI से जुड़ी भविष्यवाणियाँ इस बात पर बहुत कम विचार करती दिखती हैं कि असली इंसान कैसे तय करेंगे कि AI-जनरेटेड मीडिया ने मानव रचनाओं की जगह लेने में सफलता पाई है या नहीं—या क्या वह शुरुआत में सफल होगा भी। अभी किसी प्रोजेक्ट का AI-जनरेटेड होने के लिए जाना जाना उल्टा नकारात्मक है; 2 साल पहले ब्लॉग हेडर में AI इमेज होना कूल लगता था, लेकिन अब यह आपको पुराने ट्रेंड में अटके व्यक्ति जैसा दिखाता है
    इसलिए मैं इस भविष्यवाणी को लेकर संशय में हूँ कि सुपरइंटेलिजेंट AI इंसानों की सारी रचनाओं, निबंधों, लेखों, वीडियो आदि की जगह ले लेगा। किसी चीज़ का संभव होना यह नहीं बताता कि वह सचमुच होगी या लोग उसकी परवाह करेंगे। बल्कि कहीं ज्यादा संभावना यह लगती है कि मानव होने को सत्यापित करने के तरीके स्थापित हो जाएंगे, attention economy अब भी वास्तविक लोगों पर केंद्रित रहेगी, और AI कचरे के ऐसे ढेर बनेंगे जिनसे कोई इंटरैक्ट नहीं करता

    • कई दशकों से मैंने इस विश्वास में लिखा है कि इससे भविष्य के AI को ट्रेन किया जाएगा, और मैं अक्सर कहता था कि Turing Test कोई रहस्यमय समस्या नहीं है, बल्कि अर्थशास्त्र की indifference curve के रूप में पहले से हल समस्या है, जो दिखाती है कि लोग किस बिंदु पर इंसान और मशीन में फर्क करने की परवाह करते हैं
      AI के कब्ज़ा न कर पाने का तर्क यह है कि हम प्रतीकों और कथाओं के इर्द-गिर्द संगठित होते हैं, और कमजोर या घटिया memes के प्रति बहुत संवेदनशील हैं, इसलिए AI को हर बार खुद को “AI नहीं” के रूप में फिर से गढ़ना होगा। हालांकि संगीत को उदाहरण मानें, तो सीमित variations भी दशकों तक हावी रहे हैं, और औद्योगिक मशीनरी द्वारा बनाए गए popstar जैसे कचरे से भी ऐसे dominant memes बनने की मिसालें हैं जो लाखों लोगों के मन को जीवन भर बांधे रखते हैं
      आज का AI उन popstars की पूरी meaning system की नकल कर सकता है, और TV Tropes ने सांस्कृतिक कचरे के वे सारे तत्व दर्ज कर रखे हैं जिनसे लोगों को immune होना चाहिए, लेकिन फिर भी लाखों लोग pop trash से मिले characters और narratives को जीते हैं। जैसे आज संगीत, TV और फिल्में लोगों की ontology गढ़ती हैं, वैसे ही AI trash द्वारा ontology गढ़ने की लंबी tail निश्चित रूप से बनेगी; यह AI simulation में बह जाने के काफी करीब होगा, और शायद उससे भी अधिक subtle। या फिर हम इसे बस झटक भी सकते हैं
    • AI को देखते समय cryptography से उधार लिए गए विचार—आज का अत्याधुनिक, आगे चलकर सबसे खराब होगा—पर लंबे समय तक विचार करना चाहिए
      मानवता अपना भविष्य इस विचार पर दांव पर लगा रही है कि hard takeoff से पहले हम ऐसे कठिन information-theoretic limits से टकराएंगे जो performance improvements में diminishing returns पैदा करेंगे, लेकिन यह दावा कि अभी सिद्ध हुए तरीके किसी S-curve के ऊँचे हिस्से पर हैं, फिलहाल भरोसेमंद नहीं लगता। AI models इस साल पिछले साल से, और पिछले साल उससे पिछले साल से नाटकीय रूप से बेहतर हुए हैं, और अगले कुछ वर्षों तक बेहतर होते रहने की संभावना बड़ी है
      सिर्फ इतना ही समाज और अर्थव्यवस्था की कई प्रक्रियाओं को, अच्छे या बुरे तरीके से, काफी बदल देने के लिए पर्याप्त है
    • ब्लॉग पोस्ट की header image का साफ तौर पर AI-जनरेटेड होना अब भद्दा और पिछड़ा हुआ लगता है, क्योंकि सार्वजनिक models को घबराहट जैसी वजहों से बुरी तरह nerf किया गया है, जिससे outputs तुरंत पहचाने जाने लायक और घिसे-पिटे हो गए हैं
      उदाहरण के लिए, Dall-E 2 जब पहली बार आया था, तब वह आज से कहीं बेहतर था; वर्तमान version को इस तरह adjust किया गया है कि वह आधुनिक कलाकारों के output जैसा कुछ न बना सके, और बाकी में भी स्पष्ट रूप से ऐसा बदला गया लगता है कि वे चुभने वाले orange-blue tones में render हों। आखिरकार जब बेहतर models आएंगे या leak होंगे, तो यह पहचानना असंभव हो जाएगा कि कोई image AI-जनरेटेड है या नहीं
    • O1-preview सही prompt के साथ पहले ही औसत HN commenter से अलग नहीं पहचाना जा सकता, और output को बिल्कुल edit करने की जरूरत भी नहीं होती
    • बड़ा सवाल यह है कि अगर internet को निगलकर उसे दूसरे शब्दों में उगलने वाले LLMs ही मानवता का भविष्य हों, तब भी AI corpus में भारी मात्रा में material है, और कुछ गिने-चुने, बारीकी से research किए गए blogs का needle को बहुत हिला पाना मुश्किल है
      शायद अपने विचारों से मेल खाती सामग्री generative AI से spam करना, या Kenya जाकर कम वेतन वाला RLHF काम करना ही ज्यादा बड़ा vote डालने जैसा हो

  • यह मानना कठिन है कि Gwern उतनी मितव्ययिता से रहता है जितनी इस लेख में बताई गई है, और यह भी पक्का नहीं कि वह सचमुच वही व्यक्ति है। मुझे लगभग यकीन है कि Gwern के पास एक persona है जिसे वह दिखाना चाहता है, और मितव्ययी दिखना भी उसका हिस्सा है
    “Gwern कौन है?” इस सवाल पर मेरा मानना है कि वह ऐसा व्यक्ति है जो लोगों के मन में बीज बो देता है और बाकी कहानी वे खुद बना लेते हैं। फिर भी मुझे उसकी कई writings पसंद हैं, खासकर वे अजीब और संकरे topics जिनके बारे में ज्यादातर लोग सोचना भी बंद कर देते हैं
    Gwern के sunk cost fallacy essay की वजह से मैंने वह tattoo आखिरकार नहीं कराया जिसके बारे में मेरा मन बदल गया था। booking amount दे देने की वजह से मैं लगभग करवाने ही वाला था, लेकिन tattoo करवाने से एक हफ्ते पहले वह essay पढ़ा और सोचा, “अगर छोटे बच्चे और जानवर भी sunk cost के झांसे में नहीं आते, तो मुझे भी नहीं आना चाहिए।” सचमुच Gwern की writing ने मेरी पीठ की त्वचा बचा ली

    • करीब 12 साल पहले, जब Gwern NYC Less Wrong meetup में आया था, तो मैं उससे एक बार मिला था। लगता है वह तब तक internet celebrity नहीं था; मेरी याद के मुताबिक, यह बात पूरी तरह भरोसेमंद लगती है कि वह बहुत मितव्ययिता से रहता है। वैसे, वह animation convention में भी बिल्कुल अलग न दिखे, ऐसा उसका रूप था
    • पहले paragraph को समर्थन देने वाला कोई वास्तविक evidence है?
    • कभी-कभार अतिरिक्त खर्च को छोड़ दें, तो मुझे यह काफी हद तक सच के करीब लगता है। हालांकि यह तभी, अगर वह अप्रत्याशित जगहों पर लगातार यह image बनाए नहीं रख रहा हो
      मुझे यह पसंद नहीं कि लोग अब उसे केवल उसकी effective frugality से देखकर एक खांचे में बंद कर दें, लेकिन उम्मीद है कि इसकी भरपाई के लिए उसे सीधे या patreon.com/gwern के जरिए काफी support मिला हो
    • मैंने r/slatestarcodex subreddit पर उसके बारे में supposedly true information वाला एक comment देखा; ‘who is gwern’ खोजते हुए मिला, लेकिन उससे सवाल और बढ़ गए
    • मुझे भरोसेमंद लगता है

  • यह सुनने में कठिन इंटरव्यू था, और इसकी वजहें दो थीं जो सूक्ष्म रूप से मिलती-जुलती थीं
    आवाज़ जैसे uncanny valley में अटकी हुई लगी, यथार्थवादी थी लेकिन सुनना मुश्किल था। ठीक-ठीक कहें तो उस आवाज़ में अर्थ को जोड़ते जाना cognitively कठिन था, और आवाज़ का रंग व अर्थ एक-दूसरे को सहारा नहीं दे रहे थे। अगर बच्चे ऐसी random tone वाली आवाज़ों के बीच बड़े हों तो शायद यह बदल भी सकता है
    बातचीत भी जरूरत से ज्यादा लंबी-चौड़ी थी। विस्तृत शब्दावली अक्सर कमजोर reasoning को ढक देती है, और कुछ श्रोताओं के लिए शब्दों को समझने की मेहनत शब्दों के बीच के संबंध—यानी अर्थ—को समझने में बाधा बन सकती है, जिससे यह बस smart लगने वाले शब्दों की खिचड़ी जैसा सुनाई दे सकता है। शब्दावली, हल्की-सी खिल्ली, और “मैं जितना बोल रहा हूं उससे ज्यादा जानता हूं” वाले style को हटा दें, तो काफी ऐसी गपशप सामने आती है जो न सही है और न ही reasoning में पूरी। ऐसी कम-reasoned बातचीत अपने-आप में ठीक है, लेकिन उसे अजनबी शब्दावली और style में पैक करना गलतफहमी पैदा करता है और गैर-मददगार है। “smart दिखने” वाले कुछ टुकड़े असल में बस सजाए-संवारे मूर्खतापूर्ण टुकड़े हैं

    • यह असली आवाज़ है। कुछ जोड़-तोड़ की गई हो सकती है, लेकिन कितनी, यह नहीं पता। Gwern ने माना कि वह बोलने में अच्छा नहीं है, और मैं उसकी यह बात मानता हूं। वह यह भी कहता है कि वह बहुत smart नहीं है, लेकिन शायद यह बहुत relative मानक होगा
    • linked video description के मुताबिक Gwern की anonymity बचाने के लिए सीधे interview करने के बाद, उसके दोस्त Chris Painter ने बाद में उसकी बातों की dubbing करने का सुझाव दिया और Gwern ने इसे मजेदार मानकर सहमति दी
      AI-generated voice का latest level मुझे ठीक से नहीं पता, इसलिए मैं गलत हो सकता हूं, लेकिन यह fake जैसी नहीं लगी और linked source भी इसे human बताता है। शायद अजीब इसलिए लगा हो कि कोई इंसान बातचीत की transcript पढ़कर उसे बातचीत जैसा सुनाने की कोशिश कर रहा था

  • AI विषय पर दिलचस्प podcast interviews से भरा हफ्ता था
    इसके अलावा Anthropic के मुख्य लोगों के साथ Lex Fridman की interview series https://youtu.be/ugvHCXCOmm4 भी है, और AI risk पर Stephen Wolfram और Eliezer Yudkowsky की लंबी बातचीत https://youtu.be/xjH2B_sE_RQ भी है

    • Wolfram और Yudkowsky की बातचीत सुनना कठिन था, और सच कहूं तो आधी भी नहीं सुन पाया। दोनों तरफ के arguments कुछ कमजोर और कम दिलचस्प लगे
    • Altman + Tan भी अच्छा था https://youtu.be/xXCBz_8hM9w

  • Gwern की मेरी सबसे पसंदीदा insight Bitcoin is Worse is Better है। Bitcoin के खिलाफ लंबी objections की list को summarize करने के बाद वह पूछता है कि क्या उनमें कोई commonality है, और जवाब देता है, “नहीं, Bitcoin की समस्या यह है कि वह बदसूरत है”
    network security को opponent से ज्यादा brute computational power पर ही निर्भर बना देना भी बदसूरत है; double spending से बचने के लिए अभी और भविष्य में भी processing capacity के आधे से ज्यादा की जरूरत होना भी बदसूरत है; लगातार बढ़ता hash tree भी बदसूरत है; proxy और workaround के बिना offline इस्तेमाल न हो सकने वाला system भी बदसूरत है; और हर transaction को public रूप से track करना भी बदसूरत है—कुछ ऐसा ही। अगर money supply fixed करनी ही थी, तो 2.1 करोड़ की arbitrary limit क्यों, वह संख्या क्यों, कोई ज्यादा round number या 2 की power क्यों नहीं—यह भी पूछा गया है। Mining भी शुरुआती participants के लिए बहुत बड़ा gift है, और गलत address पर भेजने पर Bitcoin बस गायब हो सकता है—इन सबको मिलाकर critique यह है कि पूरा design ugly और inelegant है
    https://gwern.net/bitcoin-is-worse-is-better

  • यह समझना मुश्किल है कि ऊपर सिर्फ एक visionary व्यक्ति वाली AI company की hopeful कल्पना को इतना credit क्यों दिया जा रहा है
    पहला, असली visionary CEO बेहद narrow niche है। दूसरा, ज्यादातर companies ऐसे नहीं चलतीं, और workforce का अस्तित्व उतना ही अहम है जितना company जो produce करती है। तीसरा, wage labor नाम की सबसे आम economic engine अचानक गायब हो जाने वाले समाज में उस service या product को खरीदेगा या किराए पर लेगा कौन?
    यह systems thinking बहुत खटकती है, जो मानती है कि social implications को पूरी तरह ignore कर देना ठीक है और systems को मनमर्जी से बदला-मरोड़ा जा सकता है। आसपास दरअसल self-certainty में डूबे, glorified siloed engineers “thinker” बनने का नाटक कर रहे हैं

    • समझ नहीं आता कि human visionary CEO की जरूरत क्यों है। AI के सबसे कड़े critics भी मानते हैं कि LLM bold vision पैदा करने में अच्छे हैं
    • पहली car आने पर भी किसी ने यही बात कही होगी। वह data कहां है कि technological disruption जितनी jobs बनाता है उससे ज्यादा jobs नष्ट करता है?

  • उद्धृत Newton वाले पैराग्राफ़ का लिंक Gwern की वेबसाइट के लेख पर जाता है, और उस लेख में कई internal/external links हैं, लेकिन Newton के “progress” वाले नज़रिए को सहारा देने वाला लिंक मुझे नहीं मिला
    “तेज़ progress” की अवधारणा relative है। उस समय भी तेज़ progress था और अब बस उससे भी तेज़ progress है; इसमें कोई विरोधाभास नहीं। कई सदियों में जहाज़ों में हुए सुधार, Latin दार्शनिक लंबी कविताएँ, सुई या printing press देखकर हम ज़्यादा प्रभावित नहीं होते—इस बात से भी सहमत नहीं हूँ। हम काफ़ी प्रभावित होते हैं
    मुझे समझ नहीं आता कि इस interview को इतने recommendation कैसे मिले, और लगा कि समय बर्बाद हुआ

    • उल्टा भी काम करता है। मानवता ने जो पहले ही हासिल कर लिया है, उसे देखकर विस्मय होता है, लेकिन Middle-Earth या Westeros/Essos जैसे काल्पनिक worlds की chronology पढ़ते समय सवाल उठता है कि वे medieval जैसी era में इतने जमे हुए कैसे रह सकते हैं। आखिर वे कर क्या रहे हैं?
    • क्या आप थोड़ा और समझा सकते हैं कि https://gwern.net/newton का कौन-सा हिस्सा Newton के दृष्टिकोण के बारे में मेरी व्याख्या को support नहीं करता?
      https://gwern.net/newton#excerpts में दूसरा बड़ा quote बहुत साफ़ तौर पर https://www.newtonproject.ox.ac.uk/view/texts/normalized/THEM00173 से जुड़ा है, और Newton ने अपने दामाद से सीधे जो कहा था, उससे लिया गया होने के कारण मेरी दलील को पर्याप्त रूप से सही ठहराता है, ऐसा मुझे लगा। यह Lucretius जैसे दूसरे historical statements से भी काफ़ी closely parallel है, और उन्हें भी साफ़ references और specific quotes के साथ रखा गया है
      इसे बिल्कुल support नहीं करता कहना मुझे थोड़ा समझ नहीं आ रहा, और लग रहा है कि शायद आप कोई और page देख रहे हैं
    • उस quote की historical accuracy से अलग, एक ऐसी दुनिया से जहाँ हर चीज़ पर राय रखने की ज़रूरत नहीं लगती थी, internet की सर्वव्यापक दुनिया में जाने की प्रक्रिया को सीधे अनुभव करते हुए मुझे हमेशा कुछ हद तक ऐसा ही लगा है
      ऐसा इसलिए नहीं कि मैं मानता हूँ कि current timeline में advanced human civilization ने खुद को नष्ट कर लिया है, बल्कि इसलिए कि इतने कम समय में life-changing breakthroughs इतने ज़्यादा आए हैं कि यह Great Filter की ओर एक न रुकने वाली march जैसा दिखता है
    • लगता है लोग रोचक title या शुरुआती कुछ lines पढ़कर recommend दबा देते हैं। बाद में content अच्छा न निकले तब भी downvote का option नहीं होता

  • यह कुछ aggressive लगेगा, और सच में थोड़ा है भी, लेकिन इस forum पर Gwern के साथ मेरी interaction में जो बात याद रह गई, वह यह thread है, जहाँ Gwern ने a^nb^n को regular language समझ लिया था और मेरे comment को “not even wrong” कहा था
    https://news.ycombinator.com/item?id=21559620
    negative बोलने के लिए माफ़ी, लेकिन उस समय तक Gwern को community के काफ़ी बड़े हिस्से में AI field के एक important influencer के रूप में सराहा जा रहा था। मेरे लिए यह इस बात का अच्छा example था कि research नहीं बल्कि social media पर influence के लिए प्रतिस्पर्धा करने वाले ज़्यादातर AI influencers असल में AI और computer science को अच्छी तरह नहीं जानते; वे बस second-hand knowledge को organize और popularize करने में अच्छे होते हैं। AI के mainstream view का cheerleader बनना आसान है। मुश्किल काम है अपनी स्वतंत्र दिशा ढूँढना और उस पर चलना

    • “ज़्यादातर AI influencers AI और computer science नहीं जानते” कहना थोड़ा ज़्यादा है। बेहतरीन और knowledgeable engineers और scientists में भी ऐसे कई लोग हैं जो a^nb^n वाला point नहीं पकड़ पाएँगे। AI और computer science जितने व्यापक areas को 100% जानना असंभव है
    • linked comment पर मेरा निष्कर्ष यह है कि क्या किसी infinite language को recognize किया जा सकता है, यह बहुत theoretical task है और non-formal, intuitive intelligence की अवधारणा से ज़्यादा संबंधित नहीं है
      Transformer a^nb^n को intellectually आसानी से समझ सकता है, लेकिन arbitrarily long string उस language का element है या नहीं, यह तय नहीं कर सकता। लेकिन यह limitation humans में भी है। string sufficiently long हो जाए तो humans भी आखिरकार count खो देते हैं
    • एक और famous AI influencer के साथ बहुत similar चीज़ हुई थी। वह मुझे fake automata theory समझा रहा था, जिसे computer science undergraduate तुरंत पकड़ लेता; उसके 1.4 लाख से ज़्यादा followers हैं और वह Lex या MLST जैसे बड़े podcasts पर भी आ चुका है। मैंने उसे correct नहीं किया, लेकिन मन में note कर लिया कि उस व्यक्ति पर भरोसा नहीं करना चाहिए
    • उसका counterargument यह लगता है कि “formal grammar parsing” LLM का core नहीं है, और यह valid है। regular grammar और context-free grammar के distinction में वह गलत था, लेकिन मुझे लगता है कि ज़्यादातर programmers भी उस फर्क से परिचित नहीं होंगे। a^nb^n की classification सीखना automata theory का classic task इसलिए भी है कि इतनी simple grammar का context-free होना surprising है
    • यहाँ मैं Feynman-style नज़रिया अपनाता हूँ। vanity वाली memory tricks अपने-आप में कोई नया net production नहीं हैं, इसलिए known चीज़ें बस किताबों में देखी जा सकती हैं
      अलग-अलग efforts का सम्मान है, लेकिन engineering का मतलब सब कुछ जानना नहीं, बल्कि ऐसी चीज़ें बनाना है जिन्हें लोग इस्तेमाल कर सकें। यह human Google search engine बनने से कहीं ज़्यादा दिलचस्प काम है

  • avatar idea दिलचस्प है, लेकिन बोलता हुआ avatar बनाने के बजाय शायद सिर्फ़ voice और audio waveform होना बेहतर रहता। शायद यह मेरी निजी पसंद है कि किसी अनजान व्यक्ति की mental image नहीं रखना चाहता। यह film adaptation देखने के बाद किताब पढ़ने जैसा है

    • मुझे भी अजीब लगा। हमारे देश में TV series जब anonymous interview करती हैं, तो pixelated face, camera से दूसरी तरफ़ देखते हुए व्यक्ति, shadow में छिपा चेहरा जैसी specific visual language इस्तेमाल करती हैं
      actor द्वारा voice dub करना normal है, लेकिन actor द्वारा anonymous person का चेहरा दिखाना काफ़ी अजीब choice है
    • क्या बस interview सुन लेना ही काफी नहीं?

  • anonymity का फायदा: “मुझे बहुत फायदा हुआ कि लोग मेरे घर heroin नहीं भेज सकते या police को झूठी complaint करके SWAT नहीं बुलवा सकते”
    anonymity का नुकसान: free heroin नहीं मिलती