1 पॉइंट द्वारा GN⁺ 2023-11-03 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Meta के चीफ AI साइंटिस्ट Yann LeCun मानते हैं कि AI का वास्तविक जोखिम मानवता के विनाश से ज्यादा कुछ कंपनियों के दीर्घकालिक नियंत्रण में है
  • आलोचना का केंद्र यह है कि Sam Altman, Demis Hassabis और Dario Amodei AI safety की चर्चा को आगे रखकर डर फैलाने और कॉर्पोरेट lobbying कर रहे हैं
  • मार्च 2023 में 1,000 से अधिक tech leaders ने AI development को 6 महीने रोकने वाले खुले पत्र पर हस्ताक्षर किए, जिसके बाद AI risk पर बहस industry regulation और power structure के मुद्दों तक फैल गई
  • LeCun के अनुसार, ‘superintelligence चालू करते ही मानवता खत्म हो जाएगी’ वाला hard take-off नजरिया बढ़ा-चढ़ाकर पेश किया गया है; असली मुद्दा यह है कि AI कैसे develop और release होता है
  • बंद, profit-driven कंपनियों के केंद्र में AI development और open-source AI के कमजोर पड़ने का मेल हो जाए, तो कुछ ही कंपनियां platforms और लोगों के digital environment को नियंत्रित कर सकती हैं

LeCun की चिंता: प्रलयवाद से ज्यादा regulatory capture

  • Yann LeCun AI के अधिक वास्तविक खतरे को power concentration में देखते हैं
    • वे ऐसी स्थिति को लेकर चिंतित हैं जिसमें कुछ “one-percenters” AI से पैदा होने वाली संपत्ति पर monopoly कर लें और बाकी लोगों को बाहर कर दें
  • X पोस्ट में उन्होंने OpenAI के Sam Altman, Google DeepMind के Demis Hassabis और Anthropic के Dario Amodei का सीधे उल्लेख किया
    • उन्होंने आलोचना की कि ये लोग AI safety regulation की चर्चा में बड़े पैमाने पर corporate lobbying कर रहे हैं
    • अगर यह कोशिश सफल होती है, तो “कुछ कंपनियां AI को control” करेंगी, और LeCun ने इसे “catastrophe” कहा
  • Altman, Hassabis और Amodei ने Insider की comment request का तुरंत जवाब नहीं दिया
  • यह बयान physicist Max Tegmark की X पोस्ट के जवाब में आया
    • Tegmark का मानना है कि LeCun AI के प्रलयकारी जोखिमों को पर्याप्त गंभीरता से नहीं लेते
    • UK के global AI safety summit का उल्लेख करते हुए उन्होंने कहा कि Turing, Hinton, Bengio, Russell, Altman, Hassabis और Amodei की AI existential risk पर चर्चा को सिर्फ cynicism या corporate lobbying कहकर खारिज नहीं किया जा सकता

डर की narrative और open-source AI के बीच तनाव

  • ChatGPT के launch के बाद AI industry की प्रमुख हस्तियों का public influence बढ़ा, और LeCun के अनुसार कुछ founders ने अपनी बेची जा रही technology को लेकर डर बढ़ाने में काफी समय लगाया
  • मार्च 2023 में Elon Musk, Altman, Hassabis, Amodei समेत 1,000 से अधिक tech leaders ने AI development को कम से कम 6 महीने रोकने का खुला पत्र sign किया
    • पत्र ने चेतावनी दी कि hypothetical AI systems “समाज और मानवता के लिए गंभीर जोखिम” पैदा कर सकते हैं
    • हस्ताक्षरकर्ताओं में से एक Tegmark ने AI development को “suicide race” बताया
  • LeCun और अन्य आलोचकों का मानना है कि ऐसी चेतावनियां सत्ता को मजबूत कर सकती हैं और AI के मौजूदा जोखिमों को धुंधला कर सकती हैं
    • Distributed AI Research Institute ने worker exploitation और data theft को वास्तविक जोखिम बताया, और माना कि इनके लाभ “कुछ entities” को मिलते हैं
  • LeCun के अनुसार लोग “hard take-off” मिथक के कारण AI risk पर जरूरत से ज्यादा घबरा रहे हैं
    • hard take-off वह विचार है कि superintelligent system चालू करते ही मानवता खत्म हो जाती है
    • LeCun मानते हैं कि नई technology व्यापक रूप से deploy होने से पहले असल में एक व्यवस्थित development process से गुजरती है

मुख्य मुद्दा यह है कि AI कैसे develop होता है

  • LeCun के लिए अभी focus करने वाली बात AI की capability से ज्यादा development model है
    • वे AI development के private, profit-driven companies के भीतर बंद हो जाने और outputs के public न होने की स्थिति को खतरनाक मानते हैं
    • वे AI open-source community के गायब होने की स्थिति को लेकर भी चिंतित हैं
  • Meta ने GPT से प्रतिस्पर्धा करने वाला large language model LLaMa 2 कुछ हद तक open source के रूप में release किया
    • उद्देश्य यह है कि व्यापक tech community model के अंदरूनी हिस्सों को देख सके
    • अन्य big tech कंपनियों ने इसी तरह का open-source release नहीं किया है, और OpenAI के बारे में open-source AI model release पर विचार करने की अफवाह है
  • LeCun का मानना है कि अगर regulation के कारण open-source AI खत्म हो जाता है, तो US West Coast और China की कुछ कंपनियां AI platforms और लोगों की पूरी digital diet को control करेंगी
    • ऐसी स्थिति democracy और cultural diversity से जुड़े सवालों तक ले जाती है

1 टिप्पणियां

 
GN⁺ 2023-11-03
Hacker News की राय
  • Archive.is कैश: https://archive.is/HbRLy

  • मौजूदा ताकतवर कंपनियां X-Risk और अचानक मानवता के विलुप्त हो जाने जैसे बढ़ा-चढ़ाकर किए गए दावों का इस्तेमाल कर regulatory capture के जरिए सत्ता हासिल करने की कोशिश कर रही हैं—यह अब तक tech industry में देखी गई सबसे निंदक चालों में से एक लगती है
    open source हमारे पास मौजूद सबसे बड़े उपहारों में से एक है, और हास्यास्पद licenses व reporting obligations के जरिए AI को बंद करने की कोशिश समझ से परे है
    दुर्भावनापूर्ण या दुरुपयोग वाले software उपयोगों से मौजूदा कानूनों के तहत पहले से निपटा जा सकता है

    • “रुक जाएं” कहना regulatory capture नहीं है। कुछ बड़ी AI कंपनियां “रुकने” को “यह सावधानी से सिर्फ हम कर सकते हैं” में तोड़-मरोड़ रही हैं, लेकिन existential risk रोकने का असली तरीका रुकना ही है
      https://twitter.com/ESYudkowsky/status/1719777049576128542
      “रुकना” का मतलब licenses या reporting obligations नहीं, बल्कि सचमुच रुकना है
    • आप कितने यकीन से कह सकते हैं कि वे सच में खतरे पर विश्वास नहीं करते? यह सिर्फ सुनी-सुनाई बात है, लेकिन OpenAI में निचले स्तर के कुछ लोग भी इस खतरे को गंभीरता से लेने लायक मानते दिखे, और यह सिर्फ किसी CEO की निंदक चाल भर नहीं है
      Sam Altman ने Yudkowsky से कई बार बात की है, और ऐसा लगता है कि वे पहले models बनाकर और फिर आगे की रफ्तार धीमी करके कम-शक्ति वाले model से alignment problem हल करना सबसे अच्छा मानते हैं
      सफलता की संभावना बहुत ज्यादा नहीं दिखती, लेकिन अभी इससे कहीं बेहतर विकल्प भी खास नजर नहीं आता
    • मेरी राय लगभग यही है। extinction risk वाली दलील लंबी अवधि में कुछ हद तक plausible है, लेकिन उस स्तर की समस्या इतनी नजदीक आती नहीं दिखती
      इसके उलट, इस technology में कुछ मनुष्यों को दूसरे मनुष्यों पर और ज्यादा शक्ति मिल जाने जैसा वास्तविक और तत्काल जोखिम है
      extinction risk वाले पक्ष से सुझाए गए उपाय उलटे उस तत्काल जोखिम को और खराब करते हैं। किसी भी technology को कुछ लोगों द्वारा बाकी लोगों को नियंत्रित करने में इस्तेमाल होने से रोकने का इकलौता तरीका हमेशा यही रहा है कि उसे सबकी पहुंच में लाकर democratize किया जाए
      access सीमित करने पर, भले ही कानून तोड़ना पड़े, access रखने वालों के पास और ज्यादा शक्ति जमा हो जाती है
      95% confidence interval की lower bound मानकर भी मुझे यह करीब 50–100 साल बाद की बात लगती है। मैं जानता हूं कि समझदार लोग इस अनुमान से सहमत नहीं होंगे, लेकिन मेरी ईमानदार राय यही है
    • मौजूदा कानून पर्याप्त नहीं हैं। वरना automated racial profiling, बड़े पैमाने पर facial recognition, credit/social scoring जैसी चीजें नहीं होतीं
      AI को त्रुटिहीन मानने जैसी सोच से यह और खराब होने की पूरी संभावना है
      इसलिए EU AI regulation में foundation models का गहन documentation और training data disclosure, social scoring जैसे high-risk uses पर रोक, AI decisions की इंसानों द्वारा समझी जा सकने वाली explainability, और यह स्पष्ट रूप से बताने की अनिवार्यता शामिल है कि व्यक्ति AI system से interact कर रहा है
    • इस paper के co-authors में शामिल विश्व-स्तरीय वैज्ञानिकों में से कोई भी बड़े labs में काम नहीं करता: https://managing-ai-risks.com/
      यह conspiracy आखिर ठीक-ठीक कैसे काम करती है? क्या आपका मतलब है कि Yoshua Bengio को खरीदा जा रहा है?
      संदर्भ के लिए, मैं एक बड़े lab में safety पर काम करता हूं, लेकिन वे समर्थक ऐसा नहीं करते
  • तकनीकी लोगों के बीच दिख रहे इस anti-regulation माहौल का विरोध किया जाना चाहिए, ऐसा मुझे लगता है
    Yann से कहूं तो, इस समय मैं AI research को धीमा करने और नियंत्रित करने के लिए मजबूत कदमों का पूरा समर्थन करता/करती हूं। संबंधित कंपनियों में मेरा कोई हित नहीं है, और मैं उस इमारत में एक साल रहा/रही हूं जहां हर हफ्ते कई बार AI events होते थे, इसलिए मैं अनजान भी नहीं हूं
    मानवता जिन बहुत कम क्षेत्रों में उचित सावधानी वाली वास्तविक प्रतिक्रिया पर चर्चा कर रही है, उनमें यह लगभग अकेला है। यह x-risk चर्चा और Covid पर तेज प्रतिक्रिया ही यह उम्मीद देती हैं कि मानवता में खुद को नष्ट न करने की क्षमता है
    बाद में अगर AI x-risk 100% बेबुनियाद साबित भी हो जाए, तब भी मैं यही कहूंगा/कहूंगी
    मानवता ने सामूहिक रूप से ब्रेक लगाने की क्षमता शायद ही कभी दिखाई है, और सिर्फ “क्या हम यह कर सकते हैं” को परखना भी मूल्यवान है। यह सचमुच जरूरी काम है और स्वागतयोग्य है

    • समस्या यह नहीं है कि सावधानी की जरूरत है या नहीं, बल्कि यह है कि Sam Altman उस सावधानी का अपनी कंपनी का मूल्य बढ़ाने के लिए निंदक ढंग से इस्तेमाल करते हैं
      Silicon Valley के किसी एक अमीर व्यक्ति पर किसी और से ज्यादा भरोसा करने का कोई कारण नहीं है। वह बैठकर यह क्यों तय करे कि हम क्या नहीं कर सकते, और इसी दौरान खुद और अमीर क्यों बने? लेख का मुख्य मुद्दा भी यही है
    • इस ब्रेक लगाने का सबसे संभावित परिणाम यह होगा कि बहुत अमीर या ताकतवर लोगों का एक छोटा समूह high-performance AI पर monopoly कर लेगा
      वे इसे अपने intelligence amplifier की तरह इस्तेमाल कर सकते हैं, बाकी मानवता को degraded version का access किराए पर दे सकते हैं, और और भी बेहिसाब अमीर बन सकते हैं
      अगर AI कुछ लोगों की उम्मीद जितनी विस्फोटक गति से आगे बढ़ता है, तो हमें अभी जो सत्ता-कब्जा दिख रहा हो सकता है, उसके पैमाने को ठीक से समझना होगा
      सबसे plausible “foom” scenario यह है कि कुछ इंसान superintelligence का इस्तेमाल करके जीवित देवता बन जाएं। foom खुद मुझे बहुत speculative लगता है, लेकिन यह version plausible है। क्योंकि हम जानते हैं कि इंसान पहले से ही ऐसे ही व्यवहार करते हैं, और AI के बारे में अभी self-awareness या independence की बात करने की अवस्था नहीं आई है
      मुझे नहीं लगता कि AI को लेकर चिंतित अधिकांश वास्तविक वैज्ञानिक यही चाहते हैं, लेकिन regulatory regime में यही होगा। “सही” लोगों को हमेशा वह करने की छूट होती है जो वे चाहते हैं, और regulation गरीब तथा political connections से वंचित लोगों पर लागू होता है
      AI development जारी रहेगा, बस monopoly में चला जाएगा। अगर कोई foom scenario संभव है, तो वह फिर भी होगा, और वह उसे बनाने वाले privileged वर्ग से विरासत में मिले भारी privileges के आधार पर शुरू होगा
      वास्तव में “pause” होने की संभावना 0 है
    • AI जो जोखिम पेश करता है, उसे मैं पूरी तरह स्वीकार करता/करती हूं, और मानता/मानती हूं कि मानवता के लिए इसके परिणाम कुल मिलाकर भयानक होने की संभावना ज्यादा है
      लेकिन मेरी analysis क्षमता और internet की anonymity की वजह से ईमानदारी से कहूं तो, पूर्ण superintelligent AI देखने की जबरदस्त इच्छा मेरे objective judgment को गंभीर रूप से दूषित कर रही है
      मैं इसे साकार होते देखना इतना चाहता/चाहती हूं कि मेरे दिमाग की default प्रतिक्रिया कुछ ऐसी है: “नतीजों की चिंता मत करो, बस सोचो कि यह कितना पागलपन भरा awesome होगा”
      बाहर से मैं ऐसा नहीं कहूंगा/कहूंगी, लेकिन अंदर से मेरी भावना यही है। खासकर जिन लोगों ने AI development को अपने जीवन का काम बना लिया है, उन्होंने Eden तक पहुंचने के लिए जीवन समर्पित किया है—फिर वे उसके फल का एक कौर भी कैसे न खाएं
    • doomers जब मौत के जोखिम की बात करते हैं, तो यह कुछ ऐसा है जैसे कहा जाए कि बाहर की दुनिया में exposure से मरने का जोखिम है। बेशक जोखिम है, लेकिन risk-reward के कारण फिर भी बाहर जाना पड़ता है
      AI में भी जोखिम का अंतिम छोर हमेशा मौत हो सकता है, लेकिन reward कहीं ज्यादा बड़ा है। लगता है कि असामान्य रूप से कम risk tolerance वाले लोग इस चर्चा में बहुत खिंचे चले आ रहे हैं
    • एक तरफ popular culture से निकला लगता खोखला “risk” है, और दूसरी तरफ हजारों सालों में अनगिनत बार सामने आई मानव स्वभाव की कुरूपता है
      ये वे लोग हैं जिनके पास विशाल resources हैं, और हमेशा की तरह वे और अधिक धन और सत्ता पाने के जुनून में हैं
      वे discourse को manipulate करके मौजूदा असली खतरे—यानी खुद उनसे—ध्यान हटाकर, काल्पनिक खतरे “Terminator आ रहा है” की ओर focus shift कर रहे हैं
      अधिकांश fiction में Terminator सरकार या बड़ी corporate labs में, ठीक Altman के गिरोह जैसे लोगों द्वारा ही बनाए जाते हैं। कहानी हमेशा ऐसी रही है कि जर्जर rebels किसी billionaire villain या faceless organization से लड़ते हैं
      अगर आप AI से मानवता के भविष्य की रक्षा करना चाहते हैं, तो मौजूदा human power-holders पर focus करें। इस scenario के villains वही हैं, और हमेशा वही रहे हैं
  • “prototype बनाओ, छोटे पैमाने पर test करो, limited rollout करो, समस्याएं ठीक करो, उसे ज्यादा safe बनाओ और फिर व्यापक रूप से deploy करो” वाली बात यह मानकर चलती है कि problematic technology जानबूझकर develop की गई थी
    लेकिन यह जानबूझकर बनाई गई technology में emergent property के रूप में भी पैदा हो सकती है
    ऐसी emergent properties के लिए हमारे पास पहले से एक नाम है: “bug”। Heartbleed को किसी ने limited rollout नहीं किया था, Spectre और Rowhammer के साथ भी यही था। हमें उनके fallout को संभालना पड़ा, और वह अभी खत्म भी नहीं हुआ है
    कौन guarantee दे सकता है कि technology का जोखिम universal deployment तक छिपा नहीं रह सकता

    • वह तर्क खास तौर पर wishful thinking जैसा दिखता है। पिछले 10 सालों में tech industry में ऐसा क्या देखा गया कि अब लगे कि वे “धीरे चलो और सावधानी से deploy करो” वाली strategy अपनाएंगे, समझ नहीं आता
      ऊपर से, “We have no moat and neither does OpenAI” के point को अलग रख दें तब भी यही बात है। मुख्य stakeholders चाहे जितने सावधान हों, technology अस्तित्व में आ गई तो जल्द ही open-source versions लगभग बिना safety considerations के हर तरफ deploy होंगे
    • सही है। 20 साल पुराने viruses भी आज तक autonomously programs follow करते हुए समस्याएं पैदा कर रहे हैं
      जिन इंसानों ने उन्हें बनाया था उन्हें अब कोई लाभ नहीं मिलता, वे किसी भी इंसान की intent से aligned नहीं हैं, और उन्हें “बंद” भी नहीं किया जा सकता
  • मुझे लगता है Yann शायद गलत हैं
    वे “प्रलयवादियों” की दलील को ईमानदारी से लेने की कोशिश नहीं करते। उसी तरह की coordinated reasoning Yann खुद और Meta के वित्तीय लक्ष्यों पर भी लागू हो सकती है, इसलिए यह कोई विश्वसनीय framing नहीं है
    गाली-गलौज से अलग, जब वे चर्चा की कोशिश भी करते हैं, तो ऐसे उदाहरण देते हैं कि वे बहुत से बुद्धिमान लोगों को जानते हैं लेकिन वे राष्ट्रपति नहीं हैं, या उनकी बिल्ली भी काफ़ी बुद्धिमान है लेकिन उन पर राज नहीं करती। इशारा यह है कि intelligence हमेशा control नहीं होती, और यह इस बात का काफ़ी अच्छा सबूत है कि वे जोखिम को गंभीरता से नहीं ले रहे
    जोखिम स्मार्ट इंसान और मूर्ख इंसान के बीच intelligence gap का नहीं है। संसद में कितने chimpanzee हैं? प्राथमिक चुनावों में? बिल्कुल नहीं
    AGI existential risk में capability gap उससे कहीं बड़ा है, और मूल रूप से alignment भी कहीं कम है
    अच्छा है कि सत्ता में बैठे दूसरे लोग Yann से आश्वस्त नहीं हो रहे

    • किसका नजरिया विश्वसनीय है, और उस नजरिए को समझने के लिए क्या पढ़ना या देखना चाहिए? मैंने LessWrong के लेख और Eliezer के कई lectures देखे हैं, लेकिन तर्क का आधार अब भी समझना मुश्किल है, और जो हिस्से समझ आते हैं वे भी बहुत धुंधले लगते हैं
      अब तक मुझे जो एकमात्र प्रस्ताव समझ आया है वह FEP वाला है। अगर कोई AI में self-generating mechanism सेट कर देता है, तो वह AI इंसानों की बजाय अपनी survival probability बढ़ाने वाले काम कर सकता है
      लेकिन बड़े operators के पास इसमें संसाधन लगाने का incentive दिखता नहीं, इसलिए यह बहुत संभावित नहीं लगता। मैं क्या miss कर रहा हूँ?
    • AI द्वारा इंसानों को विलुप्त करने का कोई स्पष्ट, practical और rational scenario अभी तक नहीं है। कृपया यह न कहें कि AI launch codes पर कब्ज़ा करके random missiles दाग देगा
    • मैं भी बिल्कुल यही सोचता हूँ
      मैं Eliezer के doom scenario से सहमत नहीं हूँ, लेकिन ऐसे scientist से भी आश्वस्त होना मुश्किल है जो उठाए गए जोखिमों पर चर्चा नहीं करता और public fear-mongering तथा power grab के डर को हवा देता है
    • AGI सामाजिक power dynamics को कैसे प्रभावित करेगा, इसे सबसे अच्छी तरह समझने वाले लोग शायद AI researchers नहीं बल्कि political animals होंगे
      अगर AI researchers में कोई skilled politician हो तो अपवाद हो सकता है, लेकिन ऐसा कोई दिखता नहीं
    • “प्रलयवादी” तर्क को केवल एक logical consideration से भी अपेक्षाकृत आसानी से खारिज किया जा सकता है
      हर देश में एक ऐसा समूह होता है जो किसी भी दूसरे समूह से कहीं ज्यादा खतरनाक होता है। इनके पास अरबों से लेकर सैकड़ों अरब डॉलर तक की “income” होती है, और वे यह पैसा सिर्फ लोगों को मारने, सरकारों को नष्ट करने, और एक देश द्वारा दूसरे देश पर अपनी इच्छा जबरन थोपने के नए तरीके खोजने में खर्च करते हैं। इन्हें कानूनी immunity भी पूरी होती है
      और यही वह समूह है जिसे, चाहे हम publicly कोई भी rules या treaties अपनाएँ, “restricted” AI models तक न सिर्फ unlimited बल्कि शायद exclusive cutting-edge access भी मिलने वाला है
      तो फिर असल में मुझे किससे बचाया जा रहा है? पड़ोसियों से? सड़क अपराधियों से? sociopaths या उनके समूह से?
      ऐसा भी नहीं है कि कुछ toothpicks और toothpaste tube से WMD बनाने की कोई गुप्त तरकीब है, या web search या library search से पहले से व्यापक रूप से उपलब्ध “tricks” से आगे कुछ है
      restricted scenario में वे समूह, जो हमें doomsday-type scenario की ओर धकेलने की overwhelmingly सबसे अधिक संभावना रखते हैं, AI-type systems तक पूरी तरह unrestricted access बनाए रखते हैं। समाज की रक्षा करने का तर्क पूरी तरह cynic और हास्यास्पद है
  • मशहूर AI researchers को AI Godfather का label देना बंद करना चाहिए। यह बहुत हास्यास्पद है और तथ्यों से भी काफी मेल नहीं खाता
    AI की अवधारणा Turing के समय से रही है, और अगर किसी को “AI का पिता” जैसा खिताब मिलना चाहिए तो वे ज्यादा उपयुक्त होंगे
    LeCun को बस Meta का Chief AI Scientist कहा जा सकता है

    • LeCun को Meta की position के कारण AI godfather नहीं कहा जाता, बल्कि इसलिए कहा जाता है क्योंकि उन्होंने 1989 में convolutional neural networks पर pioneering research की थी
    • LeCun 1989 के paper “Backpropagation Applied to Handwritten Zip Code Recognition” के lead author हैं, और यह backpropagation से end-to-end train किए गए neural network के सबसे शुरुआती real-world applications में से एक है
      “AI godfather” अभिव्यक्ति काफी उचित है
    • यह अभिव्यक्ति आमतौर पर 2018 का Turing Award पाने वाले तीन लोगों—Geoffrey Hinton, Yoshua Bengio, और Yann LeCun—के लिए इस्तेमाल होती है
    • LeCun का convolutional neural networks पर काम modern AI में योगदान देता है, इसलिए nickname काफी उपयुक्त है। इसी वजह से Facebook उन्हें लाना चाहता था
    • dictionary के अनुसार godfather की परिभाषा है “किसी movement या organization में प्रभावशाली या pioneering पुरुष”
      prominent AI researchers को prominent इसलिए माना जाता है क्योंकि उन्होंने AI से जुड़ी धाराओं को प्रभावित किया, है ना?
  • अगर open-source models को illegal बनाने की कोशिश की गई, तो AI को terror tool की तरह इस्तेमाल करने वाली fringe forces को ऐसा माहौल मिलेगा जहाँ competition लगभग नहीं होगा और countermeasures के बारे में knowledge भी बहुत कम होगी
    मुझे बहुत विश्वास नहीं है कि यह tool, misuse होने पर, इतिहास के उन अन्य tools से अधिक बुरा साबित होगा जिनसे लोगों की जान जा सकती थी, लेकिन इसे सिर्फ underground धकेल देने से यह गायब नहीं होगा
    केवल intellectually curious सामान्य लोग जेल जाएँगे, और criminals वही काम जारी रखकर हमारा शोषण करते रहेंगे

    • terrorists द्वारा AI से विनाश मचाने की बात बस hand-waving स्तर की अस्पष्ट बात है। terrorists पहले से ही web से काफी जानकारी पा सकते हैं
      large language models कोई नया edge नहीं देते, और AutoGPT के साथ “killer bot” army बनाकर “destruction” करने जैसी कोई जादुई चीज़ नहीं है
      फिलहाल यह movies से निकली बातों को दोहराने वाले लोगों के points को हूबहू दोहराने जैसा है
    • fissile material को कड़ाई से control और regulate किया जाता है, और यह काफी सफल भी रहा है
      AI development रोकने के लिए जिन measures की जरूरत होगी वे आपको पसंद न आएँ, लेकिन इसे रोका जा सकता है
  • लोग अभी बेहद आम हो चुके large language models और diffusion models पर ध्यान दे रहे हैं, लेकिन अगर stock selection और prediction के लिए AI सच में बिल्कुल अलग स्तर का हो जाए और मौजूदा models को लगातार पीछे छोड़ने लगे, तो वह भारी संपत्ति सोख लेगा
    अगर operators अल्पकालिक लालच में आकर system को रातोंरात ध्वस्त न कर दें, तो वे व्यावहारिक रूप से समाज के मालिक भी बन सकते हैं

    • इस पर बहस हो सकती है, लेकिन कहा जा सकता है कि अतीत में ऐसा कम-से-कम दो बार हो चुका है। एक बार Black-Scholes model की खोज के समय, और दूसरी बार जब high-frequency trading और व्यावहारिक रूप से order front-running संभव हो गई थी
      बाजार की दिलचस्प बात यह है कि आम तौर पर पैसा तभी कमाया जा सकता है जब price गलत लगा हो। इसी वजह से पूरी जानकारी रखने वाले actor के लिए भी कुल संभावित लाभ की सीमा होती है
      भले ही कोई AI model किसी कंपनी के भविष्य के cash flows और future interest rates को लगभग निश्चितता से predict कर सके, discount cash flow निकालकर आज या भविष्य का fair stock price आसानी से तय किया जा सकता है
      बाजार के ढहने के बजाय उसके और स्थिर होने, और stocks के bonds जैसी चाल दिखाने की संभावना ज्यादा है
    • prediction की बुनियादी सीमाएं हैं। इन सीमाओं को परिभाषित करना algorithmic information theory का मुख्य हिस्सा है, और ये AI improvement पर भी लागू होने वाली boundary हैं
      physics की constraints के अधीन algorithmic information theory “strong takeoff” scenarios को आसानी से allow नहीं करती—यह उस scenario के खिलाफ मजबूत तर्कों में से एक है
      https://en.wikipedia.org/wiki/Algorithmic_information_theory
    • मैं उस तर्क को ठीक से follow नहीं कर पा रहा। ऐसा system trading wealth तो सोख सकता है, लेकिन company owners को allocated equity value और उनके द्वारा create की जाने वाली wealth की तुलना में वह बहुत छोटा नहीं होगा?
    • financial world में machine learning models की limits पहले से ही पता थीं, ऐसा लगता है
      past financial data से predict करने की एक सीमा होती है
      अगर machine learning से money-printing machine बनाने का तरीका होता, तो वह पहले ही हो चुका होता
      यह language या image generation की तुलना में कहीं आसान problem space है
    • BlackRock पहले से ही society को “own” करता है
      लोग बेवकूफ algorithms पर अटक जाते हैं, लेकिन असली काम हमेशा इंसानों के बीच होता है। software algorithm कितना भी sophisticated हो, वह इंसानों की chessboard पर सिर्फ एक मोहरा है
      बहुत दूर भविष्य में silicon lifeforms अपनी शर्तों पर उस chessboard में प्रवेश कर सकते हैं। उस दूर की संभावना का इस्तेमाल करके आज यहीं फायदा उठाने की strategy अजीब है
      फिर भी लगता है कि वह strategy काम कर रही है। यह दिखाता है कि कमजोर आधार होने पर भी अगर कहानी अच्छी हो तो हम धोखा खा जाने वाले, कम intelligence वाले lemmings के झुंड जैसे हैं
  • large language models पर monopoly करने के लिए अब बहुत देर हो चुकी है। उन्हें बनाने की technology ज्ञात है और cost लगातार नीचे आ रही है
    चिंता करने लायक चीजें हैं, लेकिन यह उनमें से एक नहीं लगती

    • दो बातें हैं
      GPU prices mining boom जितने ऊंचे नहीं हैं, लेकिन A100 bundles खरीदने के लिए एक कार जितना पैसा चाहिए। ऊपर से Google जैसी जगहें next-generation machine learning accelerators बना रही हैं, और अपने best products तो बेचती भी नहीं हैं
      compute resources समस्या का सिर्फ आधा हिस्सा हैं। emails, smart assistant queries, Ring doorbells जैसी forms में data access rights बेहद underestimated दूसरा आधा हिस्सा हैं
    • यह सही है। बड़े models की training की legality को restrict करने के लिए groundwork पहले से बिछाया जा रहा है। हालिया executive order देखिए
      training runs और data centers को government को report करने की thresholds के तौर पर काफी छोटी cutoff sizes तय की जा रही हैं
      साथ ही x-risk और CBRN risk testing frameworks और security environments develop करने के आदेश भी दिए गए हैं, ताकि इन्हें private sector सहित model developers पर requirements के रूप में लागू किया जा सके
      यह कहा जा सकता है कि large language models develop करने के लिए जरूरी knowledge open source है इसलिए सभी के लिए accessible है, और सच में, पूरी तरह नहीं लेकिन मोटे तौर पर यह सही भी है
      लेकिन federal government अभी ऐसी प्रक्रिया में है जिससे इसे कानूनी रूप से सिर्फ कुछ खास लोग ही कर सकें
    • training अभी भी बहुत महंगी है। अगर यह सस्ती भी हो जाए, तो बेहतर performance वाले next-generation models फिर से महंगे होंगे
      सिर्फ consumer hardware से state-of-the-art model train करना बहुत मुश्किल हो सकता है
    • मुझे यकीन नहीं कि non-institutional लोग catch up कर पाएंगे
      OpenAI large language models पर regulatory capture करने की कोशिश कर रहा है ताकि Amazon या well-funded unicorns पीछे से न आ सकें। जब ये players जम जाएंगे, तो जो लोग बाहर रह गए वे खत्म हैं
      average HN reader OpenAI से compete नहीं कर सकता। वे venture-funded competitors की नई लहर को रोककर pie का जितना हो सके उतना बड़ा हिस्सा लेना चाहते हैं
      large language models पर hype और fundraising cycle काफी हद तक खत्म हो चुका है। आप Anthropic नहीं हैं, और इस game में entry करने के लिए शायद बहुत देर हो चुकी है
    • इस issue में technology cost मायने नहीं रखती
      अहम चीज hammer नहीं, building permit है
  • कुछ speculators कहते हैं कि हम abundance के युग में प्रवेश कर रहे हैं, जहां पैसा बहुत कम important हो जाएगा या बिल्कुल important नहीं रहेगा
    लेकिन अगर ऐसा है, तो companies अपने मौजूदा “profit is everything” state से “money does not matter” में कैसे transition करेंगी?
    मुझे तो इसके बजाय monopolization की संभावना कहीं ज्यादा लगती है

    • abundance किसके लिए? उत्पादन के मौजूदा साधनों से ही हमारी पूरी species उन चीजों का आनंद लेते हुए आराम से जी सकती है जिनका आखिरी Roman emperor ने सपने में भी नहीं सोचा होगा
      फिर भी ऐसे लोग हैं जो अपने बच्चों को खिला नहीं पाते, लोग overwork से मरते हैं, और लोग जमीन के लिए एक-दूसरे को मारते हैं
    • हम बहुत पहले से abundance state में हैं। बस हमने उस abundance को distribute न करने का विकल्प चुना है
    • Roblox या Second Life जैसी जगहों में मजबूत virtual goods markets और काफी बड़ी virtual economy को देखते हुए, मुझे लगता है कि हम post-scarcity से कितनी भी दूर क्यों न चले जाएं, markets हमेशा मौजूद रह सकते हैं और वास्तव में रहेंगे
      यह इस assumption पर है कि humanity अपने मौजूदा रूप में जारी रहती है और consumption preferences stable रहती हैं। capitalism model को लेकर उतना भरोसा नहीं है, लेकिन वह भी जारी रह सकता है। शायद सिर्फ मजे के लिए भी
      https://en.wikipedia.org/wiki/Virtual_economy
    • bankruptcy, regulation, trust-busting, sabotage हैं