Google के पूर्व CEO Eric Schmidt का Stanford AI लेक्चर: पूरा पाठ

 (github.com/ociubotaru)
1 पॉइंट द्वारा GN⁺ 2024-08-17 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Eric Schmidt ने अगले 1–2 वर्षों में AI के मोड़ के रूप में लंबी context window, agents, और text-to-action को चुना, और माना कि ये तीनों तत्व मिल जाएँ तो ऐसे पैमाने का बदलाव होगा जिसकी आज कल्पना करना कठिन है
  • Frontier model की प्रतिस्पर्धा में अग्रणी कंपनियों और बाकी के बीच अंतर फिर से बढ़ने की दिशा दिख रही है, और कुछ कंपनियाँ 100 अरब–300 अरब डॉलर के data center और बिजली की उपलब्धता को मुख्य शर्त मान रही हैं
  • NVIDIA की बढ़त सिर्फ GPU performance में नहीं, बल्कि CUDA और 10 साल से अधिक समय में बने machine learning optimization ecosystem में है; प्रतिस्पर्धियों की migration कोशिशें अभी पूरी तरह काम नहीं कर रहीं, ऐसा उल्लेख हुआ
  • राष्ट्रीय सुरक्षा के नज़रिए से अमेरिका और चीन के बीच knowledge superiority competition मुख्य है, और advanced chips पर export restrictions व CHIPS Act जैसी नीतियाँ इसी विस्तार का हिस्सा हैं
  • लेक्चर और उसके बाद की class discussion labor market, education, open source, copyright, misinformation, और university research infrastructure तक फैलती है; startup competition में तेज़ prototyping और AI tools के इस्तेमाल की गति और अहम हो गई है

निकट अवधि में AI बदलाव: context, agents, text-to-action

  • Schmidt ने आने वाले 1–2 वर्षों में AI में सबसे महत्वपूर्ण बदलावों के रूप में बहुत लंबी context window, AI agents, और text-to-action को बताया
  • Context window को short-term memory की तरह इस्तेमाल किया जा सकता है; Anthropic 200,000 tokens से 1 million tokens की ओर जा रहा है और उनके अनुसार OpenAI का भी मिलता-जुलता लक्ष्य होगा
  • लंबा context, 20 किताबों जितना बड़ा text एक साथ डालकर सवाल पूछना संभव बनाता है, लेकिन फिलहाल बीच के हिस्सों को भूल जाने की समस्या बनी हुई है
  • Agent वह रूप है जिसमें LLM state को memory में रखते हुए काम किया जाता है; उदाहरण में chemistry principles पढ़ना, hypothesis बनाना, और फिर experiment results को दोबारा learning में शामिल करना बताया गया
  • Text-to-action सिर्फ text को और अधिक text में बदलने तक सीमित नहीं है, बल्कि natural language को digital commands या Python execution में बदलने का तरीका है
    • TikTok ban की स्थिति मानकर यह command example दिया गया: “TikTok की copy बनाओ, users और music ले आओ, preferences डालो, 30 सेकंड में program बनाओ, और अगर 1 घंटे में viral न हो तो कुछ और करो”
    • यह example दिखाता है कि arbitrary natural language जब arbitrary digital command में बदलती है तो कैसी ताकत पैदा होती है
  • Schmidt के अनुसार, ये तीन बदलाव मिलकर ऐसी स्थिति के करीब ले जाते हैं जहाँ हर व्यक्ति के पास वह programmer हो जो उसकी इच्छित चीज़ें कर सके

Frontier models और infrastructure cost

  • Schmidt ने कहा कि 6 महीने पहले उन्हें लगता था कि frontier models और बाकी models के बीच gap घट रहा है, लेकिन अब उनका आकलन है कि gap फिर से बढ़ रहा है
  • बड़ी AI कंपनियाँ कह रही हैं कि उन्हें 10 अरब, 20 अरब, 50 अरब, 100 अरब डॉलर चाहिए; Stargate का उल्लेख 100 अरब डॉलर के scale के रूप में हुआ
  • बताया गया कि Sam Altman का मानना है कि 300 अरब डॉलर या उससे भी अधिक लागत की ज़रूरत होगी
  • आवश्यक energy की गणना करने पर अमेरिका की अपनी बिजली पर्याप्त नहीं होगी; Schmidt ने कहा कि उन्होंने White House से कहा कि Canada के साथ और करीबी बढ़ानी चाहिए
    • Canada को AI invention में योगदान देने वाला, बहुत hydropower वाला, और अमेरिका के साथ national security rules साझा करने वाला देश बताया गया
    • विकल्प के रूप में Middle East funding का भी उल्लेख हुआ, लेकिन साथ में चिंता जताई गई कि वे national security rules का पालन न कर सकते हैं
  • बड़े data center competition में बिजली scarce resource बन जाती है, और अगर भारी पूंजी NVIDIA की ओर बहती है तो stock market में भी यह महत्वपूर्ण signal होगा

NVIDIA, CUDA, semiconductor competition

  • NVIDIA की 2 trillion dollar valuation और competitors की मुश्किलों को CUDA optimization और 10 साल से अधिक में बने software ecosystem से समझाया गया
  • CUDA की तुलना GPU के लिए C language से की गई; यह 2008 में शुरू हुआ और dominant position पर पहुँचा
  • CUDA के लिए optimized बहुत-सी open source libraries हैं, इसलिए competitors के लिए इसे copy करना कठिन माना गया
  • AMD ने CUDA architecture को अपने ROCm में convert करने का tool बनाया है, लेकिन बताया गया कि यह अभी “पूरी तरह काम नहीं करता”
  • अगर unlimited funding हो, तो current training के लिए वे NVIDIA की B200 architecture चुनेंगे; TPU और NVIDIA chips के बीच आने-जाने के examples को उन्होंने accessibility constraints के कारण बताया

Google, startups, और काम करने का तरीका

  • जब पूछा गया कि Google ने OpenAI और Anthropic को lead क्यों दे दी, तो Schmidt ने जवाब दिया कि Google ने “जीतने” से ज्यादा work-life balance, जल्दी घर जाना, और work-from-home को महत्व दिया
  • Startups इसलिए काम करती हैं क्योंकि लोग बहुत मेहनत करते हैं; शुरुआती Google और Microsoft के examples भी दिए गए
  • Founder को खास, साथ काम करने में कठिन, और लोगों को बहुत push करने वाला बताया गया
    • Elon Musk का रात 10 बजे flight लेकर midnight में x.ai meeting में जाने का example आया
    • TSMC के बारे में कहा गया कि अच्छे physics PhD fresher को factory basement floor पर काम कराने का rule है
  • AI systems में network effects होते हैं, इसलिए समय बेहद महत्वपूर्ण है; telecom contract में 18 महीने लगने जैसी गति इस दुनिया में फिट नहीं बैठती
  • Microsoft का OpenAI में investment शुरुआत में AI leadership को outsource करने जैसा बहुत अजीब फैसला लगा था, लेकिन अब इसे बड़ी value वाली company बनने का रास्ता माना जा रहा है
  • Apple के बारे में कहा गया कि उसके पास अच्छा AI solution नहीं है

National security, अमेरिका-चीन competition, regulation

  • Schmidt ने AI commission chair के रूप में लिखी लगभग 752-page report का निष्कर्ष यूँ बताया: “अमेरिका आगे है, उसे आगे रहना चाहिए, और इसके लिए बहुत पैसा चाहिए”
  • उन्होंने बताया कि इस काम के customer Senate और House थे, और उसी के परिणामस्वरूप CHIPS Act और संबंधित policies आईं
  • अगर frontier models और कुछ open source models लगातार आगे बढ़ते रहे, तो इस game में शामिल हो सकने वाले देशों की संख्या बहुत कम रह जाएगी
    • ज़रूरी conditions हैं: बहुत पैसा, बहुत talent, मजबूत education system, और जीतने की इच्छा
    • अमेरिका और चीन इसमें शामिल हैं; कोई और देश है या नहीं, यह uncertain बताया
  • अमेरिका और चीन के बीच knowledge superiority competition को उन्होंने audience के जीवनकाल की बड़ी लड़ाई बताया
  • अमेरिकी सरकार ने NVIDIA chips के China export को practically restrict कर दिया है, और उन्होंने कहा कि 5 nanometer से कम chips से जुड़ी technology में अमेरिका को लगभग 10 साल की बढ़त है
  • Biden administration के AI-related presidential directive में 10^26 FLOPs से अधिक compute करने पर government को report करने का criterion शामिल था; EU ने 10^25 criterion चुना, ऐसा उल्लेख हुआ
  • Federated training आगे बढ़े तो ये distinctions खत्म हो सकते हैं, और हो सकता है कि नए systems से लोगों को safe न रखा जा सके

Ukraine war और AI weapons

  • Schmidt ने कहा कि वे Defense Secretary के लिए 7 साल तक काम करते रहे और U.S. military के operation का तरीका बदलने की कोशिश की, लेकिन अपने हिसाब से वे अधिकतर असफल रहे
  • Russia को tanks से apartments पर हमला करते देख उन्होंने Sebastian Thrun और Stanford से जुड़े लोगों के साथ एक company बनाने का फैसला किया
  • लक्ष्य दो थे
    • AI को जटिल और शक्तिशाली तरीकों से robotic warfare में इस्तेमाल करना
    • robots की cost घटाना
  • “500 डॉलर का drone 5 million डॉलर का tank नष्ट कर देता है” वाले सवाल के संदर्भ में उन्होंने माना कि यह tanks, artillery, और mortars-केंद्रित ground warfare theory को बदल सकता है
  • Attack हमेशा advantageous होता है क्योंकि वह defense systems को overwhelm कर सकता है; defense strategy में ज़रूरत पड़ने पर इस्तेमाल की जा सकने वाली मजबूत offensive capability बेहतर है, ऐसा उन्होंने कहा
  • इस activity के कारण उन्होंने बताया कि उन्होंने legal arms dealing license लिया है
  • Ukraine की स्थिति बेहद गंभीर है; अगर May या June में Russia buildup करता है, तो Ukraine अपने territory का बड़ा हिस्सा खो सकता है और पूरे देश को खोने की प्रक्रिया शुरू हो सकती है, ऐसी चिंता जताई

समझ से परे knowledge systems और red team

  • Schmidt ने Henry Kissinger और Dan Huttenlocher के साथ knowledge की nature में बदलाव पर लिखे संदर्भ में कहा कि आगे ऐसे knowledge systems बन सकते हैं जिन्हें पूरी तरह characterize नहीं किया जा सकेगा
  • Richard Feynman की पंक्ति “जिसे मैं बना नहीं सकता, उसे मैं समझता नहीं” के उलट, लोग ऐसी चीज़ें बना रहे हैं जिनके अंदरूनी हिस्से को वे पूरी तरह नहीं समझते, ऐसा उन्होंने कहा
  • उन्होंने teenagers से तुलना की: हमें पता है कि वे human हैं, लेकिन ठीक-ठीक क्या सोच रहे हैं यह जानना कठिन है, और society ने ऐसे अस्तित्व के साथ adapt करना सीख लिया है
  • सबसे अच्छा outcome system को पूरी तरह समझना नहीं, बल्कि उसकी boundaries और limits समझना हो सकता है
  • Adversarial AI testing इंसानों द्वारा किए जाने वाले red team से आगे बढ़कर, AI systems को break करने और vulnerabilities खोजने वाली companies और industry में बदल सकती है
  • उन्होंने Stanford students से कहा कि बड़े models पर attack करना और उनके काम करने के तरीके को समझना अगली पीढ़ी की महत्वपूर्ण skill हो सकती है

Hallucination, evaluation, chain of thought

  • मौजूदा hallucination problem technology advancement से कम होनी चाहिए, लेकिन उन्होंने यह निश्चित रूप से नहीं कहा कि यह गायब हो जाएगी
  • AI ने इच्छित काम सही तरह किया या नहीं, यह जानने के लिए efficacy tests ज़रूरी हैं
  • Silicon Valley तरीका यह बताया गया कि product को तेजी से experiment करो, और जब चीज़ बड़ी हो जाए तो lawyers hire करके issues सुलझाओ
  • बेहतर-performing systems, बेहतर tests, और adversarial testing मिलकर AI को “box के अंदर” रख सकते हैं, ऐसा माना गया
  • Technical term के रूप में chain of thought reasoning का उल्लेख हुआ; उन्होंने कहा कि लोग मानते हैं कि कुछ वर्षों में 1000-step thought process generate किया जा सकेगा
  • यह तरीका recipe की तरह step-by-step execute करने और result सही है या नहीं test करने वाले structure के करीब है

Investment, open source, software productivity

  • AI progress के drivers के रूप में अधिक compute, अधिक data, नए algorithms, और भारी capital सभी का उल्लेख हुआ
  • Schmidt ने कहा कि उन्हें winner पता नहीं है, इसलिए वे कई जगह invest करते हैं
  • कुछ funding को उन्होंने इस तरह देखा कि शुरुआती returns आने के बाद बड़े funds को लगा कि उन्हें AI element चाहिए, और वे पैसा लेकर आए
  • AI को “वास्तव में सीखने वाला system” के रूप में define किया गया
  • Transformer के बाद नई architectures और algorithms आ रहे हैं; उन्होंने कहा कि Paris का एक group और एक लंबे समय का collaborator non-Transformer structure बना चुके हैं
  • Market में यह belief है कि intelligence की invention से अनंत returns मिल सकते हैं; इसके परिणामस्वरूप बड़ा investment bubble बन सकता है और फिर correction हो सकता है
  • Mistral ने अच्छा प्रदर्शन किया है, लेकिन उन्होंने कहा कि तीसरा model cost और revenue की ज़रूरत के कारण closed model बनने की संभावना रखता है
  • Open source और closed models की debate बड़ी हो गई है, और भारी capital cost software बनाने के तरीके को fundamentally बदल सकती है
  • Software developer productivity कम से कम दोगुनी होगी, ऐसा उनका मानना है; Augment को उन्होंने 100-person team और millions of lines of code जैसे ऐसे environments के लिए बताया जहाँ किसी को भी पूरा system पता नहीं होता

AI और misinformation, social media

  • आने वाले elections और दुनिया भर की अधिकांश misinformation social media पर होगी, ऐसा उन्होंने माना
  • उन्होंने कहा कि social media companies इसे manage करने लायक organized नहीं हैं
  • TikTok पर यह criticism है कि वह कुछ खास misinformation को अधिक पसंद करता है, और दावा है कि China ऐसा करवाता है, लेकिन उन्होंने कहा कि उनके पास ऐसा कोई evidence नहीं है
  • Democracy के लिए सबसे बड़ा threat misinformation है; लोगों को critical thinking सीखनी चाहिए कि कोई बात सुन लेने भर से वह सच नहीं हो जाती, ऐसा उन्होंने कहा
  • YouTube चलाते समय भी generative AI से पहले fake videos upload होते थे और लोगों की मौत तक होती थी; उन्होंने याद किया कि इसे handle करना बहुत मुश्किल था
  • Public statements के साथ public-key authentication जोड़ने का तरीका बताया गया; Schmidt ने कहा कि उन्होंने Jonathan Haidt जैसी proposal वाला paper निकाला था, लेकिन उसका असर नहीं हुआ
  • CEOs आम तौर पर revenue maximize करते हैं, revenue के लिए engagement maximize करते हैं, और engagement के लिए outrage maximize करते हैं, ऐसा उन्होंने समझाया
  • TikTok social media से ज्यादा TV के करीब है; उन्होंने कहा कि U.S. user प्रति दिन 90 मिनट और 200 TikTok videos देखता है
  • Balance की मांग करने वाला equal time rule वांछनीय है, लेकिन उन्हें नहीं लगता कि government ऐसा करेगी

Universities, education, labor market

  • Schmidt ने जोर देकर कहा कि universities के पास AI research data centers होने चाहिए
  • Computer science professors और graduate students ज़रूरी algorithms नहीं बना पाते और उन्हें Google Cloud credits का इंतज़ार करना पड़ता है—यह स्थिति अच्छी नहीं, ऐसा उन्होंने माना
  • उन्होंने कहा कि अगर अमेरिका को इस explosive change में जीतना है, तो U.S. universities को भी पर्याप्त resources मिलने चाहिए
  • Labor market impact पर उनका मानना है कि university education वाले high-skill jobs AI systems के साथ काम करते हुए ठीक रहेंगे
  • Dangerous jobs और ऐसे jobs जिनमें human judgment की बहुत कम ज़रूरत है, replace हो सकते हैं
  • Computer science education में undergraduate students जब पहली बार for loop सीखेंगे, तभी से उनके साथ programmer friend जैसे tools होंगे, ऐसा उन्होंने माना
  • Coding सीखना जारी रखना चाहिए या नहीं, इस पर उन्होंने कहा: जैसे English बोल पाने के बावजूद English पढ़ने से आप बेहतर होते हैं, वैसे ही system कैसे काम करता है यह समझना चाहिए

Distributed training, copyright, antitrust

  • MacBook जैसी बहुत-सी छोटी machines जोड़कर large model train करने का तरीका मौजूदा algorithmic structure में काम नहीं करता, ऐसा उन्होंने माना
  • Training बड़े matrices और multiplication functions, memory और CPU/GPU के बीच speed से constrained है; उन्होंने कहा कि NVIDIA की अगली chip संबंधित functions को एक chip में combine करती है
  • Large model training में supercomputers, speed of light, और खासकर memory interconnect dominate करते हैं, ऐसा उन्होंने माना
  • Copyright और training data issue पर उन्होंने अनुमान लगाया कि 1960s के music licensing lawsuits के बाद के statutory royalty model की तरह, कई lawsuits के बाद revenue का एक fixed percentage देने वाला settlement हो सकता है
  • Antitrust regulation और बड़ी AI companies के concentration पर उन्होंने अपने career में Microsoft और Google के वास्तव में न टूटने का उदाहरण देते हुए कहा कि government companies को break up करने की दिशा में नहीं जाएगी
  • बड़ी companies AI पर इसलिए dominate करती हैं क्योंकि उनके पास बड़े data centers बनाने की capital है
  • उन्होंने समझाया कि Inflection ने माना कि कई billion dollars raise करना मुश्किल है, इसलिए उसने Microsoft में आंशिक रूप से absorb होने का फैसला किया

Countries की position और AI gap

  • जो देश frontier model development और compute resources में हिस्सा नहीं ले पाते, वे “अमीर और अमीर होते हैं, और गरीब देश अपनी पूरी कोशिश करते हैं” वाली स्थिति में होंगे, ऐसा उन्होंने कहा
  • AI को उन्होंने rich countries’ game बताया, जिसके लिए विशाल capital, technically strong workforce, और strong government support चाहिए
  • जिन देशों के पास ऐसे resources नहीं हैं, उन्हें partner ढूँढना होगा या किसी दूसरे देश के साथ combine होना होगा, ऐसा उन्होंने माना
  • India को important swing state बताया गया क्योंकि top AI talent अमेरिका चला जाता है
  • Japan और Korea को उन्होंने U.S. camp में बताया
  • Taiwan के बारे में कहा कि उसके पास बेहतरीन hardware है, लेकिन software कमजोर है
  • Europe Brussels regulation के कारण मुश्किल में है; France के लिए उन्होंने कहा कि Macron कोशिश कर रहे हैं इसलिए संभावना है, लेकिन Germany और बाकी देश पर्याप्त बड़े नहीं हैं

Startup advice और तेज़ prototyping

  • Schmidt ने इस बात पर ध्यान दिया कि नए ideas के demo बहुत तेजी से बनाए जा सकते हैं
  • Hackathon winning example में एक system को “drone को दो towers के बीच उड़ाओ” command मिली; उसने virtual drone space में meaning समझा, Python code generate किया, और simulator में drone उड़ाया
  • उन्होंने कहा कि पहले यही काम किसी अच्छे professional programmer को 1–2 हफ्ते लगते
  • Startup में हर चीज़ तेज़ हो गई है; उन्होंने सलाह दी कि अगर आप ऐसे tools से एक दिन में prototype नहीं बना सकते, तो फिर से सोचिए
  • दूसरी companies, दूसरी universities, और उन जगहों पर भी जहाँ आप नहीं गए, उसी idea को तेजी से try करने वाले competitors हो सकते हैं

आगे की class discussion: AI use, regulation, complementary innovation

  • लेक्चर के बाद class में बताया गया कि assignments और final project में LLM use की अनुमति है, लेकिन use को पूरी तरह disclose करना होगा
  • Regulation companies को slow करने का tool भी हो सकता है, लेकिन standards की तरह industry survival और competition में मदद करने वाले cases भी होते हैं
  • कुछ companies risky features release नहीं करना चाहती थीं, लेकिन competitors के release करने पर उन्हें follow करना पड़ा—ऐसे examples का उल्लेख हुआ
  • AI tools अभी top coders के लिए बहुत ज्यादा useful नहीं हैं, और जिन्हें coding बिल्कुल नहीं आती उनके लिए भी कम useful हैं; इन्हें mid-level coders के लिए खास तौर पर useful inverted U-shaped effect वाला बताया गया
  • Autonomous driving stages और chess examples के जरिए समझाया गया कि कुछ tasks human-machine collaboration phase से गुजरकर full automation की ओर जा सकते हैं
  • Electricity को general-purpose technology (GPT) के रूप में भी example दिया गया
    • शुरुआती factories ने steam engine हटाकर उसी जगह बड़ा electric motor लगा दिया, लेकिन productivity improvement बहुत बड़ा नहीं था
    • लगभग 30 साल बाद factory layout और production methods बदले, और central power की जगह equipment-wise electric motors इस्तेमाल करने वाला unit drive फैला, जिससे productivity काफी बढ़ी
  • AI में भी technology itself के अलावा organizational innovation और human capital complements बड़ी value बना सकते हैं—discussion इसी बात तक पहुँची

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-08-17
Hacker News की राय

  • Google के generative AI में OpenAI से पिछड़ने की वजह यह बताना कि “Google ने जीतने से ज़्यादा work-life balance, जल्दी घर जाना और work from home को अहमियत दी” बहुत बड़ी आत्म-जागरूकता की कमी जैसा लगता है
    यानी leadership की समस्या, राजनीति, आत्मसंतुष्टि और bureaucracy सबको छोड़कर दोष work from home करने वाले कर्मचारियों पर डालना
    इसका मतलब यह नहीं कि Google में आराम से चलने वाले लोग नहीं हैं, लेकिन leadership की समस्याओं की तुलना में वह समस्या का सिर्फ़ एक छोटा हिस्सा है

    • दोस्तों से सुना है कि Meta में remote work ज़्यादा आसान था, नौकरी पाना भी अपेक्षाकृत आसान था, और LeetCode-केंद्रितता भी कम थी, इसलिए लगता है Google के हारने की वजह कहीं और रही होगी
      Google पहले से ही कई मोर्चों पर पिछड़ रहा था: Dart वेब पर TypeScript से हार गया, Angular React से हार गया, TensorFlow PyTorch से पिछड़ता दिख रहा है, और Google की दिलचस्पी कम होकर JAX या Keras wrappers विकसित करने पर ज़्यादा केंद्रित लगती है
      निजी तौर पर मुझे लगता है Flutter भी React Native या Kotlin Compose Multiplatform से हार जाएगा; विस्तार के लिए GitHub आँकड़े देखे जा सकते हैं
      इसके उलट Meta ने open-source Llama community में आग लगा दी। ऐसे हालात में third-party developers के लिए Google के projects बंद करने के इतिहास को देखते हुए Gemmini या Gemma पर दांव लगाना मुश्किल है, और Google ने लंबे समय तक सच में जिन projects में निवेश किया वे लगभग Chrome और Android ही थे
      https://trends.google.com/trends/explore?date=today%205-y&q=...
    • उस बयान की reporting ने शायद “work from home” वाले हिस्से को बहुत ज़्यादा उभारा। क्योंकि वह बार-बार लौटने वाले obsession और मामूली बहस में बिल्कुल फिट बैठता है
      work from home कारण हो या न हो, वाक्य का बाद वाला हिस्सा मुझे सही लगता है। startups के उलट, Google के individual employees में जीतने की आग या drive बहुत कम है
      अगर आप युवावस्था में Google में जाते हैं, तो वह आग बहुत जल्दी बुझ जाएगी। “remote” work बस उस रवैये के दिखने का एक तरीका है कि किसी को परवाह नहीं है
      बेशक, यह रवैया केवल individual contributors में ही नहीं है; leadership में भी साफ़ तौर पर है, और शायद वहाँ और भी ज़्यादा हो सकता है
    • कभी-कभी CEO या “leaders” मुखौटा उतरने जैसे बयान देते हैं, और हर बार उनके और आम लोगों के सोचने के तरीके के बीच की खाई दिख जाती है
      यह सोचकर कभी-कभी काफ़ी डर लगता है कि ऐसे लोग दुनिया की सत्ता पकड़े हुए हैं। क्योंकि वे ऐसे लोग हैं जिनसे मेरा लगभग कोई साम्य नहीं है
    • Eric Schmidt डरावना व्यक्ति है। Julian Assange ने भी उसके बारे में कभी बात की थी
      जून 2011 में, जब Assange Norfolk के Ellingham Hall में house arrest में थे, Schmidt और “Hillary Clinton के पूर्व senior advisor समेत अमेरिकी State Department से जुड़े लोगों का एक दल” कई घंटों तक आए और Wikileaks संस्थापक से “टकराए”
      आशय यह था कि Schmidt के लिए मुक्ति अमेरिकी foreign policy goals के साथ एक है, और इसे गैर-पश्चिमी देशों को अमेरिकी कंपनियों और बाज़ारों से जोड़ने के तरीके से आगे बढ़ाया जाता है
      https://www.theguardian.com/books/2014/apr/03/julian-assange...
    • क्या यह वही व्यक्ति नहीं है जिसका business partner के साथ affair था और जिसके कई legal issues भी थे?

  • सवाल शुरू होने वाले हिस्से से पहले तक, लगभग transcript के आधे से कम हिस्से को पढ़ा, और कुछ quotes ध्यान में आए
    “एक ऐसे programmer की कल्पना कीजिए जो अहंकारी न हो, जो आप जो चाहते हैं वह सच में कर दे, जिसे बहुत पैसा देने की ज़रूरत न हो, और जिसकी supply अनंत हो। यह सब अगले 1–2 साल में संभव होगा”
    “Google ने जीतने से ज़्यादा work-life balance, जल्दी घर जाना और work from home को अहमियत दी”
    “आपके जीवनकाल में अमेरिका और चीन के बीच ज्ञान-प्रधानता की प्रतिस्पर्धा एक बड़ी लड़ाई होगी”
    “युद्ध में जानने वाली बातों में से एक यह है कि offense हमेशा advantage में होता है। क्योंकि defense systems को हमेशा overwhelm किया जा सकता है। इसलिए national defense strategy के तौर पर बेहतर है कि ज़रूरत पड़ने पर इस्तेमाल की जा सकने वाली बहुत मजबूत offensive capability हो”
    “मैं और दूसरे लोग जो systems बना रहे हैं, वे यह करेंगे। system के काम करने के तरीके की वजह से मैं अब licensed arms dealer, computer scientist, businessman और arms dealer बन गया हूँ। क्या यह evolution है? मुझे नहीं पता। मैं आपको इसकी सलाह नहीं दूँगा”
    “अगर कोई Marjorie Taylor Greene को जानता है, तो मैं सलाह दूँगा कि उसे अपनी contacts से delete कर दें। क्योंकि एक व्यक्ति एक महत्वपूर्ण democracy को बचाने के लिए अरबों डॉलर की सहायता रोक रहा है”

    • इनमें से आधे इतने खुल्लमखुल्ला हैं कि comic-book villain स्तर की बुराई लगती है। इस आदमी को मोहल्ले की deli भी नहीं सौंपनी चाहिए
    • Kissinger का दोस्त Schmidt military AI drones का business करते हुए चीन के साथ किसी विशाल Cold War या hot war को लार टपकाते हुए देख रहा है, यह मानवता के भविष्य के लिए अच्छा संकेत नहीं है
    • “ऐसा अहंकारी न होने वाला programmer जो आप जो चाहते हैं वह सच में कर दे” निकट भविष्य में वास्तविकता बनता नहीं दिखता
      Large language models या agents को मनचाहे तरीके से काम कराने के लिए आपको ठीक-ठीक specify कर पाना होगा कि आप चाहते क्या हैं, और वही अपने-आप में कठिन समस्या है
      और अगर कोई इतना सटीक specify कर सकता है, तो वही व्यक्ति programmer है
      इसका मतलब यह नहीं कि software development paradigm नहीं बदलेगा, लेकिन “मेरे लिए बेहतर Google Ads system बना दो” जैसा कुछ जल्द संभव होने की संभावना बहुत कम दिखती है। agent कोई result दे, और फिर उसे किसी समाधान की ओर iterative तरीके से improve किया जाए—यह संभव हो सकता है
    • “युद्ध में जानने वाली बातों में से एक यह है कि offense हमेशा advantage में होता है” यह सच नहीं है। यह सच के लगभग उलट है
    • मैं military expert नहीं हूँ, लेकिन क्या offense हमेशा advantage में होता है—यह ठीक उलटा नहीं है?
      attacking force को defending force से बड़ा होना पड़ता है, और सफल होने पर भी उसे कहीं ज़्यादा casualties झेलनी पड़ती हैं

  • मैं समझना चाहता/चाहती हूँ कि अमेरिकी elite वर्ग से निकलने वाली युद्ध जैसी चीन-विरोधी भावना आखिर कहाँ से आती है
    यह साफ है कि चीन एक सीधा आर्थिक खतरा है
    यह भी समझ में आता है कि चीन, Soviet Union से अलग स्तर का दार्शनिक खतरा है। Soviet Union के दौर में तर्क यह था कि स्वतंत्रता, सर्वसत्तावाद की तुलना में अधिक संपत्ति पैदा करती है, और अमेरिका जीत गया था
    चीन के साथ समस्या यह है कि उस तर्क को हराना कहीं ज्यादा मुश्किल है। चीन आर्थिक रूप से कुछ हद तक अच्छा कर रहा है, और उसने सर्वसत्तावादी नियंत्रण भी नहीं छोड़ा है। उनका तर्क कुछ ऐसा है कि Soviet Union ने central planning वाली economy अपनाई थी, लेकिन हम market forces और Chinese culture पर चलते हैं
    लेकिन यह battlefield में जीतने वाला मुद्दा नहीं है। अगर समाज liberal democracy है, तो liberal democracy को और मजबूत करना चाहिए। संपत्ति बनानी चाहिए, और उस संपत्ति से सभी नागरिकों का living standard बढ़ाना चाहिए। यानी अगर हम मानते हैं कि स्वतंत्रता बेहतर है, तो हमें यह इतना साफ कर देना चाहिए कि हम utopia में जी रहे हैं, यह बात तकलीफदेह रूप से स्पष्ट हो जाए
    तब wealth tax भी चाहिए, infrastructure और education पर खर्च भी बढ़ाना होगा, संपत्ति बाँटनी होगी और खुद को बेहतर चीजों की आकांक्षा करना सिखाना होगा
    सिर्फ बड़ी बंदूकें होना जवाब नहीं है

    • pandemic से पहले चीन में 5 साल बिताने के अनुभव से कहूँ तो, चीन अपनी growth की वजह से कई देशों के लिए खतरा बनता है
      चीनी सरकार electric vehicles, solar, battery technology, steel, semiconductors जैसे core markets को साफ तौर पर target कर रही है, और चीन के भीतर जितनी खपत हो सकती है उससे कहीं ज्यादा production करती है
      नतीजतन चीन non-Chinese battery या solar panel manufacturers को business से बाहर धकेल देता है
      अगर Chinese electric vehicles अमेरिका में व्यापक रूप से बिकने लगें, तो वे Western-made electric vehicles की आधी कीमत से भी कम होंगी और EV market पर कब्जा कर लेंगी। ऐसा भविष्य, जहाँ कोई चीनी company US EV market की मालिक हो और अमेरिकी user data पूरा Chinese servers पर वापस जा रहा हो, अमेरिकी सरकार नहीं चाहती, और चीनी सरकार को छोड़कर कोई भी सरकार ऐसा नहीं चाहनी चाहिए
      अमेरिका और अन्य जगहों पर fentanyl epidemic भी है। यह काफी हद तक इसलिए होता है क्योंकि Chinese chemical manufacturers Mexico को chemicals बेचते हैं, और फिर वह drug अमेरिका में smuggle की जाती है। जिम्मेदार पक्ष कई हैं, लेकिन अमेरिका लंबे समय से चीन से इन chemicals की overseas sales पर ban लगाने की मांग करता रहा है और कोई agreement नहीं हो पाया। चीन जानता है कि यह मुद्दा अमेरिका के लिए महत्वपूर्ण है और इसे एक core trade issue की तरह इस्तेमाल कर रहा है
      “liberal democracy को मजबूत करना” ही वह तरीका है जिसने चीन के संदर्भ में हमें यहाँ तक पहुँचा दिया। चीन liberal democracy पर प्रतिक्रिया नहीं देता। वह सिर्फ ताकत, trade embargoes और tariffs पर प्रतिक्रिया देता है। Xi ने आजीवन dictator बनने का फैसला करते हुए यही सीखा है
    • imbalance को लेकर जमा हुई निराशा है
      अमेरिकी companies चीन में business नहीं कर सकतीं, जबकि चीनी companies अमेरिका में freely operate करती हैं
      जब तक यह imbalance हल नहीं होता, corporate executives चीन पर दबाव बढ़ाने के लिए अपने पास मौजूद हर साधन इस्तेमाल करेंगे। अभी समस्या की सीधी सच्चाई यही है
    • पहले Europe-विरोधी भावना भी विस्फोटक रूप से बढ़ी थी
      अमेरिकी newspapers में अक्सर Europe के engineering और science work को नीचा दिखाने, और Europe की work culture को तुच्छ बताने वाले articles आते थे
      आज भी यहाँ जब कोई कुछ बनाता है तो उसे “scientists” कहा जाता है, जबकि अमेरिका के दूसरे लोगों को उनके नाम और university से पुकारा जाता है। यह बात Wikipedia पर भी है
      असल में Polhem Prize और Thulin Medal के विजेता Håkan Lans जैसे लोगों को भी लगभग patent troll की तरह पेश किया जाता है
      यह trend अब कम prominent हो गया है, लेकिन अभी भी जारी है। फिर भी लगता है कि अमेरिका खुद को कुछ हद तक शांत कर सकता है
    • इसकी वजह मुख्य रूप से अमेरिका में हो रही चीजें नहीं, बल्कि चीन में हो रही चीजें हैं
      पिछले 30 वर्षों को इस सोच ने guide किया कि prospering economy democracy की ओर जाती है, और prosperity युद्ध रोकती है
      इसके साथ यह expectation भी जुड़ी थी कि दोनों पक्ष good faith में mutual benefit का पीछा करेंगे
      बाद में साफ हो गया कि यह सच नहीं था। चीन ने loopholes ढूँढे, और intellectual property rights enforcement की कमी तथा government-led corporate espionage ने दिखाया कि यह relationship asymmetric है और अमेरिका के लिए नुकसानदेह है
      Xi ने अपने predecessors की gradual liberalization की दिशा को तोड़ दिया और सत्ता को dramatically मजबूत किया। इससे, prosperity बनाए रखना अब जरूरी नहीं कि मुख्य driver रहे, और युद्ध जैसी ideology-based irrational decisions का जोखिम बढ़ता है
      Taiwan के आसपास Chinese military buildup से जुड़ी जानकारी भी चिंताजनक सबूत है। चीन की economy की तेज growth भी धीमी पड़ रही है
    • “अगर हम मानते हैं कि स्वतंत्रता बेहतर है, तो हमें यह इतना साफ कर देना चाहिए कि हम utopia में जी रहे हैं, यह बात तकलीफदेह रूप से स्पष्ट हो जाए” — यह उन लोगों की चिंता नहीं है
      Schmidt या Musk जैसे लोग, अगर वे शीर्ष पर रह सकें, तो Chinese Communist Party-style system में भी पूरी तरह खुश होंगे
      जब वे चीन को एक ऐसे पूर्ण free market के रूप में देखते थे जिस पर वे dominate कर सकते थे, तब उन्हें वहाँ पैसा invest करने में कोई समस्या नहीं थी। वे EU से इतनी नफरत इसलिए भी करते हैं क्योंकि EU कभी-कभी उनकी companies को थोड़ा परेशान कर देता है

  • “अगर TikTok बैन हो जाए, तो हर कोई अपने बड़े language model से यह कहे: TikTok की कॉपी बनाओ, users और music चुरा लो, मेरी preferences डालो, 30 सेकंड में program बनाओ, launch करो, और अगर एक घंटे में viral न हो तो इसी तरह कुछ और करो। यही आदेश है। बूम, बूम, बूम, बूम” — यह कहना पूरी तरह पागलपन है
    मज़ाक जैसा लगता है। ऐसे लोगों की सोच जितनी ज़्यादा सुनता हूँ, उतना ही लगता है कि वे अपनी power और wealth के बिल्कुल हकदार नहीं हैं। वे समाज के लिए कोई भी मूल्यवान योगदान नहीं देते

    • ChatGPT तो उल्टा ज़्यादा होश में है
      “काश बात इतनी सरल होती! TikTok का दबदबा सामाजिक inertia, legal contracts, बड़े पैमाने के infrastructure और engagement के लिए finely tuned algorithms के जबरदस्त मिश्रण का नतीजा है। इसकी नकल करना एक बड़े पैमाने का project है, जिसमें copyrighted content और user base सहित कई जटिल हिस्से हैं”
      “फिर भी अगर आप TikTok से प्रेरित कुछ गंभीरता से बनाना चाहते हैं, तो आप किसी खास community के लिए content curation, या furry या [REDACTED] community के अनुरूप unique features जैसे अपने interests से मेल खाते किसी खास niche या feature पर focus करके शुरुआत कर सकते हैं। आप users को ‘चुरा’ नहीं सकते, लेकिन TikTok पर जो नहीं मिलता वह देकर dedicated user base बना सकते हैं। हालांकि अगर आप exact model copy करने की कोशिश करेंगे, तो legal headaches के लिए तैयार रहें”
      “क्या यह दिशा आपको दिलचस्प लगती है?”
    • समझ नहीं आता Eric Schmidt उम्र के साथ अजीब हो गए हैं, या शुरू से ही इतने सनकी थे
    • और यही व्यक्ति AI bill बना रहा है, और शायद Ukraine को हथियार बेच रहा है
      इसका मतलब यह नहीं कि उसके public statements सच ही हों। उसे खुद भी यह न पता हो, ऐसा तो नहीं होगा, इसलिए हो सकता है वह बढ़ा-चढ़ाकर बोल रहा हो
    • लगता है Eric ने Kool-Aid पीना शुरू कर दिया है। कुछ हद तक बात में दम हो सकता है, लेकिन अपने विचारों को व्यक्त करने का तरीका थोड़ा unsettling है
    • समझ नहीं आता वह कहना क्या चाहता है। क्या मतलब यह है कि अगर TikTok बैन हो जाए, तो कोई भी बड़े language model से TikTok competitor बना सकता है?
      लेकिन TikTok के features बैन की कोशिश की वजह नहीं हैं। समस्या यह है कि इसे एक foreign adversary control करता है
      दरअसल अभी जो pending है वह ban नहीं, बल्कि इसे किसी non-adversarial entity को forced sale करने की मांग है

  • यह वाकई चौंकाने वाला mask-off moment है। इस व्यक्ति की war-mongering पागलपन भरी है, और मैं अब भी नहीं समझ पाता कि ऐसे लोग “democracy की चिंता” करने की बात कहने की जहमत क्यों उठाते हैं। यह साफ झूठ जैसा लगता है
    वह China को “खोया हुआ” देश बताने के अंदाज़ में बोलता है, जबकि वजह बस यह है कि West उसे वैसे control नहीं कर पाया जैसे उसने Korea, Japan, Taiwan वगैरह के साथ किया
    मैं उन लोगों से नफरत करता हूँ जो बर्बरता और imperialism को “greater good” के साधन के रूप में justify करते हैं। बिल्कुल “white man's burden” याद आ जाता है

    • आजकल Western democracy को धर्म की तरह treat किया जाता है। या तो स्वीकार करो या मर जाओ
      China एक totalitarian state है इसलिए उसे नष्ट कर देना चाहिए—ऐसी बातें सुनकर Christian crusaders याद आते हैं, जो दिलचस्प है
      व्यावहारिक रूप से देखें तो ज्यादातर Chinese लोगों को democracy में खास interest नहीं है, बस economy ठीक चलती रहे
    • वह moral argument है। West में माना जाता है कि liberal values सर्वोच्च हैं, और वे इन values को पूरी दुनिया में फैलाना चाहते हैं
      इसलिए authoritarianism पहले से ही enemy बन जाता है

  • अभी इस command से video download किया जा सकता है
    yt-dlp https://x.com/quasa0/status/1823933017217482883
    yt-dlp को GitHub से install किया जा सकता है
    https://github.com/yt-dlp/yt-dlp?tab=readme-ov-file#installa...
    webarchive के मुताबिक original video 13 अगस्त को upload हुआ था, और lecture 9 अप्रैल 2024 को हुआ था

  • Schmidt ने work from home, AI और कई topics पर इतना खुलकर बोलने के बाद भी यह सोचा कि उन्हें भारी backlash नहीं मिलेगा—यह हैरान करने वाली हद तक reality से कटा हुआ लगता है
    इस वजह से उन्होंने बहुत से लोगों के बीच अपनी reputation खराब कर ली होगी, जबकि पहले उनकी reputation काफी अच्छी थी
    शायद उन्हें भी यह एहसास हो गया, इसलिए वे YouTube से lecture हटवाने की कोशिश कर रहे हैं और official apology भी दी है
    जाहिर है, यही उनके असली विचार हैं, और वे बहुत साफ तौर पर सामने आ गए हैं; कोई भी apology इसे ठीक नहीं कर सकती। लेकिन आम तौर पर ऐसे लोग अपने विचार छिपाने में बहुत माहिर होते हैं
    लगता है उन्हें सच में भरोसा था कि उनका stance controversial नहीं होगा; इसमें conference rooms और country clubs में बहुत ज्यादा समय बिताने की गंध आती है

  • पूरी तरह remote काम करने वाले व्यक्ति के तौर पर मुझे यह बेहद सरलीकृत टिप्पणी आपत्तिजनक लगी
    मैं कंपनी में शीर्ष योगदानकर्ताओं में से एक हूँ, और इसे आधिकारिक रूप से भी मान्यता मिली है
    साथ ही, अकेले बच्चे की परवरिश करने वाले parent के रूप में work-life balance मेरे लिए सबसे महत्वपूर्ण है
    उन्होंने जो बात मिस की, वह यह है कि अगर आप जिन कर्मचारियों और इंसानों पर विचार करते हैं उनका दायरा सीमित कर देते हैं, तो आप अपने मानकों में फिट न बैठने वाले सर्वश्रेष्ठ talent को छोड़ देते हैं

    • लगता है उन्होंने उस टिप्पणी को कम से कम आंशिक रूप से वापस लिया है
      Business Insider को भेजे ईमेल में Schmidt के प्रवक्ता ने लिखा, “Eric ने Google और उनके काम के घंटों के बारे में गलत कहा था और उन्हें उस गलती का खेद है”
      https://www.businessinsider.com/google-ceo-eric-schmidt-crit...
    • इसी तरह, मैंने कई high-performing, remote-friendly टीमें बनाई और चलाई हैं, जिनमें से कुछ ने सैकड़ों मिलियन डॉलर से अधिक की value बनाई है और समय के साथ compounding होकर शायद अरबों डॉलर के स्तर तक पहुँच चुकी हों
      Schmidt को भी अपनी राय रखने का अधिकार है, लेकिन उन्हें खुद हाथ लगाकर काम करवाए हुए बहुत समय हो चुका है। और लगता है कि दोस्त Elon के साथ घूमते हुए उन्होंने वह narrative अपने दिमाग में absorb कर लिया है
      “औसतन” work from home कैसा दिखता है, यह कहना भी मुश्किल है। अपने career में मैंने कठोर तरीके से सीखा है कि “average” असल में क्या मतलब रखता है और कैसा दिखता है। spoiler दूँ तो, औसत मानवीय व्यवहार अक्सर मेरी अपेक्षा से आश्चर्यजनक, कभी-कभी झकझोर देने वाली हद तक नीचे होता है
      फिर भी Google, Bay Area और दूसरे tech hubs में ऐसे कई लोग हैं जो उन इलाकों में टिके रहने और सफल होने की प्राकृतिक प्रतिस्पर्धा के कारण कम से कम थोड़े से लेकर काफी हद तक average से ऊपर हैं
      सार यह है कि इसे personal मत लो। हर नियम के exceptions होते हैं। जो कर रहे हो, करते रहो
    • मैंने work from home वाली टिप्पणी को उनकी मुख्य बात के लिए बहुत महत्वपूर्ण उदाहरण नहीं माना, और irony यह है कि मैंने उसे पूरी तरह neutral तरीके से पढ़ा
      वे यह भी कह सकते थे कि “Google ने जीतने से ज्यादा इस बात को महत्व दिया कि लोगों की काम के बाहर भी जिंदगी हो,” और मैं उसे भी इसी तरह समझता। क्योंकि employer के लिए बहुत ज्यादा त्याग करना सिर्फ बेवकूफी है
      मुझे नहीं लगता कि वे आम तौर पर कह रहे हैं कि यह बुरा है। अगर कंपनी का लक्ष्य जीतना है, तो इसका मतलब है कि आपको बहुत smart लेकिन बहुत मूर्ख और arrogant लोगों पर चाबुक चलाना होगा, जिनके पास screen और bank account के बाहर जीवन की कोई अवधारणा नहीं है और जो उनसे जो भी माँगा जाएगा, कर देंगे
      आपको इस बात पर गर्व होना चाहिए कि आप बच्चे की परवरिश कर सकते हैं, और इस पर और भी गर्व हो सकता है कि आप कंपनी के लिए जरूरी से बस थोड़ा ही ज्यादा देने को तैयार हैं। अगर और मेहनत करनी पड़ती तो आप करते, लेकिन Valley के sociopaths को South Africa से आए दूसरे sociopaths के सामने दिखावा करने के लिए स्वेच्छा से दोगुना overtime करने की जरूरत नहीं है
      ऐसे काल्पनिक लोग मेरे आसपास नहीं हैं, क्योंकि उन्होंने तयशुदा शोहरत और stock options के बदले दोस्त और sanity बेच दी। किसे फर्क पड़ता है, यह तो बस tech industry की नौकरी है

  • Eric ने कहा कि जल्द ही AI से TikTok clone apps अपने-आप generate करके, उनमें से कोई hit होने तक उन्हें App Store पर बार-बार release किया जा सकेगा
    मान भी लें कि यह जल्द संभव हो जाता है, तो ऐसा कौन-सा तरीका है जिससे App Store तुरंत auto-generated garbage apps से खराब न हो जाए और users उसे छोड़ न दें या ignore न करने लगें?
    मुझे समझ नहीं आता कि कुछ सेकंड में auto-generated app किस scenario में अगली बहुत बड़ी tech company बनकर भारी मुनाफा कमाएगा

    • user-generated content पर निर्भर किसी भी चीज में lock-in factor होता है
      apps चाहे सब garbage हों, लोग मौजूदा creators के पीछे जाते हैं, और नए creators पहले से मौजूद audience के पीछे जाते हैं
      मौजूदा service की clone copy बेहतर revenue sharing जैसे बाहरी marketing hook के बिना सफल होने की बहुत कम संभावना रखती है। बाकी को आज के दूसरे low-effort apps की तरह ignore कर दिया जाएगा
    • मुझे लगता है App Store पहले ही human-generated garbage apps में degrade हो चुका है
      ऐसे बहुत से apps हैं जो महीने के $10 से ज्यादा subscription लिए बिना कोई feature नहीं देते, और लोग उन्हें पहले से ignore कर रहे हैं
      खुद करके देखिए। कोई ऐसा काम सोचिए जिसे एक छोटा app अच्छी तरह संभाल सकता हो, फिर ऐसा app ढूँढ़िए जो संतोषजनक हो और मांगे गए पैसे के लायक हो। आपको नहीं मिलेगा
    • “Siri, मेरे लिए एक TikTok बना दो” के पीछे चलने वाली AI cloud orchestration की दुनिया मजेदार होगी
      black hats के लिए एक खूबसूरत नई सुबह खुलेगी

  • यह leak नहीं है। यह public तौर पर YouTube पर upload हुआ था, और मैंने वहीं देखा था
    यह recommendation feed में पहला या दूसरा video था
    मैंने “Stanford, यह lecture upload करने के लिए धन्यवाद” वाला comment भी छोड़ा था, और Stanford ने heart देकर उसे YouTube comments में ऊपर pin कर दिया था: https://i.imgur.com/LSi6mqN.png
    technical स्तर पर यह अच्छा lecture था। मेरा अनुमान है कि दिक्कत तब हुई जब उन्होंने आधुनिक Google की work from home से जुड़ी corporate culture पर थोड़ी आलोचना कर दी