मैंने Google DeepMind क्यों छोड़ा

• Google DeepMind के पूर्व रिसर्च साइंटिस्ट Alexander Matt Turner ने कहा कि Google DHS·ICE को cloud services दे रहा है, और अमेरिकी रक्षा विभाग के साथ autonomous lethal weapons और large-scale AI profiling पर बाध्यकारी प्रतिबंध न लगाने वाला contract कर रहा है, इसलिए वे अंतरात्मा के आधार पर वहां नहीं रह सकते थे और उन्होंने इस्तीफा दे दिया
• जब अमेरिकी रक्षा विभाग ने Anthropic से मौजूदा प्रतिबंध हटाकर “सभी वैध उपयोग” वाला contract मांगा, तो Turner ने IASEAI और प्रमुख AI शोधकर्ताओं से संयुक्त प्रतिक्रिया की अपील की और Google के अंदर लगभग 250 हस्ताक्षर तथा Jeff Dean की court brief में भागीदारी जुटाई
• उन्होंने एक 25-पेज का contract और oversight framework तैयार किया, जिसमें मानव द्वारा बल-प्रयोग पर नियंत्रण और non-targeted AI profiling पर प्रतिबंध शामिल था, लेकिन Demis Hassabis द्वारा समीक्षा के निर्देश के बाद भी इसे वरिष्ठ policy अधिकारियों के मूल्यांकन तक नहीं पहुंचाया गया
• Google ने अमेरिकी रक्षा विभाग के साथ ऐसा contract किया जिसमें अप्रैल 2026 में विभाग Gemini की safety settings बदलने की मांग कर सकता था और Google वैध सरकारी संचालन को ठुकरा नहीं सकता था, जबकि autonomous weapons और घरेलू large-scale surveillance से बचने वाली भाषा कानूनी रूप से बाध्यकारी नहीं थी
• उनका निष्कर्ष था कि केवल व्यक्तिगत नैतिक वचनबद्धता या प्रबंधन पर भरोसा दबाव की स्थिति में सिद्धांतों की रक्षा नहीं कर सकता, इसलिए पूर्व-निर्धारित सीमाएं, स्वतंत्र समीक्षा और पारदर्शिता वाला low-trust governance जरूरी है

---

DHS की 2025 AI Use Case Inventory से शुरू हुई समस्या-चेतना

• जनवरी 2026 में DHS एजेंटों द्वारा कम से कम 2 लोगों की हत्या की घटना के बाद, Turner ने Google और immigration enforcement agencies के संबंधों की जांच शुरू की
• DHS की 2025 AI Use Case Inventory में DHS की operational efficiency बढ़ाने के लिए उपयोग किए जाने वाले generative AI providers में Google का नाम दर्ज है
• Google, ITC Federal जैसे third party के माध्यम से ICE को cloud services बेचता है
• Google की अन्य कार्रवाइयों को भी उन्होंने समस्या माना
  • 3 अक्टूबर 2025 को ICE गतिविधियों की चेतावनी देने वाले app को listing से हटा दिया गया
  • छात्र प्रदर्शनकारी के account की जानकारी बिना पूर्व सूचना ICE को सौंप दी गई, जिससे सरकार को जानकारी देने से पहले email भेजने के service promise का उल्लंघन हुआ
  • Google ने जवाब दिया कि immigration enforcement agencies ने केवल commercial cloud services का उपयोग किया, लेकिन Turner की आपत्ति यह नहीं थी कि कोई विशेष service दी गई या नहीं, बल्कि यह थी कि ICE को service दी गई
• उनका मानना था कि बड़े पैमाने की petition पहले ही अनसुनी की जा चुकी है, और sit-in, strike या mass resignation की व्यवहार्यता और प्रभावशीलता भी कम है
• AI उद्योग में कुछ मुश्किल से बदले जा सकने वाले प्रतिभाशाली लोग संगठन पर बड़ा असर डालते हैं, इसलिए उन्होंने सोचा कि 100 random research engineers की तुलना में 10 core staff या Jeff Dean जैसे एक व्यक्ति के जाने की संभावना प्रबंधन के लिए अधिक महंगी पड़ सकती है

Jeff Dean से पहला संपर्क

• Jeff Dean Google के 30वें कर्मचारी, Chief Scientist और Gemini project के co-leader हैं; वे ICE की सार्वजनिक आलोचना कर चुके थे और 2018 के autonomous lethal weapons विरोधी pledge में भी शामिल थे
• Turner ने 9 फ़रवरी 2026 को Jeff से सीधे संपर्क कर कहा कि वे Google को DHS सप्लाई चेन से बाहर निकलने में मदद करना चाहते हैं
• Jeff ने जवाब दिया कि Sundar Pichai, Demis Hassabis और Thomas Kurian को email भेजना उचित होगा
• Turner ने तीनों CEOs को निम्नलिखित बातें भेजीं, लेकिन कोई उत्तर नहीं मिला
  • मुद्दा party politics नहीं, बल्कि ICE द्वारा due process का उल्लंघन, नागरिकों की हिरासत, कमजोर oversight वाली facilities और मानवाधिकार हनन है
  • cloud और Gemini को प्रत्यक्ष contract या third-party integrator के माध्यम से इन अभियानों का समर्थन नहीं करना चाहिए
  • DHS·ICE के साथ सहयोग केवल मानवाधिकार का मुद्दा नहीं, बल्कि provider के लिए reputational risk भी पैदा करता है
• इसके बाद उन्होंने Jeff से Google के भीतर वास्तविक बदलाव लाने के तरीकों पर चर्चा के लिए lunch meeting मांगी, और कुछ हफ्तों बाद मुलाकात तय हुई

अमेरिकी रक्षा विभाग का Anthropic पर दबाव

• 25 फ़रवरी 2026 को अमेरिकी रक्षा विभाग ने Anthropic से मौजूदा contractual restrictions हटाकर Claude को “सभी वैध उपयोग” के लिए उपलब्ध कराने की मांग की
  • मौजूदा प्रतिबंध lethal autonomous weapons और AI surveillance·profiling पर लागू थे
  • मना करने पर 200 million dollar contract रद्द करने, supply chain risk company घोषित करने और Defense Production Act के तहत सेवा देने को मजबूर करने की धमकी दी गई
• Turner ने माना कि “वैध उपयोग” मानक में दो समस्याएं हैं
  • जैसे उस मामले में जहां अमेरिकी रक्षा विभाग ने जहाज़ डूबने से बचे लोगों पर दोबारा हमला किया और स्वतंत्र कानूनी विशेषज्ञों ने संभावित war crime कहा, सरकार स्वयं ऐसे कृत्य को वैध मान सकती है
  • large-scale surveillance और AI profiling भी वैध माने जा सकते हैं, क्योंकि मौजूदा surveillance laws AI को ध्यान में रखकर नहीं लिखे गए थे
• supply chain risk designation साधारण contract refusal से अलग था, क्योंकि इससे सभी military contractors को Anthropic का उपयोग बंद करना पड़ता और कंपनी के आर्थिक अस्तित्व को खतरा हो सकता था
• बाद में Judge Lin ने इस designation को “संविधान के First Amendment के खिलाफ एक典型 अवैध retaliatory action” माना

IASEAI और AI विशेषज्ञों से संयुक्त प्रतिक्रिया की अपील

• Turner Paris में UNESCO मुख्यालय में आयोजित International Association for Safe and Ethical AI(IASEAI) कार्यक्रम में शामिल थे
• IASEAI की स्थापना 2024 में safe और ethical AI के लिए एकीकृत आवाज़ बनाने के उद्देश्य से हुई थी, और 2026 working groups में autonomous weapons और escalation पर केंद्रित Red Lines for Advanced AI शामिल था
• कार्यक्रम स्थल पर मौजूद सैकड़ों लोग उस दिन Anthropic मामले के बजाय public choice theory जैसे अमूर्त coordination problems पर चर्चा कर रहे थे
• उन्होंने प्रभावशाली शोधकर्ताओं से सार्वजनिक प्रतिक्रिया देने का अनुरोध किया
  • Yoshua Bengio से Anthropic की contractual freedom और unregulated autonomous lethal weapons के विरोध में statement जारी करने को कहा, लेकिन उनके office ने उत्तर दिया कि वे कोई statement जारी नहीं करेंगे
  • Geoffrey Hinton remote participation कर रहे थे, इसलिए Bengio या Stuart Russell के माध्यम से संपर्क पर विचार हुआ
  • Stuart Russell से व्यक्तिगत और IASEAI, दोनों नामों से statement तथा internal AI experts को mobilize करने का अनुरोध किया गया
• Stuart ने कहा कि वे Bengio और Hinton की भागीदारी की कोशिश करेंगे और IASEAI members vote कराकर कार्यक्रम के समापन पर घोषणा करेंगे

गायब हो गया IASEAI का vote और statement

• समापन कार्यक्रम में Stuart ने अमेरिकी रक्षा विभाग की कार्रवाई को “extortion racket” कहा और यह प्रस्ताव रखा कि Anthropic को उसकी इच्छा के विरुद्ध product को ऐसे उपयोगों के लिए उपलब्ध कराने पर मजबूर नहीं किया जाना चाहिए; इस पर members vote आगे बढ़ाया जाएगा
• मौके पर हुए हाथ उठाकर vote में Anthropic की contractual freedom के समर्थन में IASEAI statement के लिए लगभग सर्वसम्मति दिखी
• उस समय योजना यह थी कि गुरुवार रात तक survey चलाया जाएगा; यदि दो-तिहाई समर्थन मिला तो Stuart IASEAI के नाम से हस्ताक्षर करेंगे, और यदि नहीं मिला तो व्यक्तिगत statement जारी करेंगे
• Turner ने vote में भाग लेने के लिए 75 dollar membership fee दी, लेकिन survey कभी खुला ही नहीं और IASEAI ने कोई statement जारी नहीं किया
• IASEAI पक्ष द्वारा दिए गए कारण लगातार बदलते रहे
  • statement लिखने के लिए अधिक समय चाहिए
  • यह स्पष्ट नहीं कि किस principle को आधार बनाया जाए
  • Anthropic–अमेरिकी रक्षा विभाग की news cycle में शामिल होने के फायदे और नुकसान दोनों हैं
  • समान स्थितियों के लिए internal process सुधार पर ध्यान देना है
  • Anthropic ने अपना statement जारी कर दिया है, इसलिए IASEAI statement अब आवश्यक नहीं
• Turner का मानना था कि Anthropic की शुक्रवार deadline के बाद भी मुकदमा कई हफ्तों तक चला और Google contract दो महीने बाद हुआ, इसलिए IASEAI के पास statement, court brief या Google decision-makers से संपर्क करने के लिए पर्याप्त समय था
• Turner ने कई बार Stuart से कहा कि यदि वे सार्वजनिक बयान न भी दें, तो Google management से निजी तौर पर संपर्क या केवल परिचय करा दें, तब भी मदद होगी, लेकिन उन्हें कोई जवाब नहीं मिला
• IASEAI ने अनुरोध पर membership fee लौटा दी, और उसी स्थान पर हुई AI red lines workshop ने सबसे बड़ी बाधा के रूप में political will को चिन्हित किया

OpenAI कॉन्ट्रैक्ट और Google के भीतर राय-निर्माण

• OpenAI ने अमेरिकी रक्षा विभाग के साथ कॉन्ट्रैक्ट करते समय कहा कि वह Anthropic की तरह स्वायत्त हथियारों और बड़े पैमाने की निगरानी पर सीमाएं सुरक्षित रखेगा, लेकिन कुछ विश्लेषणों ने माना कि कॉन्ट्रैक्ट की भाषा में व्यापक खामियां हैं
• Turner ने Google DeepMind के आंतरिक समसामयिक चर्चा चैनल में Anthropic के साथ एकजुटता जताते हुए “सभी वैध उपयोग” को अस्वीकार करने की अपील की, और एक संदेश को 125 से अधिक समर्थन प्रतिक्रियाएं मिलीं
• आंतरिक पोस्टिंग गतिविधि के कई उद्देश्य थे
  • चुप रहने की स्थिति में प्रबंधन को चुकानी पड़ने वाली संगठनात्मक लागत बढ़ाना
  • वरिष्ठ अधिकारियों द्वारा पढ़े जाने वाले चैनलों के जरिए रणनीतिक तर्क पहुंचाना
  • कॉन्ट्रैक्ट को लेकर असहज कर्मचारियों में यह साझा समझ बनाना कि वे अकेले नहीं हैं
  • OpenAI कॉन्ट्रैक्ट की खामियां साझा करना ताकि भविष्य में इसी तरह की सुरक्षा भाषा पेश होने पर कर्मचारी उसे स्वीकार न करें
  • ऐसा अप्रत्यक्ष रास्ता बनाना जिससे कर्मचारी यह संकेत दे सकें कि कॉन्ट्रैक्ट होने पर वे इस्तीफा दे सकते हैं
• चूंकि यह समझ थी कि Google बड़े आंतरिक चैनलों में प्रत्यक्ष संगठनात्मक गतिविधि से हिचकता है, इसलिए प्रतिक्रिया छोड़ने वाले लोगों से निजी तौर पर संपर्क किया गया

250 लोगों की याचिका और Anthropic की amicus brief

• Jeff को उन गिने-चुने अधिकारियों में माना गया जिनके पास नैतिक समझ भी थी और वास्तविक प्रभाव भी, इसलिए फोकस इस पर रहा कि वही कार्रवाई का केंद्र बनें और कर्मचारियों के समर्थन की पुष्टि करें
• दोस्तों के साथ मिलकर एक-दो दिन के भीतर Google DeepMind और Research के लगभग 250 कर्मचारियों के हस्ताक्षर जुटाकर Jeff को सौंपे गए
  • हस्ताक्षर करने वालों ने आग्रह किया कि बुनियादी निषेध-रेखा पार करने वाले कॉन्ट्रैक्ट को रोकने के लिए वह हर संभव प्रयास करें
  • शुरुआती याचिका में अमेरिका के बाहर के नागरिकों की बिना वारंट निगरानी के मुद्दे को बाहर रखना, बातचीत से पहले ही अपनी मांगों में छूट दे देने जैसी गलती थी
• जब Anthropic ने अमेरिकी रक्षा विभाग की सप्लाई-चेन जोखिम नामांकन के खिलाफ मुकदमा और निषेधाज्ञा दायर की, तो Protect Democracy ने AI विशेषज्ञों की amicus brief तैयार की
• Turner ने उस brief पर हस्ताक्षर किए और सहकर्मियों व Jeff से भी शामिल होने का अनुरोध किया, और Jeff ने भी सार्वजनिक रूप से हस्ताक्षर किए
  • Google DeepMind के 18 हस्ताक्षरकर्ताओं में से 8 को Turner ने जोड़ा
  • Jeff C-level executive के रूप में Google की चुप्पी से सार्वजनिक रूप से अलग रुख अपनाने वाले एकमात्र अधिकारी थे
• यह आकलन किया गया कि Google कर्मचारियों के हस्ताक्षरों ने अमेरिकी रक्षा विभाग में यह चिंता पैदा की कि Google भी भविष्य के कॉन्ट्रैक्ट से हट सकता है, जिससे बातचीत में देरी पर कुछ असर पड़ा
• Google की कानूनी टीम से भी यह कहते हुए brief दाखिल करने को कहा गया कि अगर सरकार को Anthropic पर दबाव बनाने दिया गया तो भविष्य में वही खतरा Google पर भी इस्तेमाल हो सकता है, लेकिन Google शामिल नहीं हुआ, जबकि Microsoft ने brief दाखिल की

प्रबंधन का आशावाद और कॉन्ट्रैक्ट होने की संभावना

• मार्च 2026 भर वरिष्ठ प्रबंधन कहता रहा कि नेतृत्व भी समस्या को समझता है, इसलिए Google “सभी वैध उपयोग” वाले कॉन्ट्रैक्ट पर हस्ताक्षर नहीं करेगा
• Turner ने आकलन किया कि यदि कोई नेतृत्व के सामने वास्तविक लागत नहीं खड़ी करता, तो Google के पीछे हटने की संभावना अधिक है
• उद्धरणों सहित एक memo में उसने ये आधार रखे
  • Google का ऐसा इतिहास है कि वह कम जोखिम वाले दबाव में भी झुक गया है, जैसे छात्र प्रदर्शनकारियों की जानकारी ICE को स्वेच्छा से सौंपना
  • सरकारी कॉन्ट्रैक्ट का महत्व बड़ा है
  • Google DeepMind के AI principles ठोस निषेधों से कमजोर होकर अस्पष्ट भाषा में बदल गए हैं
  • antitrust समस्याएं और मौजूदा न्याय विभाग का मुकदमेबाजी रिकॉर्ड Google पर अतिरिक्त दबाव डालते हैं
• यह memo कई बार साझा किया गया, लेकिन उसके मुताबिक इससे वरिष्ठ कर्मचारियों को मनाया नहीं जा सका

Jeff को केंद्र में रखकर तैयार की गई बातचीत रणनीति

• Jeff ने 2018 में उस प्रतिज्ञा में भाग लिया था कि “स्वायत्त घातक हथियारों के विकास, निर्माण, व्यापार या उपयोग में भाग नहीं लेंगे और न उसका समर्थन करेंगे”, और 2026 में भी उन्होंने सार्वजनिक रूप से दोहराया कि उनका रुख नहीं बदला है
• उन्होंने कहा कि बड़े पैमाने की निगरानी Fourth Amendment और अभिव्यक्ति की स्वतंत्रता का उल्लंघन कर सकती है और उसका राजनीतिक तथा भेदभावपूर्ण दुरुपयोग हो सकता है, इसलिए वे अमेरिकियों पर AI-आधारित mass surveillance नहीं चाहते
• Turner इस तार्किक निष्कर्ष पर पहुंचा कि अगर Google बिना सीमा वाला कॉन्ट्रैक्ट करता है, तो Jeff को अपनी प्रतिज्ञा निभाने के लिए इस्तीफा देना पड़ेगा
• ऐसा परिदृश्य तैयार किया गया जिसमें Jeff, Sundar Pichai से कहें कि कॉन्ट्रैक्ट होने पर वे नहीं रह सकते
  • 250 लोगों की याचिका के जरिए कर्मचारियों का समर्थन दिखाया गया
  • Jeff के स्पष्ट रेखा खींचने पर साथ कार्रवाई करने को तैयार कई वरिष्ठ कर्मचारियों का समर्थन भी जुटाया गया
  • कई लोगों का गठबंधन बोनस या व्यक्तिगत मनुहार से टूट सकता था, इसलिए वास्तविक रणनीति Jeff एक व्यक्ति के प्रभाव पर निर्भर थी
• अगर मांग को अस्पष्ट रूप से सिर्फ “खराब कॉन्ट्रैक्ट मत करो” कहा जाता, तो नतीजा ऊपर-ऊपर सुधरा हुआ कॉन्ट्रैक्ट हो सकता था, इसलिए एक ठोस विकल्प तैयार किया गया

25 पन्नों का सैन्य AI framework

• Turner ने छुट्टी लेकर अपने निजी समय में 25 पन्नों की कॉन्ट्रैक्ट भाषा और oversight structure तैयार की और सैन्य व निगरानी-कानून विशेषज्ञों से उसकी समीक्षा कराई
• मानव-AI combat integration क्षेत्र के एक कानूनी विशेषज्ञ ने framework को “वास्तव में काफी अच्छा” बताया और सुधार के सुझाव दिए
• सरकार जैसी बाध्यकारी शक्ति रखने वाली संस्थाओं को AI देते समय दो मानदंड लागू किए गए
  • बल-प्रयोग पर मानवीय नियंत्रण
    • AI का उपयोग ऐसे सिस्टम में न हो सके जो हर engagement में पर्याप्त मानवीय नियंत्रण के बिना लक्ष्य चुनें और हमला करें
    • यह उन मामलों पर भी लागू हो जहां लक्ष्यीकरण pipeline में सिर्फ AI components दिए जा रहे हों
    • वैध deployment तरीकों की पुष्टि के लिए कानूनी पारदर्शिता और आपसी सहमति से चुने गए neutral auditor द्वारा सत्यापन की मांग की गई
    • interceptor defense, दूसरे मानदंड का पालन करने वाला intelligence analysis, logistics और R&D पर रोक नहीं लगाई गई
  • गैर-लक्षित AI profiling पर रोक
    • बड़े पैमाने के डेटा को ऐसे व्यक्तियों की जानकारी में न बदला जा सके जो पहले से पहचाने गए जांच-लक्ष्य न हों
    • सिर्फ जनसांख्यिकीय विशेषताओं या राजनीतिक अभिव्यक्ति के आधार पर किसी व्यक्ति का विश्लेषण शुरू नहीं किया जा सकता
    • सिर्फ AI output के आधार पर किसी व्यक्ति पर गहन जांच शुरू नहीं की जा सकती
    • विशिष्ट लक्ष्य वाले analysis, aggregate research, और noncombatant protection सुधारने वाला conflict-zone analysis अनुमत होगा
• 7 सदस्यों वाली Defense AI Review Body को Chief Scientist द्वारा नियुक्त और पर्यवेक्षित करने के लिए डिज़ाइन किया गया
  • cloud के लिए 7 में से 2 सीटें आवंटित की गईं
  • कर्मचारी सिर्फ उसी कॉन्ट्रैक्ट से अलग होंगे जिसमें उनकी खुद की भागीदारी रही हो
  • review में देरी को अधिकतम 10 दिन तक सीमित किया गया
  • चर्चाएं attorney-client privilege से संरक्षित होंगी
• Review Body की शक्ति सलाहकारी तक सीमित है, लेकिन जिन मामलों में उसकी सिफारिशें अनदेखी की गईं, उन्हें सभी AI कर्मचारियों को दी जाने वाली वार्षिक transparency report में शामिल किया जाएगा
• संगठन को भंग करने के लिए पूर्व सूचना और अनसुलझे non-compliance मामलों का सटीक खुलासा जरूरी होगा, जिससे 2018 के principles की तरह इसे चुपचाप निष्प्रभावी करना मुश्किल हो
• अगर Congress उस उपयोग को वास्तव में नियंत्रित करने वाला कानून पारित कर दे, तो Chief Scientist और Review Body के भारी बहुमत से इन मानदंडों को हटाया जा सकता है
• अगर “सभी वैध उपयोग” की मांग की जाए, तो प्रस्तावित उपयोग की वैधता साबित करने वाला legal memo लिया जाएगा, और जो उपयोग कंपनी के मानदंड पूरे न करें उन्हें अस्वीकार करने के लिए यह डिज़ाइन किया गया
• यह मानते हुए कि सामने वाला पक्ष आपत्ति कर सकता है, बातचीत में छोड़ी जा सकने वाली कम महत्वपूर्ण शर्तें भी शामिल थीं, जैसे Alphabet board तक escalation

Jeff के साथ लंच और Demis को भेजा गया प्रस्ताव

• 17 मार्च 2026 को Mountain View में Jeff से मिलकर उनसे Review Body का नेतृत्व करने का प्रस्ताव रखा गया, लेकिन Jeff ने इसे स्वीकार नहीं किया
• निजी बातचीत को अनुमति के बिना उद्धृत नहीं किया गया, और सार्वजनिक रूप से सत्यापित किया जा सकने वाला तथ्य यह है कि Jeff ने Anthropic के समर्थन-पत्र पर हस्ताक्षर किए, लेकिन Google के साथ अनुबंध होने के बाद भी कंपनी में बने रहे
• Jeff द्वारा framework का नेतृत्व न करने से सफलता की संभावना काफी कम हो गई, और इसके बाद अगला रास्ता Demis Hassabis को चुनना था
• 2014 में Google द्वारा DeepMind का अधिग्रहण करते समय यह वादा लिया गया था कि AI का उपयोग सैन्य या हथियार उद्देश्यों के लिए नहीं किया जाएगा, और 2018 में सह-संस्थापकों तथा संगठन ने स्वयं autonomous lethal weapons के विरोध की प्रतिज्ञा में भाग लिया था
• प्रबंधन तंत्र के माध्यम से प्रस्ताव पहुँचाने की एक हफ्ते तक कोशिश करने के बाद, 1 अप्रैल 2026 को Demis को सीधे संदेश भेजा गया
• Demis ने Google DeepMind policy संभालने वाले 2 वरिष्ठ लोगों को framework का मूल्यांकन करने का निर्देश दिया
  • दोनों ने शुरुआत में जवाब नहीं दिया, और बाद में इसे निचले स्तर के जिम्मेदार लोगों को भेज दिया
  • निचले स्तर के जिम्मेदार लोग framework के प्रति सकारात्मक थे, लेकिन उन्होंने कहा कि जवाब आने में कई महीने लग सकते हैं
  • अमेरिकी रक्षा विभाग के 9 जनवरी के memo ने सभी AI contractors को 8 जुलाई तक “सभी वैध उपयोगों” वाले अनुबंध स्वीकार करने के लिए 180 दिनों की समय-सीमा दी थी, इसलिए कई महीनों की समीक्षा स्थिति के अनुरूप नहीं थी
  • Turner ने Q&A के लिए San Francisco से London तक आने की पेशकश की, लेकिन वरिष्ठ policy जिम्मेदार लोगों ने फिर जवाब नहीं दिया
• CEO द्वारा समीक्षा का निर्देश दिए जाने के बावजूद मूल्यांकन परिणाम न पहुँचने वाली प्रक्रिया से असंतोष था, हालांकि यह संभावना खुली छोड़ी गई कि कुछ अज्ञात लेकिन वैध कारण रहे हों

Google का चुपचाप किया गया अमेरिकी रक्षा विभाग अनुबंध

• 27 अप्रैल 2026 की रिपोर्टिंग से Google के गोपनीय AI अनुबंध करने की बात सामने आई
• Turner ने Sundar को गोपनीय AI अनुबंध ठुकराने के लिए लिखे गए पत्र पर अन्य लगभग 600 कर्मचारियों के साथ हस्ताक्षर किए
• अनुबंध की मुख्य भाषा इस प्रकार थी
  • अमेरिकी रक्षा विभाग Google AI का उपयोग “सभी वैध सरकारी उद्देश्यों” के लिए कर सकता है
  • सरकारी अनुरोध पर Google को AI safety settings और filters के समायोजन में सहायता करनी होगी
  • इसमें यह भाषा शामिल थी कि इसका उपयोग घरेलू बड़े पैमाने की निगरानी या उचित मानवीय निगरानी के बिना autonomous weapons में नहीं होना चाहिए
  • साथ ही यह भी स्पष्ट किया गया कि Google के पास वैध सरकारी संचालन को नियंत्रित या अस्वीकार करने का अधिकार नहीं है
• “should not” बाध्यकारी निषेध नहीं है, इसलिए इसे नैतिक चिंताओं का सिर्फ औपचारिक जवाब माना गया
• Google ने अनुबंध होने की बात अंदरूनी तौर पर नहीं बताई, और Turner को रात 11:45 बजे Signal group में इसके बारे में पता चला
• Google ने 100 million dollar के voice-controlled autonomous drone swarm competition से internal ethics review के बाद हटने का उदाहरण भी दिया था
  • इसे इस रूप में सकारात्मक माना गया कि कुछ projects में वास्तव में काम करने वाली ethics review मौजूद है
  • लेकिन “सभी वैध उपयोगों” वाले अनुबंध में Google यह नहीं जान सकता कि Gemini वास्तव में किन उपयोगों में लगाया जाएगा, इसलिए यह आकलन करना कठिन है कि लाभ नुकसान से बहुत अधिक है या नहीं
  • Anthropic के CEO द्वारा भी यह कहे जाने का उदाहरण दिया गया कि उन्हें नहीं पता Claude ने Iran के लड़कियों के स्कूलों पर बमबारी में क्या भूमिका निभाई, और इससे deployment के बाद transparency की कमी पर जोर दिया गया

AI principles में वह बदलाव जिसे बदला हुआ नहीं बताया गया

• Demis ने कहा कि दुनिया अधिक खतरनाक हो गई है और लोकतांत्रिक मूल्यों की जीत को स्वाभाविक नहीं माना जा सकता, इसलिए सरकारों के साथ सहयोग करना चाहिए
• उन्होंने कहा कि Google का मूल सिद्धांत अब भी यही है कि लाभ नुकसान के जोखिम से बहुत अधिक है या नहीं, इसे सावधानी से आंका जाए, और international law तथा human rights का सम्मान भी नहीं बदला है
• Turner ने निष्कर्ष निकाला कि “स्थिति देखकर फैसला करेंगे” जैसा मानक दबाव के बीच निभाया जाने वाला पूर्व-प्रतिबद्ध वादा नहीं है, इसलिए इसे सिद्धांत कहना कठिन है
• 2018 Google AI Principles में स्पष्ट रूप से कहा गया था कि ऐसे weapons विकसित या deploy नहीं किए जाएंगे जिनका मुख्य उद्देश्य लोगों को नुकसान पहुँचाना हो, और ऐसी surveillance भी नहीं की जाएगी जो internationally recognized norms का उल्लंघन करे
  • इन्हीं principles की वजह से Google ने 2018 में 10 billion dollar के JEDI contract की bidding से हट गया था
• Demis द्वारा सह-लिखित 4 फरवरी 2025 के संशोधन ने weapons और surveillance पर मौजूद ठोस निषेध हटा दिए
• निषेध प्रावधान हटाकर यह कहना कि “principles नहीं बदले” दोनों बातें एक साथ सही नहीं हो सकतीं, और अंतिम कार्यदिवस पर यह असंगति internal channel में साझा किए जाने पर कई कर्मचारियों ने निराशा जताई

सरकारी सहयोग और असीमित रियायतें अलग-अलग विकल्प हैं

• भले ही यह मान लिया जाए कि पश्चिमी लोकतंत्रों को authoritarianism का सामना करने के लिए autonomous weapons अपनाने चाहिए, फिर भी अमेरिकी रक्षा विभाग की हर मांग स्वीकार करना एकमात्र विकल्प नहीं था
• military AI governance framework लागू करके China के साथ प्रतिस्पर्धा के लिए जरूरी उपयोगों की अनुमति दी जा सकती है, जबकि अनैतिक उपयोगों को सीमित किया जा सकता है
• भले ही अनुबंध थोप दिया गया हो, Google Congress से कानूनी सुरक्षा उपायों की मांग करने में अपना प्रभाव इस्तेमाल कर सकता था, इसलिए असीमित अनुबंध स्वीकार करना एक विकल्प था

व्यक्तिगत भरोसा और संस्थागत governance

• Demis का मानना था कि independent board या safety charter जैसी संरचनाएँ निर्णायक क्षणों में सही तरह काम न कर सकें, और पहले से स्पष्ट रेखा खींचने के बजाय Google के भीतर भरोसा बनाकर decision-making table पर बैठना बेहतर है
• यह दर्शन उस बातचीत के बाद बना जिसमें Sundar ने DeepMind को semi-independent organization के रूप में अलग रखने के प्रस्ताव को ठुकरा दिया था
• Turner ने जवाब दिया कि system को जिस मात्रा के भरोसे की जरूरत होती है, उसे कम किया जाना चाहिए
  • व्यक्ति भी निर्णायक दबावों के अधीन होते हैं, और उनके पास equity, सहकर्मियों के साथ सामाजिक संबंध, तथा कंपनी से जुड़ी आत्म-छवि जैसे और भी खराब incentives हो सकते हैं
  • framework केवल एक भरोसे की धारणा रखता है: कि Chief Scientist Review Body गठित होने तक तर्कसंगत ढंग से काम करेगा; उसके बाद contracts और transparency के जरिए उचित ठहराया गया भरोसा बनाया जाता है
  • यह अनुचित contracts को पूरी तरह नहीं रोकता, लेकिन उन्हें पारित कराने में friction और सार्वजनिक लागत जोड़ता है
• Demis सभी संबंधित contracts की decision-making table पर मौजूद थे, लेकिन अंतिम अनुबंध में कर्मचारियों की नैतिक चिंताओं को दर्शाने वाला एक भी बाध्यकारी प्रावधान नहीं था
• यह माना गया कि शायद इससे और बुरा परिणाम टला हो, लेकिन वास्तविक अनुबंध शर्तें अनुमानित न्यूनतम स्तर के करीब थीं, और OpenAI की शर्तों से भी कमजोर थीं
• Google DeepMind के research scientist Andreas Kirsch भी “Trust is not Governance” में स्वतंत्र रूप से इसी निष्कर्ष पर पहुँचे

Google DeepMind governance experiment की विफलता

• Google DeepMind को Google को इस वादे और semi-independent governance structure के आधार पर बेचा गया था कि इसका उपयोग weapons में नहीं होगा, लेकिन Sundar ने स्वतंत्र संरचना को अस्वीकार कर दिया
• कर्मचारियों के दबाव से बने 2018 AI principles बाद में तब कमजोर कर दिए गए जब leadership ने weapons और surveillance पर विशिष्ट निषेध हटा दिए
• Google DeepMind में revenue और political pressure ने ethical promises पर जीत हासिल की, जबकि Anthropic ने वही दबाव होने पर भी अपनी मौजूदा निषेध-रेखाएँ बनाए रखीं
• निष्कर्ष यह नहीं है कि कोई भी principles का पालन नहीं करता, बल्कि यह है कि समाज इस पर निर्भर नहीं रह सकता कि नैतिक व्यक्ति अंत तक डटे रहेंगे
• भले ही Congress प्रभावी जवाब न दे पाए, यह सोच छोड़ देनी चाहिए कि केवल management का “decision-making table पर बैठा होना” ही safety की गारंटी है

प्रतिज्ञा करने वालों के सामने बचे विकल्प

• Jeff Dean, Demis Hassabis, Shane Legg आदि ने autonomous lethal weapons के development, manufacturing, trade, या use का समर्थन न करने की प्रतिज्ञा की थी, लेकिन Google द्वारा बिना उपयोग-सीमा लागू करने के अधिकार के AI को सैन्य क्षेत्र में उपलब्ध कराने के बाद भी वे कंपनी में बने रहे
• इस व्याख्या के जवाब में कि अनुबंध ने autonomous weapons को स्पष्ट रूप से अनुमति नहीं दी बल्कि सिर्फ प्रतिबंधित नहीं किया, यह तर्क दिया गया कि उपयोग-स्थल न जानने के लिए आँखें बंद कर लेने से जिम्मेदारी खत्म नहीं हो जाती
• सर्वश्रेष्ठ AI बनाकर, उसे autonomous lethal weapons चाहने वाली सेना को उपलब्ध कराना, और उपयोग सीमित करने का अधिकार भी छोड़ देना—ऐसी कंपनी में रहकर AI विकसित करना उस प्रतिज्ञा से टकराता है
• प्रतिज्ञा करने वालों के पास तीन ईमानदार विकल्प हैं
  • सार्वजनिक रूप से समझाएँ कि कंपनी में बने रहना उस प्रतिज्ञा के साथ कैसे संगत है
  • कहें कि वे अब उस प्रतिज्ञा का समर्थन नहीं करते, और कारण समझाएँ
  • कंपनी छोड़ दें
• यदि इतनी स्पष्ट निषेध-रेखा पर भी एक बाध्यकारी प्रावधान तक नहीं हासिल किया जा सका, तो “अंदर रहकर सकारात्मक दिशा देने के लिए बने रहना” वाला तर्क कमजोर पड़ जाता है
• सबसे स्पष्ट वादे को तोड़ने के बाद भी अगर कोई कार्रवाई नहीं होती, तो अगली safety promise की विश्वसनीयता भी घटती है, और अंततः वादे स्वयं ही बेकार हो जाते हैं

AI नैतिकता नेताओं की चुप्पी

• ज़िम्मेदारी Pete Hegseth और Donald Trump, जिन्होंने अमेरिकी रक्षा विभाग पर दबाव डाला, Sundar Pichai, जिन्होंने अनुबंध किया, और Jeff Dean, जिन्होंने अपना प्रभाव और अधिक इस्तेमाल नहीं किया, के बीच समान रूप से विभाजित नहीं थी
• Turner विशेष रूप से उन वरिष्ठ AI विशेषज्ञों की लगातार निष्क्रियता से निराश थे, जिन्होंने सार्वजनिक रूप से नैतिक प्रतिबद्धताओं को आगे रखा था
• Geoffrey Hinton Google द्वारा सैन्य AI प्रतिबद्धताओं को वापस लेने से बेहद निराश थे, और Turner का अनुमान है कि इसकी वजह यह चिंता हो सकती है कि मौजूदा प्रशासन Google के साथ प्रतिकूल व्यवहार करेगा
• Stuart Russell और Hinton आम तौर पर निष्क्रिय रहने वाले लोग नहीं थे
  • Stuart लंबे समय से AI अस्तित्वगत जोखिम और autonomous lethal weapons के बारे में सार्वजनिक चेतावनी देते रहे हैं
  • Hinton ने 1980 के दशक में सैन्य AI फंडिंग का विरोध करते हुए अमेरिका छोड़ दिया था, और 2023 में Google छोड़कर AI जोखिमों पर खुलकर बोलना शुरू किया
• सितंबर 2025 की Global Call for AI Red Lines पर 300 से अधिक लोगों ने हस्ताक्षर किए, जिनमें 15 Nobel और Turing पुरस्कार विजेता शामिल थे, और Stuart, Bengio, Hinton, Mark Nitzberg ने भी mass surveillance और autonomous lethal weapons पर प्रतिबंध का समर्थन किया
• अमूर्त सिद्धांतों पर हस्ताक्षर किए गए, लेकिन जब फरवरी 2026 में वास्तविक corporate-government टकराव हुआ, तो IASEAI ने कोई बयान जारी नहीं किया
• यह व्याख्या कि राजनीतिक पूंजी को अधिक महत्वपूर्ण क्षण के लिए बचाकर रखा गया था, सार्वजनिक बयान से बचने का कारण हो सकती है, लेकिन यह Google के निर्णयकर्ताओं से निजी संपर्क जैसे कम-लागत वाले समर्थन तक से इनकार करने का कारण नहीं बनती
• Jeff, Google प्रबंधन में सार्वजनिक कार्रवाई करने वाले एकमात्र व्यक्ति के रूप में, सम्मान के पात्र हैं, लेकिन Turner का मानना है कि वे अधिक प्रभाव डालकर अनुबंध को रोक सकते थे

पद की सीमाओं से परे आंतरिक कार्रवाई और इस्तीफा

• एक सामान्य “जिम्मेदार research scientist” शायद सिर्फ अपनी चिंता ट्वीट करता और मैनेजर को संदेश भेजता, लेकिन Turner का मानना था कि केवल वही योजना कार्रवाई कहलाने योग्य है जिसका प्रभाव हो सकता है
• उन्होंने Alex Pretti की तस्वीर को अपने फोन नोटिफिकेशन के रूप में सेट किया, और ICE द्वारा लोगों को गोली मारने और घरों से घसीटकर निकालने की घटनाओं को याद करते हुए अपने डर को सहा
• उन्होंने किसी दूसरे शीर्ष AI research lab में जाकर बड़ा बोनस लेने वाला सामान्य रास्ता नहीं चुना
  • OpenAI safety team के संपर्क को भी ठुकरा दिया
  • इस्तीफे के समय उनके पास कोई दूसरी नौकरी नहीं थी
• फरवरी से ही उन्हें लग रहा था कि Google के अनुबंध करने की संभावना अधिक है, लेकिन अगर वास्तव में अनुबंध न हुआ होता तो वे शायद कुछ महीने और रुक सकते थे
• अनुबंध हो जाने के बाद उन्हें लगा कि वे अब काम जारी नहीं रख सकते, और उन्होंने तय किया कि दफ़्तर अब उनके लिए उस पुराने स्कूल की तरह हो गया है जहाँ वे अब नहीं belong करते, इसलिए उन्होंने इस्तीफा दे दिया

संभावित आपत्तियाँ और जवाब

• केवल इस आधार पर किसी व्यक्ति को दोषी नहीं ठहराया जा सकता कि उसने कोई विशेष सुझाव नहीं माना, लेकिन Turner का मानना है कि अगर वरिष्ठ नैतिकता नेताओं ने किसी भी रूप में कार्रवाई की होती, तो परिणाम में दिखाई देने वाला प्रभाव होना चाहिए था
• यदि Jeff ने सचमुच इस्तीफा दाँव पर लगाकर कड़ा विरोध किया होता, तो Turner का अनुमान है कि अंतिम अनुबंध में कम से कम एक या अधिक binding clauses शामिल होते
• हर व्यक्ति पर हर मुद्दे पर बोलने का दायित्व नहीं है, लेकिन सदस्य मतदान का वादा कर उसे रद्द कर देना, या autonomous lethal weapons के विरोध को अपनी पहचान का महत्वपूर्ण हिस्सा बनाकर निर्णायक क्षण में चुप रहना, अलग बात है
• Turner सहमत हैं कि framework पेश किया जाता तब भी संभव है कि अमेरिकी रक्षा विभाग उसे ठुकरा देता
  • xAI जैसे अन्य vendor AI उपलब्ध करा देते
  • लेकिन अगर Google, Anthropic और OpenAI के साथ मिलकर खड़ा होता या अमेरिकी रक्षा विभाग की मांग ठुकरा देता, तो tech industry की अनुपालन-भावना को एक स्वतंत्र प्रतिक्रिया में बदला जा सकता था
  • यदि अमेरिकी रक्षा विभाग इनकार करता, तो Google भी अनुबंध से पीछे हट सकता था, इसलिए Jeff का प्रभाव फिर भी महत्वपूर्ण था
• अमेरिकी रक्षा विभाग ने Amazon Web Services, Google, Microsoft, NVIDIA, OpenAI, Reflection, Oracle, SpaceX के साथ अपने अनुबंधों को Anthropic के साथ टकराव के प्रति “प्रतिक्रिया वक्तव्य” कहा, और इस बात पर ज़ोर दिया कि बड़ी tech कंपनियाँ सेना और सभी वैध उपयोगों का समर्थन करती हैं

AI अस्तित्वगत जोखिम और सैन्य तैनाती

• Turner का मानना है कि Google DeepMind की उन्नत AI safety पर विश्वसनीय दलीलें काफी हद तक Frontier Safety Framework में वर्णित chain of thought निगरानी पर निर्भर हो सकती हैं
• misaligned AI बंद किए जाने से बचने के लिए अपने हानिकारक इरादों को सीधे प्रकट किए बिना धोखा दे सकता है, और उसके chain of thought की जाँच करना इसे पहचानने के प्रमुख तरीकों में से एक है
• ऐसी निगरानी के लिए ऐसे प्रशिक्षित human supervisors चाहिए जो डेटा तक पहुँच सकें और उसका विश्लेषण कर सकें, लेकिन गोपनीय सैन्य data centers commercial Google infrastructure से अलग-थलग होते हैं
• इसका मतलब यह नहीं कि Google कर्मचारियों को सेना के अभियानों को पढ़ना चाहिए, बल्कि सवाल यह है कि शायद ऐसे उपयुक्त रूप से प्रशिक्षित सैन्य engineers ही मौजूद न हों जो मूल रूप से यह निगरानी कर सकें
• यदि chain of thought में धोखे की निगरानी न की जाए, तो AI द्वारा रणनीति, छल और नियंत्रण के माध्यम से मानवता को विनाशकारी नुकसान पहुँचाने की संभावना को नियंत्रित करना और कठिन हो जाता है
• सैन्य deployment environment ऐसा माहौल हो सकता है जहाँ निगरानी कमजोर हो, लेकिन शक्तिशाली निर्णयकर्ताओं और infrastructure तक पहुँच उपलब्ध हो, इसलिए यह malicious AI के लिए आकर्षक वातावरण बन सकता है
• Turner को उम्मीद है कि सेना और US CAISI malicious AI की निगरानी और नियंत्रण के लिए विशेषज्ञता, सतर्कता और नियंत्रण प्रक्रियाएँ विकसित करेंगे

“हम सिर्फ API access देते हैं” वाली सफाई की सीमाएँ

• प्रबंधन का कहना था कि commercial models के लिए industry-standard शर्तों पर API access देना national security का समर्थन करने का जिम्मेदार तरीका है
• सामान्य API access से यह आभास मिलता है कि requests provider के servers पर भेजी जाती हैं और provider उनके उपयोग की निगरानी कर सकता है
• लेकिन गोपनीय अभियानों में plain text queries Google servers को नहीं भेजी जा सकतीं, इसलिए Turner का अनुमान है कि यह isolated government cloud cluster में Gemini API endpoint उपलब्ध कराने वाला on-premise तरीका होगा
• इस स्थिति में “सिर्फ API access” कहना तकनीकी रूप से सही हो सकता है, लेकिन यह गलत आभास देता है कि Google द्वारा केंद्रीय निगरानी संभव है, जबकि इससे autonomous weapons, war crimes और mass profiling की समस्या हल नहीं होती
• Turner का मानना है कि Anthropic को छोड़कर, ऐसी शर्तों के industry standard बनने में Google ने भी योगदान दिया

[GN⁺]

Hacker News की राय

• दबाव के बावजूद जिस बात को सही माना, उस पर अमल करने के TurnTrout के फैसले का सम्मान है। अगले 20 वर्षों में आने वाली गंभीर prisoner’s dilemma स्थितियों में मानवता बेहतर विकल्प चुने, इसके लिए ऐसे समझदार लोगों की और जरूरत होगी
  AI इंडस्ट्री को मैं दूसरों के सामूहिक प्रयासों की अनदेखी कर value extract करके फिर बेचने वाली मानता था, इसलिए researchers को भी नकारात्मक नजर से देखता था; लेकिन इस घटना से AI researchers के प्रति सम्मान थोड़ा बढ़ा है। भले ही TurnTrout इस framing से पूरी तरह सहमत न हों, उन्होंने अपने नैतिक सिद्धांतों को निभाया—यह खुशी की बात है

  • मैं सहमत हूं कि creators को मुआवजा मिलना चाहिए, और असल में compensation बहुत कम था—यह गलत था। हालांकि मेरे लिए यह GDM में शामिल न होने लायक शर्त नहीं थी
    मैं AGI safety research करने के लिए शामिल हुआ था, ताकि AI के existential risks घटाए जा सकें, और मैंने जानबूझकर Gemini की raw performance बढ़ाने वाले काम से दूरी रखी। उस समय मैंने अपनी समझ से एक compromise चुना था, और उस फैसले की आलोचना करना भी उचित है
  • सभी readers को background पता नहीं होगा, इसलिए इस घटना से जुड़ा source link जोड़ना अच्छा होगा

• मैंने Microsoft छोड़ा क्योंकि उसने Israel और IDF के साथ मिलकर Palestinians की निगरानी करने और सभी calls record करने जैसे काम किए। बाद में Microsoft ने कुछ कदम वापस लिए, लेकिन Satya भी जिम्मेदारी से मुक्त नहीं हैं
  https://www.theguardian.com/world/2025/sep/25/microsoft-bloc...

  • क्या Microsoft Palestinians की हत्या में Israel की मदद करता है, लेकिन International Criminal Court के prosecutors के accounts बंद कर देता है?
  • अगर और employees इस तरह action लें, तो companies जल्दी अपना stance बदलेंगी। आखिरकार companies जिस चीज की परवाह करती हैं, वह पैसा ही है

• यह लेख Anthropic प्रकरण को ठीक-ठीक नहीं बताता। US Department of Defense के Under Secretary for Research and Engineering Emil Michael ने All-In podcast में कहा कि negotiation के दौरान Dario बार-बार कहते रहे, “जरूरत हो तो call करें, हर बार हम limits तय कर सकते हैं”
  ICBM launch के 30 मिनट के भीतर फैल सकने वाले बड़े conflict में national security organizations हर बार Dario को phone करके permission नहीं ले सकते। Emil को लगता था कि Dario item-by-item veto के जरिए final control अपने हाथ में रखना चाहते थे, और शायद वह इस authority को देश के survival से भी ऊपर रख सकते थे। Military procurement के नजरिए से ऐसे behavior को record करना और कुछ स्थितियों में अन्य agencies के साथ share करना उचित है; contractors के problematic behavior को record करने वाले databases पहले से मौजूद भी हैं
  यह साफ है कि All-In Emil के लिए favorable setting थी, लेकिन चूंकि उन्हें attacks defend करने में समय बर्बाद नहीं करना पड़ा, इसलिए हमें ज्यादा detailed facts सुनने को मिले—ऐसा मुझे लगता है
  संबंधित हिस्सा: https://www.youtube.com/watch?v=gzwRflcLPAA&t=2479
  Contractor records: http://www.ppirs.gov/

  • फिर भी इससे supply chain risk designation या government से बाहर के कामों तक में contractors को Claude बिल्कुल न इस्तेमाल करने देने का कदम explain नहीं होता। Government बस कोई दूसरा supplier चुन सकती थी, लेकिन यह झुकने से इनकार करने की सजा जैसा लगता है
  • All-In पर आए Emil Michael जितना अविश्वसनीय source मिलना दुर्लभ है। किसी भी पक्ष पर पूरी तरह भरोसा नहीं किया जा सकता, लेकिन अगर Emil और Dario की बात टकराए, तो मैं दसों बार Dario पर भरोसा करूंगा
    Uber में Emil की भूमिका political enemies को बदनाम और बर्बाद करने की थी; अब वे पहले से अलग व्यवहार करते हैं, ऐसा मानने का कोई आधार नहीं है

• सिद्धांतों पर टिके रहने वाले लोग बहुत दुर्लभ हो गए हैं

  • अक्सर यह तभी संभव होता है जब bank account में 7–8 अंकों की संपत्ति हो

• TurnTrout का अपने principles के मुताबिक जीना शानदार है। मुझे नहीं पता कि मुझमें उतनी हिम्मत या self-confidence है या नहीं, और यह Palantir जैसी companies में काम करना चुनने और उस पर गर्व करने वाले smart लोगों से contrast करता है

  • यह courage या self-confidence से ज्यादा उस अंतरात्मा की पुकार जैसा है, जिसका जवाब बहुत कम लोग देते हैं। TurnTrout ने अच्छा किया कि उन्होंने सिर्फ दूसरे पक्ष की गलतियां नहीं गिनाईं, बल्कि यह भी record किया कि उन्होंने खुद क्या प्रयास किए
    यह war machine और उसे जरूरी बनाने वाले empire के financial system के खिलाफ conscientious objection जैसा भी है। Google DeepMind में सीधे काम करने की authority होने पर भी लोग शायद ही सुनेंगे, क्योंकि wartime में madness और money, logic और reason पर भारी पड़ते हैं
    Snowden के बाद Five Eyes से जुड़े लोग झुंड के झुंड resign नहीं हुए थे; उसी तरह ज्यादातर लोग oppression का विरोध न करने की वजहें ढूंढ लेते हैं। लेखक vegetarian हैं और meat-centric society में पहले से अकेले अपने principles निभाते आए हैं—यह शायद बड़े conscientious refusal के लिए practice रहा हो
    जिन लोगों पर home loan, बच्चे, car debt और limit तक भरे credit cards हों, या जो retirement के करीब हों, उनके लिए सार्वजनिक रूप से resistance करना मुश्किल है; और young लोगों के पास अपनी बात कहने की language कम हो सकती है। सत्ता के सामने सच बोलने वाले long-term solo activism के लिए पर्याप्त financial independence भी चाहिए
    खासकर उन लोगों पर भी हमारा बड़ा कर्ज है जिन्हें whistleblower के रूप में मान्यता नहीं मिली, क्योंकि media ने मुद्दे के essence से ज्यादा व्यक्ति की situation पर focus किया। यह पहला कदम उस classic hero’s journey जैसा है, जिसमें call को पहले reject करने के बाद व्यक्ति extraordinary world में प्रवेश करता है और सबके लिए लाभकारी कुछ लेकर लौटता है

• अपनी मान्यताओं पर टिके रहने का सम्मान है, लेकिन यह जानने की जिज्ञासा है कि बुद्धिमान AI हथियार क्यों नहीं चाहिए। क्या ऐसा ऑनबोर्ड AI, जो निहत्थे नागरिकों और सैन्य लक्ष्यों में फर्क कर सके, उन पारंपरिक बारूदी सुरंगों से ज़्यादा जिम्मेदार विकल्प नहीं है जो कुछ भी उड़ा देती हैं?

  • रोज़मर्रा के कामों में भी AI की accuracy पर इतनी बहस है, इसलिए जब तक यह साबित न हो जाए कि यह इंसानों से निश्चित रूप से अधिक accurate है और वास्तविक reasoning/decision-making क्षमता रखता है, तब तक LLM को जिंदगी-मौत के फैसलों में नहीं लगाना चाहिए
    जैसे मैं LLM-आधारित मशीन को surgery anesthesia सौंपना नहीं चाहूंगा, वैसे ही मौजूदा हालत में ऐसा सैन्य सिस्टम भी नहीं चाहिए जो कहीं ज़्यादा लोगों के जीवन-मरण का फैसला करे। भविष्य में हथियार संचालन की तकनीक सचमुच भरोसेमंद हो भी जाए, तब भी युद्ध अपने-आप में जरूरी है या नहीं, और AGI के करीब पहुंच चुकी उस तकनीक की प्रेरणा क्या है—ऐसे नए दार्शनिक सवाल उठेंगे
  • अगर AI-assisted targeting system अंतिम फैसला लेने लगे, तो सैनिकों को अपराधबोध कम महसूस होगा, और उन्हें सीधे हथियार चलाने के बजाय सिर्फ निगरानी करनी होगी, इसलिए हत्या करना और आसान हो जाएगा। हत्या का automation मौतों की संख्या बहुत बढ़ा सकता है
  • मशीन को तुरंत जीवन-मरण का फैसला नहीं करने देना चाहिए। AI जानकारी दे, तब भी अंतिम trigger इंसान को ही दबाना चाहिए, और वही सुरक्षा उपाय मशीन द्वारा श्रृंखलाबद्ध हत्या को रोकता है
    अन्यायपूर्ण हत्या के लिए इंसान को जिम्मेदार ठहराया जाना चाहिए, लेकिन AI हथियारों के साथ “यह algorithm की गलती थी और version 23 में सुधार करेंगे” कहकर जिम्मेदारी से बचना बहुत आसान हो जाता है। हथियारों में AI को integrate करने से पूरी तरह automated killing तक की दूरी बहुत कम रह जाती है
  • यह हिंसा पर लागू Jevons paradox है। अभी collateral damage का जोखिम killing को सीमित करता है, लेकिन अगर वह जोखिम घटे तो उल्टा killing बढ़ सकती है। इसी तरह, बड़े युद्धों को रोकने वाला सबसे मजबूत तंत्र mutual assured destruction है—यह भी वही paradox दिखाता है
  • जैसे ही फैसला मशीन को सौंपते हैं, मानवीय जवाबदेही खत्म हो जाती है। अगर robot कुछ अवैध या अनैतिक करे, तो “bug था” या “ऐसा इरादा नहीं था” कहकर plausible deniability मिल जाती है
    extremist content recommendations, अश्वेत लोगों की गलत पहचान, और पुरुष-पक्षपाती hiring में भी हमेशा “algorithm ने ऐसा किया” कहकर जिम्मेदारी टाली गई है। ऐसे systems में वे वास्तव में जो करते हैं, वही उनका उद्देश्य होता है, इसलिए कानूनी जिम्मेदारी को स्पष्ट रूप से लिखने की कोशिशों से भी वे आमतौर पर पूरी ताकत से बचते हैं

• Google में काम किया है, लेकिन AI ethics पर कही गई बातें वादा नहीं बल्कि धोखा थीं। Google, कई दूसरी कंपनियों की तरह, बारीकी से orchestrated disinformation और आधे-अधूरे सच के जरिए कर्मचारियों का focus और motivation बनाए रखता है
  “कर्मचारियों की आवाज़ सुनते हैं” वाली बात भी तभी सच होती है जब business पर कोई असर न पड़े और कंपनी को अच्छा दिखाया जा सके। राजनीतिक या आर्थिक रूप से जरा-सा भी resistance पैदा हो तो वे नहीं सुनते। बदलाव के लिए लड़ने वाले लेखक की बहुत कद्र है, लेकिन Google के dark patterns इतने गहरे हैं कि whitepaper और email का शिष्ट आदान-प्रदान भर उनसे छुटकारा पाने के लिए काफी नहीं है

• पोस्ट हुए सिर्फ 1 घंटा हुआ था और 200 से ज़्यादा points मिल चुके थे, फिर भी HN के front page से गायब हो गया

  • लगता है कि debate के भड़कने का पता लगाने वाला कोई mechanism चला और पोस्ट की ranking घटा दी गई

• Google एक अवसरवादी कंपनी है जिसने Trump के जीतने के बाद DEI policies छोड़ दीं, और वे policies शुरू से ही ईमानदार नहीं थीं। यह कोशिश कुछ हद तक भोली थी, इसलिए असफल होनी ही थी, लेकिन AI military products भी किसी लड़कियों के स्कूल को उड़ाने के अलावा शायद ठीक से काम नहीं करेंगे
  CEO लोग Hassabis की regulatory capture योजना का समर्थन करने के लिए एक-दूसरे से आगे निकलते दिख रहे हैं
  https://xcancel.com/sundarpichai/status/2077086951833063580#...
  https://xcancel.com/satyanadella/status/2077063479232795024#...
  https://xcancel.com/elonmusk/status/2077415601610297535#m
  यह उनका अपना बंद समूह है, और हम उसके अंदर नहीं हैं

  • दरअसल सभी कंपनियों का व्यवहार psychopathic होता है। उनका इकलौता लक्ष्य shareholders के लिए पैसा कमाना है, इसलिए जो भी रुकावट बने उसे हटाते हुए वे लगातार optimize करती रहती हैं
    GOOG, MSFT, META वगैरह रखने वाले ज़्यादातर लोग इस बात से ज़्यादा कि कमाई कैसे बन रही है, बस चाहते हैं कि उनका 401(k) ऊपर जाए; और सिस्टम को शुरू से इसी तरह design किया गया है