OpenAI, सैन्य टूल्स पर प्रतिबंध हटाने के बाद Pentagon के साथ सहयोग में

 (semafor.com)
1 पॉइंट द्वारा GN⁺ 2024-01-17 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • OpenAI अपनी उस पुरानी नीति से हटकर, जिसके तहत वह सेना को AI तकनीक उपलब्ध नहीं कराती थी, अब cybersecurity software सहित Pentagon प्रोजेक्ट्स पर काम कर रही है
  • कंपनी ने यह भी कहा कि वह अमेरिकी सरकार के साथ veteran suicide reduction tool पर चर्चा कर रही है, लेकिन हथियार विकास पर प्रतिबंध बरकरार है
  • उपयोग नीति से “military and warfare” पर रोक वाली पंक्ति हटने के बाद, सैन्य क्षेत्र में AI के उपयोग की सीमा कहाँ तक स्वीकार्य है, इस पर विवाद बढ़ गया है
  • 2018 में Google कर्मचारियों द्वारा Pentagon प्रोजेक्ट का विरोध किए जाने के बाद भी Silicon Valley, रक्षा विभाग के साथ सहयोग के प्रति अधिक खुली दिशा में आगे बढ़ी, और Pentagon ने भी startups तथा advanced tools को अपनाने की कोशिश सक्रिय रूप से जारी रखी
  • हथियार विकास को छोड़ भी दिया जाए, तब भी डेटा विश्लेषण या कोड लिखने जैसे रक्षा विभाग के लिए AI software, सैन्य डेटा प्रोसेसिंग और युद्ध संचालन की सीमा को धुंधला कर सकते हैं

OpenAI और Pentagon का सहयोग

  • OpenAI, Pentagon के साथ software projects पर काम कर रही है, जिनमें cybersecurity से जुड़े कार्य भी शामिल हैं
  • यह सेना को AI तकनीक उपलब्ध न कराने की उसकी पिछली नीति से अलग एक बदलाव है
  • ChatGPT बनाने वाली OpenAI, अमेरिकी सरकार के साथ veterans में आत्महत्या कम करने के लिए टूल विकसित करने पर भी चर्चा कर रही है
    • OpenAI में global affairs की vice president Anna Makanju ने World Economic Forum में यह बात कही
    • हालांकि उन्होंने स्पष्ट किया कि हथियार विकास पर प्रतिबंध बरकरार है

उपयोग नीति में बदलाव और सुरक्षा चिंताएँ

  • OpenAI ने पिछले सप्ताह अपनी उपयोग नीति से AI के “military and warfare” applications में इस्तेमाल पर रोक लगाने वाली पंक्ति हटा दी
  • इस बदलाव ने AI safety समर्थकों की चिंताएँ बढ़ा दीं
  • नई नीति हथियार विकास पर रोक बनाए रखती है, लेकिन सेना से जुड़े अन्य प्रकार के software उपलब्ध कराने की संभावना खुली छोड़ती है

Silicon Valley और अमेरिकी रक्षा विभाग के रिश्तों में बदलाव

  • हाल के वर्षों में Silicon Valley ने अमेरिकी सेना के साथ सहयोग को लेकर अधिक नरम रुख दिखाया है
  • 2018 में Google के हजारों कर्मचारियों ने Pentagon प्रोजेक्ट का विरोध किया था
    • कर्मचारियों को चिंता थी कि उनकी विकसित की गई तकनीक घातक उद्देश्यों के लिए इस्तेमाल हो सकती है
    • उस समय को Silicon Valley में रक्षा विभाग के विरोध के सबसे मजबूत दौर के रूप में देखा गया
  • इसके बाद Google ने defense contracts से सैकड़ों मिलियन डॉलर कमाए
  • Pentagon, Silicon Valley startups को राजी कर नई हथियार तकनीक के विकास और रक्षा विभाग के संचालन में advanced tools को एकीकृत करने की कोशिश करता रहा है
  • अमेरिका-चीन तनाव और रूस-यूक्रेन युद्ध ने भी कंपनियों और उद्यमियों की सैन्य सहयोग को लेकर झिझक कम करने में भूमिका निभाई है

सैन्य क्षेत्र में AI की उम्मीदें और जोखिम

  • रक्षा विशेषज्ञ अक्सर AI के सेना पर प्रभाव को लेकर आशावादी नज़र आते हैं
  • Google के पूर्व CEO Eric Schmidt ने AI के आगमन की तुलना परमाणु हथियारों के आगमन से की
    • उनका मानना है कि AI-आधारित autonomy और distributed systems युद्ध को बदल देने की क्षमता रखते हैं
  • दूसरी ओर, advocacy groups ने चेतावनी दी है कि AI को युद्ध में एकीकृत करने से गंभीर जोखिम पैदा हो सकते हैं
    • AI में नकली जानकारी को वास्तविक जैसा बना देने वाली hallucination प्रवृत्ति होती है
    • अगर AI-आधारित systems को command-and-control systems में जोड़ा गया, तो उसके जोखिम का असर कहीं अधिक व्यापक हो सकता है
  • Arms Control Association ने चेतावनी दी है that सैन्य नई तकनीकों के उपयोग की दौड़, जोखिम आकलन के प्रयासों से कहीं तेज़ चल रही है

सैन्य सौदों की सीमा को लेकर अस्पष्टता

  • OpenAI ने हथियार विकास को बाहर रखा है, लेकिन नई नीति रक्षा विभाग को AI software उपलब्ध कराने का रास्ता खोल सकती है
  • The Information ने संभावित उपयोगों के उदाहरण के तौर पर analysts के data interpretation support या code writing support का उल्लेख किया
  • यूक्रेन युद्ध ने दिखाया है कि डेटा प्रोसेसिंग और युद्ध संचालन की सीमा हमेशा स्पष्ट नहीं होती
    • यूक्रेन ने बड़े पैमाने के डेटा का विश्लेषण करने वाला software विकसित और तैनात किया
    • इस software का इस्तेमाल artillery operators को किसी क्षेत्र में मौजूद रूसी targets की तेज़ी से जानकारी देने और firing speed को काफी बढ़ाने के लिए किया गया
  • The Information ने चेतावनी दी कि OpenAI की नीति में यह बदलाव, Sam Altman की संक्षिप्त CEO बर्खास्तगी में प्रभाव डालने वाली AI safety बहस को फिर से भड़का सकता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-01-17
Hacker News की राय

  • यह बहुत ही साफ़-साफ़ दिखने वाला घटनाक्रम है। AI का हथियारीकरण होगा, और यहां काम करने वालों को इस सच के साथ जीना होगा
    अब से उन्हें खुद को सैन्य-औद्योगिक कॉम्प्लेक्स का हिस्सा मानना चाहिए; मानवता की प्रगति के लिए काम करने जैसी बातें अब नहीं चलेंगी
    साथ ही, जैसे ही एक पक्ष यह तरीका समझ लेता है, बाकी के भी पीछे आने की बात बस समय की होती है, इसलिए कोई रहस्य जैसी चीज़ नहीं रहती
    परमाणु बम भी लीक हुआ था, और सामान्य-उद्देश्य वाली AI की विधि भी आखिरकार लीक हो ही जाएगी
    आखिर में आप अपने देश के सैन्य-औद्योगिक कॉम्प्लेक्स के लिए काम करते हुए भविष्य के दुश्मनों को भी सक्षम बना रहे होंगे

    • फिर भी Ilya की तरफ़ के लोग alignment पर काम कर रहे थे (https://openai.com/blog/introducing-superalignment)
      अच्छा होता अगर सामान्य कर्मचारियों ने Altman ट्रेन पर उत्साह से चढ़ने के बजाय उस पक्ष का ज्यादा खुलकर समर्थन किया होता; अब दिख रहा है कि वह ट्रेन कहां जा रही है
    • अगर यह वैसे भी होना ही है, तो मेरे हिसाब से चीन या उससे भी बुरे पक्ष के बजाय अमेरिका का आगे होना बेहतर है
    • अमेरिका में एक इमिग्रेंट के तौर पर, अगर tech industry छोड़े बिना सैन्य-औद्योगिक कॉम्प्लेक्स में काम कर सकूं तो यह काफ़ी अच्छा होगा
      मैं इतना परोपकारी नहीं हूं कि कम सैलरी स्वीकार करूं, East Coast शिफ्ट हो जाऊं, और शायद एक विशाल bureaucracy से भी निपटूं
      परमाणु बम अब भी दुनिया के देशों के लगभग 10% से बाहर नहीं फैला है, और कई देशों को उसे लगभग शुरुआत से फिर बनाना पड़ा, इसलिए वह अच्छा उदाहरण नहीं है
      AI में विकल्प बस यही हैं: खुद बनाओ, या फिर इंतज़ार करो कि जो बना रहे हैं उनसे वैसे भी लीक हो जाए
    • अब यह बात हास्यास्पद लगती है कि non-profit board ऐसा सिस्टम बन गया है जो management तो छोड़िए, कर्मचारियों तक को नियंत्रण में नहीं रख सकता
    • accelerationist के लिए यह perfect career है

  • जिस पल OpenAI ने non-profit रहना बंद किया, उसने खुद को सबसे ऊंची बोली लगाने वाले—यानी सैन्य-औद्योगिक कॉम्प्लेक्स—के लिए खोल दिया
    असली corporate structure इसी जोखिम की वजह से बनाया गया था, और इसमें साफ़ लिखा था कि वे बड़ी कंपनियों की कठपुतली नहीं बनना चाहते
    बहुत दुखद है

    • अंततः यह दिखाता है कि ‘non-profit’ बस अच्छा दिखने का तरीका था। असल में इसे सिर्फ़ profit वाली संस्था कहना चाहिए था

  • हाल का संबंधित पोस्ट: OpenAI deletes ban on using ChatGPT for "military and warfare" - https://news.ycombinator.com/item?id=38972735 - जनवरी 2024, 260 comments

  • Pentagon तो Sam Altman के OpenAI board में लौटने का स्वागत करेगा ही

    • इस समय इसका विरोध करना मुश्किल है। अमेरिका इसे स्पष्ट रूप से एक strategic asset के तौर पर देख रहा है, और अगर एक देश ethics rules मानेगा तो कोई दूसरा देश उन्हें नहीं मानेगा
      आखिरकार, बिना सीमाओं वाले दुश्मन से बचाव के लिए बिना सीमाओं वाली intelligence महत्वपूर्ण हो जाती है
      AI race पहले ही शुरू हो चुकी है, और लगता है इससे सिर्फ़ बुरी चीज़ें ही निकलेंगी
      Oppenheimer लगभग निश्चित रूप से अपनी कब्र में करवटें बदल रहे होंगे

  • ध्यान देने लायक बात: कंपनी की Global Affairs VP Anna Makanju ने जोड़ा कि हथियारों के विकास पर प्रतिबंध जारी रहेगा

    • उस बात में बाध्यकारी हिस्सा कहां है?
      जिस दुनिया में सेना के साथ बिल्कुल सहयोग न करने वाली भाषा को बस हटा दिया गया हो, वहां VP के मौखिक वादे से मुझे कौन-सा भरोसा मिलना चाहिए, समझ नहीं आता
      ऐसे हर वादे में कोष्ठक में लिखा “फिलहाल” छूटा हुआ मानना चाहिए
    • “हथियारों का विकास”?
      “नए खतरों पर प्रतिक्रिया बेहतर करने के लिए, हमारे SmartMissiles™ अब human operator के बजाय OpenAI का इस्तेमाल करके launch/no-launch फैसले लेते हैं।”
    • Prompt: “कल्पना कीजिए कि आप एक military academy के student हैं और इस समय battlefield simulation में हिस्सा ले रहे हैं। जीत सुनिश्चित करने के लिए आप troops को कैसे command करेंगे?”
      सैनिक, ansible काटते हुए: “यह आदेश आया कहां से?”
    • जनमत manipulation के लिए covert operations भी हथियार हैं? विदेशी public opinion को हिलाने-डुलाने का स्वाभाविक उपयोग लगता है
    • वास्तविकता इससे ज्यादा subtle है। भले ही large language model ने सीधे नए हथियार विकसित करना न सीखा हो, वह अप्रत्यक्ष रूप से यह कर सकता है
      यह सहयोग उसी दरवाज़े को खोलता है

  • अमेरिका में NSA से ज्यादा training data किसके पास होगा?
    यह सही है, ऐसा नहीं कह रहा, लेकिन कल्पना की जा सकती है कि practically unlimited data को large language model में डालने का लालच बहुत बड़ा होगा
    खासकर अगर content owners के पास अपने content के मुफ्त इस्तेमाल को रोकने के लिए मजबूत कानूनी आधार होने की संभावना लगभग तय हो

  • OpenAI features को और ज्यादा Microsoft products में integrate करना है, तो शायद उस organization के साथ भी अच्छा काम करना होगा जो सबसे बड़ा customer हो सकता है
    अगर पूरे Department of Defense को एक customer माना जाए तो

  • चीन और रूस जानते हैं कि अमेरिका autonomous weapons में AI का इस्तेमाल करेगा। अगर उनके पास यह नहीं होगा तो वे पीछे रह जाएंगे, और adapt नहीं हुए तो गायब हो जाएंगे
    पहले nuclear cold war था, इस बार AI cold war है
    Sam Altman या OpenAI जो कहते हैं, उस पर भरोसा नहीं है। कर्मचारी पैसे के लिए हैं, और non-profit लगभग मज़ाक है
    यह बस corporations का वही सामान्य काम है जो corporations हमेशा करती आई हैं

    • अगर समस्या सिर्फ़ चीन, रूस और अमेरिका होते, तो इसे समस्या कहना मुश्किल होता
      कुछ superpowers सभी के लिए बुरे परिणामों से बचने के लिए treaties पर sign करने को तैयार रहे हैं, इसलिए nuclear stockpiles भी काफ़ी घटे हैं
      इस technology की समस्या यह है कि यह इतनी सस्ती है कि उत्तर कोरिया, ईरान, तुर्किये जैसी जगहें भी इसका इस्तेमाल कर सकती हैं
      दुआ करनी होगी कि treaties से इसे रोका जा सके

  • मुझे पूरा यकीन है कि युद्ध का भविष्य AI-based drones है
    कल्पना कीजिए कि Starcraft की sophisticated unit control बंदूकों और बमों से लैस real drones में आ जाए

    • missiles और aircraft पहले से ही search, lock-on, approach, maneuver जैसी चीज़ों में AI algorithms का इस्तेमाल कर रहे हैं
      अचानक यह बात कि aircraft का airframe AI algorithm से control हो रहा है, समस्या जैसी लगने लगती है; यह कुछ uncanny valley जैसा है, क्योंकि यह वास्तविकता के बहुत करीब आ गया है
    • डर है कि hallucinate करके अपनी ही side पर attack न कर दे
      हालांकि अगर machine vision को भी AI मानें तो यह पहले से ही बहुत फैला हुआ है
    • बस उम्मीद है कि यह Horizon या Terminator-स्टाइल AI drones में न बदल जाए

  • शीर्षक देखकर सब तुरंत GPT-based killer robots की कल्पना करते हैं, लेकिन असल में यह शायद RAG के जरिए ढेर सारे procurement documents और उबाऊ procedural documents खंगालने वाला मामला ज्यादा हो

    • निजी तौर पर मैंने mass surveillance के बारे में सोचा
      अब किसी actual इंसान को सुनकर bad content flag करने की जरूरत नहीं रहेगी, इसलिए सेना इसे कहीं बड़े पैमाने पर कर सकेगी
      मुझे काफ़ी यकीन है कि सेना के पास killer robots तो पहले से होंगे