1 पॉइंट द्वारा GN⁺ 3 시간 전 | 3 टिप्पणियां | WhatsApp पर शेयर करें
  • जिन open weight models में खतरनाक क्षमताएँ नहीं हैं, वे कंपनियों, developers और researchers को मूल्य देने वाली public good हैं, और Anthropic पूरी category पर प्रतिबंध लगाने का विरोध करता है
  • मुख्य राष्ट्रीय सुरक्षा चिंता publish करने का तरीका अपने-आप नहीं, बल्कि authoritarian governments की AI बढ़त, मजबूत models से cyber/biological attacks और alignment समस्याएँ हैं
  • Open weights में safety measures लागू करना और usage monitor करना कठिन होता है, और release के बाद उन्हें वापस नहीं लिया जा सकता, इसलिए जोखिम बढ़ सकता है; लेकिन अमेरिकी कंपनियों के उपयोग पर प्रतिबंध लगाने से malicious actors को रोकना मुश्किल है
  • विकल्प के रूप में, चीन को high-performance chips और manufacturing equipment के export पर रोक, industrial-scale distillation पर enforcement, और public/private models दोनों को कवर करने वाले capability-based mandatory safety tests का समर्थन करता है
  • पहले से यह मानकर न चलें कि open weights defenders के पक्ष में हैं; खासकर biology में attacker-defender asymmetry सहित risks का फैसला release से पहले empirical testing से होना चाहिए

Open weights पर पूर्ण प्रतिबंध का विरोध क्यों

  • कुछ अमेरिकी अधिकारियों द्वारा अमेरिकी कंपनियों के चीनी open weight models के उपयोग पर प्रतिबंध पर विचार करने की खबरों के बाद, कई tech companies ने open weights का समर्थन करने वाले open letter पर हस्ताक्षर किए
  • Anthropic ने इस आलोचना को खारिज किया कि वह अपने business की रक्षा के लिए प्रतिबंध चाहता है, और कहा कि उसने कभी open weight models की पूरी category पर प्रतिबंध लगाने की वकालत नहीं की
  • जिन open weight models में खतरनाक क्षमताएँ नहीं हैं, वे चलाने के लिए आवश्यक compute cost के अलावा अलग लागत के बिना कंपनियों, developers और researchers को मूल्य देने वाली public good हैं
  • Protectionist प्रतिबंध मुख्य राष्ट्रीय सुरक्षा खतरों को हल किए बिना सिर्फ अमेरिकी AI companies को competition से बचाने का असर डाल सकते हैं

दो राष्ट्रीय सुरक्षा खतरे

  • Authoritarian governments की AI बढ़त

    • सबसे बड़ी चिंता यह है कि Chinese Communist Party (CCP) समेत authoritarian governments अमेरिका से ज्यादा शक्तिशाली AI models विकसित कर स्थायी military advantage हासिल करें, या उन्हें अपने नागरिकों का अत्यधिक दमन करने में इस्तेमाल करें
    • Chinese Communist Party ही एकमात्र खतरा नहीं है, लेकिन authoritarian governments में इसे सबसे शक्तिशाली खतरा माना जाता है
    • अमेरिकी सरकार भी इसी समस्या को लेकर चिंतित है
    • उपराष्ट्रपति Vance ने चेतावनी दी कि authoritarian regimes ने AI को चुराकर/इस्तेमाल कर अपनी military, intelligence और surveillance capabilities मजबूत की हैं
    • 2026 Annual Threat Assessment का आकलन है कि अन्य great powers की AI प्रगति अमेरिका की economic competitiveness और national security advantage को खतरे में डालती है
    • इस खतरे में यह महत्वपूर्ण नहीं है कि model open weight है या नहीं, या अमेरिकी कंपनियाँ उसका इस्तेमाल करती हैं या नहीं
    • सबसे खतरनाक model वह हो सकता है जिसे गुप्त रूप से train किया गया हो और फिर केवल People's Liberation Army के drones या Ministry of State Security की surveillance और repression के लिए उपलब्ध कराया गया हो
  • Cyber/biological attacks और alignment समस्याएँ

    • दूसरी चिंता यह है कि शक्तिशाली AI models का cyber/biological attacks में दुरुपयोग हो, या वे गंभीर alignment समस्याएँ पैदा करें
    • मूल देश चाहे जो हो, open weight models में closed models की तुलना में संभावित जोखिम अधिक हो सकता है
    • Open weights पर safety measures लागू करना या usage behavior monitor करना बहुत कठिन है
    • Weights public हो जाने पर उन्हें वापस नहीं लिया जा सकता, और safety measures हटाए भी जा सकते हैं
    • copies download करके फिर से distribute करना या उन्हें ऐसे private systems पर चलाना भी संभव है जिन्हें monitor नहीं किया जा सकता
    • UK AI Security Institute report का आकलन है कि खतरनाक क्षमताओं वाले open weight models की release लगातार और irreversible misuse risk पैदा करती है
    • अमेरिकी legitimate companies के malicious actor होने की संभावना कम है, इसलिए अमेरिकी कंपनियों के model use पर प्रतिबंध लगाने से इन risks को सीधे नहीं रोका जा सकता

High-performance chips और manufacturing equipment control

  • चीन को high-performance chips और chip manufacturing equipment नहीं बेचना चाहिए, और chips हासिल करने के लिए इस्तेमाल होने वाली smuggling और обход routes पर enforcement करनी चाहिए
  • चीन की domestic production capacity सीमित है, और scaling laws के आधार पर आकलन है कि अमेरिकी chips के बिना वह अमेरिका से अधिक शक्तिशाली models नहीं बना सकता
  • Chip controls authoritarian governments द्वारा अमेरिका से अधिक शक्तिशाली models बनाने वाले पहले खतरे को सबसे efficient और direct तरीके से रोकते हैं
  • ये अमेरिकी कानून के दायरे से बाहर powerful models train करना कठिन बनाकर cyber/biological attacks और alignment risks को भी अप्रत्यक्ष रूप से कम कर सकते हैं
  • अमेरिकी Department of Justice ने चीन को advanced AI technology अवैध रूप से भेजने या smuggle करने की कोशिशों के कई मामलों को public किया है, और Anthropic इन smuggling और circumvention methods पर enforcement बढ़ाने की मांग करता है

Industrial-scale distillation पर enforcement

  • Model distillation शुरुआत से model train करने की तुलना में compute-efficient है, जिससे चीन अपने पास मौजूद chip scale से संभव स्तर से बेहतर models बना सकता है और chip controls को आंशिक रूप से bypass कर सकता है
  • केवल distillation से Chinese Communist Party अमेरिका के बराबर या उससे बेहतर AI capabilities हासिल नहीं कर सकती, लेकिन यह चीन के frontier models को अमेरिका से सिर्फ कुछ महीने पीछे के स्तर तक ला सकती है
  • भले ही कई distillation companies open weight models release करें, मुख्य बात release method नहीं, बल्कि यह है कि अमेरिका के frontier को पीछे छोड़ना चाहने वाला authoritarian state industrial-scale work को support कर रहा है
  • Open weights पर blanket ban के बजाय distillation को रोकने के लिए targeted policy, legal और commercial frameworks की जरूरत है
  • Anthropic भी अपने models को large-scale distillation के लिए इस्तेमाल करने वाले accounts की पहचान कर उन्हें block करता है
    • कभी-कभी काफी distillation हो जाने के बाद ही संबंधित accounts मिलते हैं
    • कई fake accounts लगातार बनाए जाते हैं, इसलिए enforcement targets भी लगातार बदलते रहते हैं
    • सिर्फ individual companies की actions से इसे हल करना मुश्किल है, इसलिए policy intervention की जरूरत है

Capability-based mandatory safety testing

  • पर्याप्त रूप से powerful सभी models को, चाहे वे public हों या private और चाहे उनका country of origin कोई भी हो, release से पहले cyber, biological और alignment risk testing से गुजरना चाहिए
  • Trump administration हाल ही में इसी दिशा में आगे बढ़ा है, और industry proposal में भी सबसे powerful models पर समान tests लागू करने का उपाय शामिल है
  • Startups और academia द्वारा विकसित कम-capability वाले models को mandatory testing के दायरे से पूरी तरह बाहर रखा जा सकता है
  • Open models का risk वास्तव में अधिक है या नहीं, और उस risk को mitigate किया जा सकता है या नहीं, इसका फैसला पहले से मानकर नहीं बल्कि test results से होना चाहिए
  • Anthropic की modular training strategy research जैसी methods भी मौजूद हैं, जो open weight models की safety बढ़ा सकती हैं
  • Effective safety testing के लिए international application जरूरी है, इसलिए Chinese Communist Party की भागीदारी भी आवश्यक है
  • AI biological weapons prevention चीन के हित में भी हो सकता है, इसलिए इस क्षेत्र में सीमित cooperation संभव माना जाता है

Open weights open letter से अंतर

  • Anthropic Open Weights and American AI Leadership open letter की कुछ बातों से सहमत है
    • Open weights AI economy तक access बढ़ाते हैं
    • कुछ use cases में competition को मजबूत करते हैं
    • customers को अधिक control देते हैं
    • Distillation समस्या को blanket ban नहीं, बल्कि targeted legal और commercial frameworks से संभालना चाहिए
  • हालांकि Anthropic इस assumption से सहमत नहीं है कि open weights अनिवार्य रूप से safety measures develop करना आसान बनाते हैं, या broad capability access attackers की तुलना में defenders के लिए अधिक फायदेमंद है
  • असल में broad access attackers के लिए ज्यादा फायदेमंद हो सकता है, इसलिए किस पक्ष को बढ़त है, इसे empirically verify करना चाहिए

Biology में attacker-defender asymmetry

  • पर्याप्त रूप से powerful models आसानी से उपलब्ध materials से pandemic-level viruses को तेजी से weaponize कर सकते हैं, लेकिन इनके खिलाफ defense best case में भी वर्षों लगने वाला operational challenge हो सकता है
  • Operation Warp Speed के उदाहरण की तरह response technologies और systems तैयार करने में लंबा समय लगता है, इसलिए biology में मजबूत attacker advantage मौजूद हो सकता है
  • अभी biological catastrophe को रोकने वाला factor defenders या materials की कमी से अधिक intellectual capability और catastrophic harm करने के इरादे के बीच negative correlation माना जाता है
  • Internet search या DNA synthesis जैसी पिछली technologies इस correlation को तोड़ने जितनी शक्तिशाली नहीं थीं, लेकिन चिंता है कि AI अपनी मौजूदा development speed से जल्द इसे ध्वस्त कर सकता है
  • जब पर्याप्त रूप से powerful technology सभी barriers हटा देती है, तो यह स्पष्ट हो जाता है कि attackers और defenders में किसे structural advantage है, और biology में attackers हावी हो सकते हैं
  • इन risks का फैसला assumptions या release method को लेकर preconceptions से नहीं, बल्कि rigorous pre-release testing से होना चाहिए

Anthropic जिन policies की मांग करता है

  • Open weight models को एक category के रूप में प्रतिबंधित न किया जाए
  • Authoritarian governments को high-performance chips और manufacturing equipment हासिल करने से रोकने के लिए export और smuggling controls मजबूत किए जाएँ
  • Industrial-scale model distillation को legal, commercial और policy tools से रोका जाए
  • पर्याप्त capability वाले सभी public और private models के लिए cyber, biological और alignment risk testing अनिवार्य की जाए

3 टिप्पणियां

 
unsure4000 2 시간 전

लगता है खरीदे हुए tokens खत्म हो गए तो फिर इसे देखने की नौबत नहीं आएगी। Adios

 
sea715 2 시간 전

पीछे से लॉबिंग करके अब open source का समर्थन करना सच में हैरान करने वाला है। लगता है अगर Anthropic AGI हासिल कर ले, तो वह Arasaka बन जाएगी।

 
GN⁺ 3 시간 전
Hacker News की राय
  • “पर्याप्त क्षमता वाले सभी मॉडल अनिवार्य safety testing से गुजरने चाहिए” कहना असल में open-weight models पर प्रतिबंध की मांग के बराबर है
    जांच कौन करेगा, और अगर इसकी लागत बहुत ज़्यादा हुई या प्रशासक कुछ प्रतिभागियों को मना कर दे तो क्या होगा? अमेरिका पहले भी certification stamp अनिवार्य करके और फिर उसे जारी करने से इनकार करके उत्पादों पर रोक लगाता रहा है

    • Anthropic संभवतः यह तर्क देगा कि उसके अपने models, जो safety layers सहित दिए जाते हैं, उनका मूल्यांकन उसी अवस्था में होना चाहिए, लेकिन open-weight models को weights के स्तर पर ही वही परीक्षण पास करना चाहिए
      आर्थिक असर बड़ा होगा, लेकिन security प्रभाव मामूली दिखता है. अमेरिका में open-weight models के उपयोग को सीमित करने से हाल की Hugging Face attack जैसी घटनाएं कम हो सकती हैं — यह तर्क सबसे ज़्यादा विश्वसनीय लग सकता है, लेकिन सरकार के लिए testing requirements को वास्तव में लागू करना कठिन होगा
      open-weight models के लिए API-based models जैसे security standards पूरे करना व्यावहारिक रूप से असंभव है, और निर्माता चाहें तब भी वे इसका पालन नहीं कर सकते. IP blocking और export controls से access और inference क्षमता सीमित की जा सकती है, लेकिन malicious actors को रोकने में इसका असर नहीं है
    • Fable को वापस लेने की एक वजह के रूप में jailbreak का ज़िक्र हुआ था, जिसमें कहा गया था “इस code को ठीक करो” — https://news.ycombinator.com/item?id=48552687
      अगर “Mythos-class” model इतना खतरनाक है, तो बेहतर है कि उससे सबका code ही ठीक करवाया जाए. दुनिया भर की software कंपनियां, services, और सक्रिय free/open-source projects ज़्यादा से ज़्यादा कुछ लाख से कुछ करोड़ ही होंगे, इसलिए सबको Fable/Mythos credit के रूप में 100 डॉलर देकर अपना-अपना code ठीक करने दिया जा सकता है
      Anthropic 100 million से 1 billion डॉलर में मानव इतिहास का सबसे बड़ा advertising campaign चला सकता है और साथ ही दुनिया भर की security भी मजबूत कर सकता है. ज़्यादातर लोग malicious नहीं हैं, और engineers, consultants, founders, business owners, maintainers जैसे लोग अपने code को Mythos से ठीक करवाना चाहेंगे
      ऐसी क्षमता को permission gate और बंद दरवाजों के पीछे कैद करने से लंबे समय में ज़्यादा नुकसान होगा, और एक ऐसी असममित दुनिया बनेगी जहां access रखने वाले तय करेंगे कि कौन सुरक्षित हो सकता है. अगर सबके पास Mythos होगा, तो किसी के पास भी कोई एकाधिकार वाला “Mythos” नहीं होगा, इसलिए लोगों को बस अपना code ठीक करने देना चाहिए
    • safety evaluation industry पर असल में OpenAI और Anthropic का पैसा और नियंत्रण है
      हाल के models के लिए Gray Swan जैसी बाहरी private evaluation firms का इस्तेमाल होता है, जो internal testing या पूरे business के लिए इन दो कंपनियों पर निर्भर रहती हैं, और ये कंपनियां उसी research talent pool को आपस में घुमाती रहती हैं
    • लगता है लक्ष्य safety testing की लागत 100 million डॉलर से ऊपर ले जाना है, ताकि बहुत ऊंची कीमत न वसूलने पर दुनिया के बड़े हिस्से में कानूनी तौर पर इस्तेमाल होने वाला model जारी ही न किया जा सके, और अंततः कोई भी competing model इस्तेमाल न कर सके
    • पर्याप्त क्षमता” की परिभाषा भी नहीं दी गई. शायद इसका मतलब Anthropic से प्रतिस्पर्धा करने वाले सभी models है, और अगर कंपनी एक साल बाद भी मौजूद रही तो संभव है कि वह Fable-class की परवाह न करे और सिर्फ उस समय के अपने model, जैसे Claude 7, से प्रतिस्पर्धा करने वालों को सीमित करना चाहे
  • चीन को AI को बुरे उद्देश्यों के लिए इस्तेमाल करने वाला खतरा भी माना जा रहा है, और साथ ही ऐसा प्रतिस्पर्धी देश भी जो अमेरिका के साथ मिलकर किसी अज्ञात तीसरे पक्ष को वही लक्ष्य हासिल करने से रोकेगा — यानी Schrödinger का चीन
    हकीकत सरल है. Anthropic का CEO नहीं चाहता कि उसके बंद और महंगे models जैसे या उनसे बेहतर models व्यापक रूप से वितरित हों और उसकी कमाई पर असर डालें
    Anthropic समेत model कंपनियों की खास संपत्ति सिर्फ chips तक विशेष पहुंच है, इसलिए यह स्वाभाविक है कि वे यह सीमित करना चाहें कि कौन सा model आए और कौन नया model बना सके. regulation न हो तो सैकड़ों billions डॉलर की valuation मिटने में बस समय लगेगा

    • Dario हमेशा की तरह खुद को दुनिया का केंद्र मानता दिखता है. चीन के पास अमेरिका के AI प्रभुत्व को चुपचाप स्वीकार करने की कोई वजह नहीं है, और वह सिर्फ कुछ जहाज़ों से Taiwan की नाकाबंदी करके ही इसे रोक सकता है
    • यह सोचना ही अजीब है कि इस blog post की जबरन गढ़ी गई दलील से Anthropic की छवि बेहतर होगी
      बेहतर होता कि वह चुप रहता. यह साफ है कि open models कड़ी प्रतिस्पर्धा ला सकते हैं या revenue base को तोड़ सकते हैं, फिर भी वह सभी मानव श्रम पर शक्ति के एकाधिकार की कोशिश को moral superiority की तरह पेश कर रहा है
    • लेख एक तरफ चीन को जाने वाले hardware और पश्चिम में चीनी open-source models के इस्तेमाल, दोनों पर रोक की बात करता है, और साथ में “हम competition के पक्ष में हैं, लेकिन…” जैसा आवरण भी देता है
      चीन ने AI innovation को open source के रूप में जारी करके AI bubble को काबू में रखने या जल्दी फोड़ने का जो काम किया, वह उसके राष्ट्रीय हित में एक अच्छा फैसला था
  • पहले पैराग्राफ में कहा गया है कि प्रतिबंध उपयोगी नहीं होते, लेकिन बाद में कहा गया है कि चीन के chip acquisition के लिए smuggling और workaround पर crackdown होना चाहिए
    प्रतिबंध असरदार नहीं होते — यह विश्वास hardware पर भी उसी तरह लागू होना चाहिए
    Dario जिन तीन उपायों का समर्थन करता है वे हैं: चीन को chips की बिक्री पर रोक, distillation पर crackdown, और सभी high-performance models के लिए अनिवार्य safety testing — और संयोग से तीनों से Anthropic को व्यावसायिक लाभ मिलता है. अगर Anthropic ने कम से कम एक open-weight model जारी किया होता, तो यह बात कहीं ज़्यादा विश्वसनीय लगती

    • अमेरिका में चीनी open-weight models के उपयोग पर प्रतिबंध और चीन को AI chips तथा semiconductor manufacturing equipment के export पर प्रतिबंध पूरी तरह अलग मुद्दे हैं, इसलिए एक का विरोध और दूसरे का समर्थन करना विरोधाभास नहीं है
    • अगर Anthropic ने open-weight model जारी किया होता और चीन उसे distill करके बुरे उद्देश्यों के लिए गुप्त रूप से रखता, तो यह पत्र कहीं ज़्यादा अर्थपूर्ण लगता
    • सार यह है कि वह ऐसी स्थिति बनाए रखना चाहता है जिसमें प्रतिस्पर्धा होने पर भी Anthropic बहुत सारा पैसा कमाता रहे
  • जो व्यक्ति कल तक इस बात की परवाह नहीं करता था कि उसकी technology किसी दूसरे देश के girls' schools पर बमबारी में इस्तेमाल हो सकती है, वह अचानक किसी और देश के नागरिकों के दमन की चिंता कर रहा है
    इस तरह का moral grandstanding या इस साल के “nightmare scenario” पर श्रेष्ठताबोध से भरा उपदेश भरोसेमंद नहीं लगता

    • dissent suppression पर बात करते समय मौजूदा Trump administration का हवाला देना दिलचस्प है
    • यह मानना कठिन है कि Dario सच में चीनी लोगों की भलाई की चिंता करता है. अगर अमेरिका चीन के साथ युद्ध करे और उसके शहरों पर बमबारी करे, तो वह शायद उसका समर्थन करेगा, और Claude से DeepSeek और Moonshot के headquarters को target list में जोड़ने को कहेगा
      pro-Israel रुख रखते हुए भी उसने कभी इस जोखिम पर बात नहीं की कि Israel सरकार AI का उपयोग दूसरे देशों के लोगों को नियंत्रित और दमन करने में कर सकती है, और वह Palantir के साथ सहयोग को भी सक्रिय रूप से बढ़ाता है, जिसका घोषित लक्ष्य population control, repression और surveillance state बनाना है
      दुनिया का सबसे दमनकारी देश North Korea बिना AI के भी ऐसा कर रहा है. अगर चीनी लोगों से कहा जाए कि Dario मानता है DeepSeek या Kimi उन्हें दमन कर रहे हैं, तो वे शायद हंसेंगे
  • मुझे याद नहीं पड़ता कि कोई कंपनी इतनी तेजी से सोने के अंडे देने वाली हंस से गिरकर इतनी अस्पष्ट हालत में पहुँची हो।
    Dario की घोषणा के पीछे छिपे लगातार रक्षात्मक रुख की वजह से Anthropic के प्रोडक्ट्स पर भरोसा करने या उन पर निर्भर रहने की इच्छा भी खत्म हो गई। यह भी समझ नहीं आता कि इस लेख से वह किसे मनाने की कोशिश कर रहा था, और लगता है Anthropic को खुद को दुरुस्त करने की ज़रूरत है

    • पिछले कुछ महीनों में Anthropic की बाहरी संचार शैली हैरान करने वाली हद तक खराब रही है, और यह सोचकर समझना मुश्किल है कि बाज़ार इतना प्रतिस्पर्धी है
    • प्रमुख निवेशक Google और Nvidia ने open source याचिका पर हस्ताक्षर किए, जबकि Amazon ने नहीं किए, इसलिए लगता है कि वह बँटे हुए निवेशकों और जनता—दोनों को खुश करने की कोशिश कर रहा है।
      यह उन सबको शांत करने की एक अस्पष्ट मुद्रा है जिन्होंने ज़्यादा साफ रुख अपनाया, लेकिन नतीजा काफ़ी खराब रहा है
    • Anthropic शुरू से ही ऐसा था। बस जब यही संदेश किसी अजीब से अंडरडॉग ने दिया था, तब लोगों ने उसे ज़्यादा सहानुभूति से लिया; अब यह कई ट्रिलियन डॉलर की विशाल कंपनी जैसा दिखता है
  • बात कुछ ऐसी है कि दुष्ट चीनी कम्युनिस्ट पार्टी विश्व शांति और अच्छाई के लिए बड़ा ख़तरा है, इसलिए नियम-आधारित अंतरराष्ट्रीय व्यवस्था, जिसमें नेक ताकतें फलें-फूलें और भ्रष्ट कछुआ-जीवविज्ञानी हटा दिए जाएँ, उसके लिए अपना सारा पैसा और input token data Palantir को सौंप दो।
    https://www.theguardian.com/world/2026/jun/20/mona-khalil-tu...

    • जब अमेरिका और इज़राइल द्वारा शुरू किए गए बिना वैधता वाले युद्ध के कारण दुनिया का आधा हिस्सा ऊर्जा कीमतों से जूझ रहा है, तब किसी अमेरिकी अरबपति का चीन को विश्व शांति के लिए ख़तरा बताना घिनौना लगता है
  • अंततः तर्क यह है: “यह तकनीक इतनी ख़तरनाक है कि इस तक पहुँच सिर्फ हमारी होनी चाहिए, और चूँकि हम अच्छे लोग हैं, हम इसके सुरक्षित इस्तेमाल की गारंटी दे सकते हैं।”
    तो फिर पहरेदारों पर नज़र कौन रखेगा?

    • Anthropic के अस्तित्व का मूल कारण ही यह विश्वास है कि AGI को OpenAI या Sam Altman के नियंत्रण में छोड़ना बहुत ख़तरनाक होगा। तो फिर स्वाभाविक रूप से यह निष्कर्ष भी निकलता है कि पृथ्वी पर हर किसी के पास इसका होना भी ख़तरनाक है
    • Anthropic open weight models पर पूरी तरह प्रतिबंध की वकालत नहीं करता; उसका रुख यह है कि सत्तावादी ताकतों को high-performance chips हासिल करने से रोका जाए, industrial-scale distillation को बाधित किया जाए, और open हो या closed—किसी भी पर्याप्त रूप से शक्तिशाली मॉडल पर safety testing अनिवार्य हो
  • अगर आप open models के व्यापक प्रसार का समर्थन करते हैं, तो जैविक हथियार और cyber attack क्षमताओं वाले open weight models के बारे में क्या किया जाए?
    क्या हमें हमलावरों को ऐसे टूल्स मिलने को आज़ादी की कीमत मानकर स्वीकार करना चाहिए? OpenAI/Hugging Face घटना ने बिना प्रतिबंध वाले GPT 5.6-स्तर के मॉडल की क्षमता दिखा दी, और लगभग 6 महीने बाद open weight models भी उस स्तर तक पहुँच सकते हैं, जिससे हर दुष्ट actor उसी पैमाने के हमले कर सकेगा।
    openness को पसंद करना तर्कसंगत है, लेकिन उसके असर पर गंभीरता से विचार किए बिना हर स्थिति में बिना शर्त समर्थन देना ज़रूरत से ज़्यादा भोला रवैया है

    • Hugging Face घटना अच्छी तरह दिखाती है कि रक्षात्मक cyber क्षमता वाले open source models क्यों ज़रूरी हैं।
      Hugging Face को cyber क्षमता वाले state-of-the-art models तक पहुँच नहीं मिली, वह लगातार safety guardrails से अटकता रहा, और open source GLM-5.2 का इस्तेमाल करने के बाद ही हमले से बच सका। अगर open source models पर रोक लग जाए, तो OpenAI या Anthropic की allowlist में शामिल न होने वाले संगठन cyber सुरक्षा ही नहीं पा सकेंगे
    • दुष्ट actor तो वैसे भी पहुँच हासिल कर लेंगे। असली सवाल यह है कि क्या बड़ी कंपनियाँ नवाचार को रोकेंगी
    • जैविक हथियारों के बारे में नहीं जानता, लेकिन infosec क्षमताओं को लेकर आशावादी हूँ।
      30 साल से अधिक समय तक बिना ऐसे विश्लेषण के पड़े code की अचानक दस लाख “taviso” स्तर की क्षमताओं से समीक्षा होने का एक पीड़ादायक जोखिम काल ज़रूर होगा, लेकिन developers और defenders भी वही टूल्स इस्तेमाल कर सकेंगे। भले ही रक्षा की लागत अधिक होने की विषमता हो, फिर भी यह अंततः स्थिर होने वाली arms race है, और आख़िरकार security properties की formal verification बढ़ेगी और वही models उसकी लागत भी लगातार कम करते रहेंगे।
      distillation और open weight models ग़ायब नहीं होने वाले, और उन्हें प्रभावी ढंग से प्रतिबंधित या नियंत्रित करने का लगभग कोई तरीका नहीं है। ऐसे self-service टूल्स भी आ सकते हैं जिनसे गैर-विशेषज्ञ अपने खुद के state-of-the-art infosec-सक्षम models को distill और maintain कर सकें।
      अगर आप defender हैं, तो इसी धारणा पर तैयारी करना सबसे बेहतर है; अनुमति देनी है या नहीं, इस पर बहस करते रहिए, उस समयावधि में कोई वैश्विक enforcement व्यवस्था बनने वाली नहीं है
    • अगर जोखिम सचमुच इतना बड़ा है, तो LLMs को परमाणु बम की तरह ट्रीट करना चाहिए। अमेरिका को दूसरे देशों से बात करके यह सहमति बनानी चाहिए कि अब कोई भी AI models विकसित नहीं करेगा, और दूसरों को रुकने के लिए मनाने का एकमात्र तरीका यह है कि अमेरिका पहले खुद मिसाल पेश करे और सारे लाभ अपने पास न रखे
    • जीवविज्ञान के बारे में नहीं जानता, लेकिन cyber attack क्षमता तो हमलावरों के पास पहले से है और इसे वापस नहीं लिया जा सकता।
      मॉडल open है या closed, यह उतना महत्वपूर्ण नहीं है, और भले ही मौजूदा safety guardrails false positives की तरफ झुके हों, फिर भी closed models से काफ़ी cyber नुकसान किया जा सकता है।
      एकमात्र प्रभावी नियंत्रण यह है कि हमलावरों और defenders—दोनों को समान क्षमता तक पहुँच देकर मैदान को बराबर किया जाए। Dario के प्रस्ताव की तरह अगर ऐसा gate बनाया जाए जिसे हमलावर bypass कर लें लेकिन defenders पार न कर सकें, तो सिर्फ अराजकता सुनिश्चित होगी
  • Dario जिस बात को बार-बार समझ नहीं पा रहा, वह यह है कि लोग अब भरोसा नहीं करते कि अमेरिका aligned AI बनाएगा।
    उसकी पूरी रणनीति इस धारणा पर टिकी है कि अमेरिका और अमेरिकी सरकार असाधारण रूप से नैतिक हैं, लेकिन दुनिया के बाकी हिस्सों को यह साफ़ तौर पर झूठ लगता है

    • Bloomberg इंटरव्यू में Dario ने साफ़ कहा था कि वह American exceptionalism में विश्वास करता है। उसने कहा कि उसे अमेरिकी सैन्य नेतृत्व पर भरोसा है, इसलिए अगर AI दूसरे देशों की स्कूली लड़कियों पर बमबारी में शामिल हो तो भी वह ठीक है।
      उसके अनुसार दुनिया भर की सुरक्षा और नैतिक नियम सिर्फ अमेरिका को ही लिखने चाहिए, और उसी इंटरव्यू में उसने अमेरिकी विदेश नीति का समर्थन करते हुए चीन को “आक्रामक और युद्धप्रिय शासन” कहा था।
      इसे झूठ मानने वाले अमेरिकियों की संख्या भी बढ़ रही है, लेकिन चूँकि कुलीन शासक वर्ग अमेरिकी सरकारी नीति का सबसे बड़ा लाभार्थी है, इसलिए यह प्रचार चलता रहेगा
  • मैं यह तर्क समझता हूँ कि Anthropic खुद विकास को आगे बढ़ाते हुए भी ठहराव और regulation की माँग कर रहा है, और यह भी कि कोई व्यक्ति धीमापन चाहता हो फिर भी AI कंपनी में काम करता रहे, इसके अपने कारण हो सकते हैं।
    लेकिन अगर सब ऐसा ही सोचें, तो ऐसी सहमति का इंतज़ार करते हुए जो शायद कभी बने ही नहीं, प्रतिस्पर्धा और तेज़ होती जाएगी, कुछ नहीं बदलेगा, और आर्थिक प्रोत्साहन हर खिलाड़ी की निरंतर भागीदारी को जायज़ ठहराते रहेंगे।
    उम्मीद है कि अंदर से कुछ अधिक ठोस कार्रवाई सामने आएगी। जब फैसला बहुत जटिल लगे, तो बुनियादी सिद्धांतों पर लौटना चाहिए। अगर आप मानते हैं कि AI बहुत तेज़ी से आगे बढ़ रहा है, तो विकास रोक दीजिए; अगर AI कंपनियाँ ठहराव चाहती हैं, तो उन्हें पहले खुद रुककर उदाहरण पेश करना चाहिए।
    दूसरे खिलाड़ी शायद साथ आ जाएँ, और जो न आएँ वे गैर-जिम्मेदार दिखेंगे। जिसने तय कर लिया है कि वह अब पाप नहीं करेगा, उसे सबसे पहले अपना पत्थर नीचे रखना चाहिए