Amazon CEO और अमेरिकी अधिकारियों के बीच बातचीत से Anthropic मॉडलों पर कार्रवाई शुरू हुई

 (wsj.com)
3 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • ट्रम्प प्रशासन ने Anthropic के शीर्ष-स्तरीय AI मॉडलों के सभी विदेशी उपयोग को रोकने का फैसला किया, और यह Amazon CEO तथा Treasury Secretary सहित अमेरिकी अधिकारियों के बीच हुई बातचीत से शुरू हुआ
  • Amazon के शोधकर्ताओं ने प्रॉम्प्ट्स की एक श्रृंखला के जरिए Fable 5 मॉडल से ऐसी जानकारी हासिल की जिसे साइबर हमलों में इस्तेमाल किया जा सकता था और जिसे ब्लॉक किया जाना चाहिए था; यह बात अधिकारियों तक पहुंचाई गई
  • व्हाइट हाउस ने प्रतिक्रिया बैठक के बाद विदेशी सरकारों, कंपनियों और व्यक्तियों की मॉडल एक्सेस रोकने को सबसे सीधा समाधान माना, और राष्ट्रपति ट्रम्प ने सुरक्षा कारणों से इसे मंजूरी दी
  • नियमों का पालन करने के लिए Anthropic ने Mythos और Fable की पूरी user access बंद कर दी, जिससे विदेशी मूल के कई शोधकर्ता नवीनतम मॉडलों पर काम से व्यावहारिक रूप से बाहर हो गए
  • सुरक्षा चिंताओं के अलावा, प्रशासन का Anthropic के प्रति अविश्वास और राजनीतिक तनाव भी इस फैसले को प्रभावित कर सकता है, और इसे AI उद्योग पर बढ़ते सरकारी नियंत्रण की व्यापक प्रवृत्ति का हिस्सा माना जा रहा है

कार्रवाई कैसे शुरू हुई

  • Amazon CEO Andy Jassy और Treasury Secretary Scott Bessent सहित अमेरिकी अधिकारियों के बीच हुई बातचीत ने ट्रम्प प्रशासन के विदेशी उपयोग रोकने के फैसले को ट्रिगर किया
    • Jassy ने अधिकारियों को बताया कि Amazon के शोधकर्ताओं ने Fable 5 से ऐसी साइबर हमले-सहायक जानकारी निकाली जिसे रोका जाना चाहिए था
    • टेक उद्योग के वरिष्ठ अधिकारी उन्नत AI टूल्स की क्षमता को लेकर प्रशासन से नियमित संपर्क में रहे हैं
  • इसके तुरंत बाद व्हाइट हाउस अधिकारियों ने प्रतिक्रिया पर चर्चा के लिए बैठक की, और सुरक्षा शोधकर्ताओं ने Amazon के दावे की जांच शुरू की
    • विदेशी सरकारों, कंपनियों और व्यक्तियों की टूल एक्सेस रोकना जोखिम कम करने का सबसे सीधा तरीका माना गया
    • राष्ट्रपति ट्रम्प ने innovation पर असर की चिंता के बावजूद सुरक्षा कारणों से कदम को मंजूरी दी

Anthropic की प्रतिक्रिया और असर

  • Anthropic ने नियमों के अनुपालन के लिए Mythos और Fable की सभी user access रोक दी
    • इससे दुनिया भर की कंपनियों के software vulnerabilities पहचानने के प्रयास प्रभावित हो सकते हैं
    • Anthropic के कई शोधकर्ता विदेशी मूल के हैं, इसलिए इस नियम के कारण उनके लिए नवीनतम मॉडलों पर काम करना व्यावहारिक रूप से असंभव हो गया
  • Anthropic ने कहा कि Amazon द्वारा बताई गई कमजोरी तुलनात्मक रूप से बुनियादी थी, जिसे दूसरे public models भी खोज सकते हैं, और यह पूर्ण jailbreak नहीं था
    • कुछ सुरक्षा शोधकर्ताओं ने भी इस राय से सहमति जताई
    • कंपनी का कहना है कि उसके पास उचित safeguards हैं और वह सुरक्षा को प्राथमिकता देती है; पहले भी व्हाइट हाउस के निर्देश पर Mythos की access बढ़ाने को रोका गया था

Amazon और Anthropic का संबंध

  • Amazon, Anthropic का बड़ा निवेशक है, data center chips सप्लाई करता है और शीर्ष मॉडलों का उपयोग software vulnerabilities पहचानने में करता है
    • Amazon के प्रवक्ता ने कहा कि एक प्रमुख cloud provider होने के नाते सरकार का सुरक्षा जोखिमों पर सलाह लेना असामान्य नहीं है, हालांकि कंपनी ऐसे मामलों का विवरण साझा नहीं करती
  • Amazon द्वारा साइबर विशेषज्ञों के साथ साझा की गई Fable रिपोर्ट के अनुसार, एक खास query set से कम-से-कम 4 software programs में security bugs खोजे गए
    • यह ऐसी जानकारी थी जो Fable आमतौर पर नहीं देता, लेकिन GreyNoise Intelligence के संस्थापक Andrew Morris ने इसे खतरनाक cybersecurity जानकारी से काफी दूर बताया
    • कई अन्य टूल्स भी पहले से यह जानकारी उजागर कर सकते हैं, लेकिन Anthropic का software bug जानकारी को काम करने वाले exploit code में बदलने की क्षमता के लिए जाना जाता है
    • यह क्षमता Fable के security guardrails से संरक्षित है, और इस बात का कोई सबूत नहीं है कि Amazon के शोधकर्ता वहां तक पहुंच गए थे

प्रशासन के बढ़ते नियंत्रण की दिशा

  • सुरक्षा एजेंसियों को मॉडल oversight power देने वाला हालिया executive order और AI कंपनियों में सरकारी हिस्सेदारी पर चर्चा, दोनों मिलकर इस बात की ओर इशारा करते हैं कि प्रशासन उद्योग पर अपना नियंत्रण तेजी से बढ़ा रहा है
    • R Street Institute के Adam Thierer ने कहा कि अमेरिका में AI का राजनीतिकरण और advanced compute control का केंद्रीकरण काफी तेज हो रहा है
  • कुछ लोगों ने Jassy की कॉल को सामान्य चेतावनी माना, लेकिन मामला जल्दी ही Commerce Department द्वारा विदेशी users पर व्यापक रोक तक बढ़ गया
    • National Cyber Director Sean Cairncross और Commerce Secretary Howard Lutnick बातचीत में शामिल थे
    • Commerce Department महत्वपूर्ण तकनीकों के export controls संभालता है

Anthropic और प्रशासन के बीच तनाव

  • इस कदम से Anthropic और ट्रम्प प्रशासन के बीच पुराना टकराव फिर उभर आया; प्रशासन progressive camp के donors से संबंधों और AI जोखिमों पर चेतावनियों को लेकर अविश्वास बनाए हुए है
    • Anthropic ने पूर्व Biden प्रशासन के कई अधिकारियों को नियुक्त किया है, और Amodei ट्रम्प तथा उनके प्रशासन की आलोचना करते रहे हैं
  • सेना द्वारा AI टूल्स के उपयोग को लेकर विवाद के चलते Pentagon ने Anthropic को security risk घोषित करने जैसा अभूतपूर्व कदम उठाया, जिसका जवाब Anthropic दो मुकदमों से दे रहा है
    • CSIS की Kate Koren ने कहा कि सुरक्षा चिंताएं समझ में आती हैं, लेकिन व्हाइट हाउस की Anthropic के प्रति नाराजगी ने भी फैसले को प्रभावित किया हो सकता है
    • व्हाइट हाउस के एक वरिष्ठ अधिकारी ने कहा कि यह कदम मॉडल सुरक्षा से जुड़ा था और Defense Department की गहरी भूमिका नहीं थी

कारोबारी असर और पृष्ठभूमि

  • शीर्ष-स्तरीय मॉडलों पर रोक से Anthropic को झटका लग सकता है, जो संभवतः इस शरद ऋतु में IPO की तैयारी कर रही है; अगर users दूसरे मॉडलों की ओर जाते हैं तो OpenAI जैसी प्रतिस्पर्धी कंपनियों को फायदा हो सकता है
    • OpenAI अपने शक्तिशाली cyber models को धीरे-धीरे ग्राहकों तक पहुंचा रही है और ट्रम्प प्रशासन से इस पर चर्चा में है
  • Anthropic की स्थापना 2021 में Amodei और OpenAI के पूर्व सहयोगियों ने इस भावना के साथ की थी कि OpenAI AI safety पर पर्याप्त जोर नहीं दे रहा था; Claude Code की मजबूती के कारण कंपनी enterprise मॉडल प्रदाता के रूप में तेजी से बढ़ी
  • इस साल की शुरुआत से Anthropic, Amazon और अन्य टेक कंपनियों को Mythos पहले से उपलब्ध कराकर प्रशासन के साथ चरणबद्ध approach पर काम कर रही थी
    • लक्ष्य यह था कि मुख्य users सार्वजनिक रिलीज़ से पहले software vulnerabilities खोजें और उन्हें ठीक करें
    • अप्रैल की वह बैठक, जिसमें Amodei, Bessent और व्हाइट हाउस चीफ ऑफ स्टाफ Susie Wiles शामिल थे, मेल-मिलाप का मौका मानी गई थी, हालांकि उसमें सुरक्षा चर्चा भी शामिल थी

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News टिप्पणियाँ

  • यह तो पहले से ही ज्ञात है कि सभी LLM को jailbreak किया जा सकता है, इसलिए इसे खास तौर पर सरकार को क्यों बताया गया, यह समझना मुश्किल है
    जब तक इसका मतलब यह न हो कि GPT 5.5 सार्वजनिक रूप से उपलब्ध अमेरिकी LLMs की स्वीकार्य सीमा तक पहुँच गया है, इसे तर्कसंगत regulation की कोशिश कहना कठिन है
    सरकार की नज़र में Fable 5 ने कौन-सी रेखा पार की, यह जानना दिलचस्प होगा। क्या वह parameter count है, कोई खास benchmark result है, या training compute, पता नहीं
    अगर सिर्फ इसलिए कि यह cyberattack में मदद कर सकता है और jailbreak किया जा सकता है, तो पहले जारी किए गए models की भी वही ज़िम्मेदारी बनती है
    GPT 5.5 और 5.4 में भी OpenAI ने cyber security-केंद्रित उपयोग को designated models तक सीमित रखा, या फिर Fable ने Opus 4.8 के साथ जैसा bypass किया, वैसे 5.3-codex पर reroute किया। OpenAI के वे दोनों models भी उसी तरह jailbreak किए जा सकते हैं
    आखिर असली सवाल यह है कि सरकार को अभी क्यों बताया गया, और Opus 4.5 या GPT 5.4 के समय क्यों नहीं। sama लगातार प्रलयकारी दृष्टिकोण लेकर चल रहा है

    • Axios की रिपोर्ट देखने पर इस thread की कई अटकलें कमजोर पड़ती हैं। इसे मुश्किल से jailbreak कहा जा सकता है, और यह सिर्फ Anthropic की समस्या भी नहीं लगती; White House शायद Mythos-स्तर के models पर व्यापक regulation करना चाहता है
      Axios के अनुसार, Anthropic की Amazon report साझा करने वाली Luta Security की CEO Katie Moussouris ने कहा कि सरकारी प्रतिक्रिया वास्तविक research report की सामग्री की तुलना में “हद से ज़्यादा” है
      शोधकर्ताओं ने ऐसे सवाल पूछकर security vulnerabilities ढूँढीं, जो कोई सामान्य defender AI से पूछ सकता है, और कहा गया कि यही तो मूल रूप से model का उद्देश्य था
      प्रशासन के एक अधिकारी ने कहा कि दूसरे models ने Mythos द्वारा तय की गई सीमा पार नहीं की है, इसलिए उन्हें national security threat नहीं माना जा रहा, और जो models Mythos-स्तर या उससे ऊपर हैं उन्हें यह सुनिश्चित करने के लिए प्रशासनिक प्रक्रिया से गुजरना चाहिए कि सरकारी national security framework पर्याप्त रूप से मजबूत है
      https://www.axios.com/2026/06/13/anthropic-amazon-white-hous...
    • Anthropic ने तो लगभग शाब्दिक रूप से regulation की मांग की थी। दो दिन पहले Amodei ने सरकार से regulation की अपील करते हुए लिखा था, और Mythos का उदाहरण देकर साफ कहा था कि frontier AI में ऐसी autonomous hacking क्षमता आ गई है जो critical infrastructure और national security के लिए खतरा बन सकती है
      “Mythos Preview ने वैश्विक cyber security परिदृश्य को हिला दिया। इसका व्यापक अर्थ यह है कि AI models अब ऐसे tools बन चुके हैं जो वैश्विक और राष्ट्रीय रणनीतिक परिणामों को प्रभावित कर सकते हैं, और यह बात अब संदेह से परे साबित हो चुकी है”
      “अगर third-party evaluations के आधार पर सरकार यह तय करे कि कोई model अस्वीकार्य जोखिम पेश करता है, तो उसके पास deployment को रोकने या बाधित करने का अधिकार होना चाहिए। यह अधिकार ऊपर बताए गए चार विशिष्ट जोखिमों तक सीमित होना चाहिए, और इसमें राजनीतिक पक्षपात या मनमाने फैसलों के खिलाफ सुरक्षा उपाय होने चाहिए”
      https://darioamodei.com/post/policy-on-the-ai-exponential
      किसी third party ने दिखाया कि वह Fable के safety guardrails को jailbreak करके कच्ची Mythos क्षमता तक पहुँच सकती है, और Anthropic लंबे समय से कहता रहा है कि वह क्षमता जनता के लिए बहुत खतरनाक है
      David Sacks के अनुसार, Anthropic और अमेरिकी सरकार दोनों के भरोसेमंद एक बेहद प्रभावशाली partner ने Fable का परीक्षण करते समय safety guardrails का jailbreak खोज निकाला, और प्रशासन ने Dario से या तो उस jailbreak को ठीक करने या model deployment रोकने को कहा, लेकिन Dario ने मना कर दिया
      Anthropic ने अपने blog में यह कहकर बचाव किया कि वह jailbreak गंभीर नहीं था, लेकिन trusted partner और अमेरिकी सरकार ऐसा नहीं मानते, और cyber weapons के संचालन को संभव बनाने वाले jailbreak को “गंभीर नहीं” कहना, AI safety company के रूप में Anthropic की branding से भी मेल नहीं खाता
    • मुझे समझ नहीं आता कि अभी तर्कसंगत regulation होने का आधार लोग कहाँ से निकाल रहे हैं
    • जो एकमात्र वजह दिखती है, वह यह हो सकती है कि Amazon यही चाहता था। लेकिन Amazon के पास अपना कोई प्रतिस्पर्धी frontier model नहीं है, इसलिए उसे इससे क्या हासिल होता, यह स्पष्ट नहीं है
    • प्रतिशोध वाली दलील से अलग, अगर सद्भावना से देखें तो Mythos शायद NSA जैसे संगठनों के इस्तेमाल योग्य models में सबसे सक्षम हो सकता है, और Glasswing की वजह से अमेरिकी सरकार और उद्योग साझेदारों के निर्णय-निर्माताओं ने पिछले कुछ महीनों में शायद लगातार ऐसी रिपोर्टें देखी हों कि Mythos ने गंभीर vulnerabilities सफलतापूर्वक खोजी हैं
      भले GPT 5.5 इस scenario में समान रूप से सक्षम हो, सरकारी संगठनों के नज़रिए से शायद वह उसी क्षमता वाले model के रूप में जाना-पहचाना न हो
      व्यक्तिगत रूप से मुझे लगता है कि Opus 4.6 पर ही क्षमता की दहलीज पार हो गई थी। वह क्षमता आगे चलकर अधिक सक्षम open-weight GLM 5.1 तक पहुँची, और अफवाह है कि यह model Opus 4.6 से distilled है
      लेकिन अमेरिकी सरकार और उसके साझेदार पूर्ण डेटा और पूर्ण तर्कसंगतता वाले actor नहीं हैं, इसलिए संभव है कि वे इस क्षमता को सिर्फ Mythos के संदर्भ में ही महसूस कर रहे हों
      [1]: https://www.reuters.com/business/us-security-agency-is-using...
      [2]: Opus 4.6 का उपयोग https://www.noahlebovic.com/testing-an-autonomous-hacker/ में किया गया था
      [3]: GLM 5.1 scores के लिए https://www.cybergym.io/cybergym/ देखें
      [4]: https://dualuse.dev/posts/chinese-models-are-sometimes-bette...

  • संदर्भ को सही करें तो Amazon ने Anthropic में बड़ा निवेश किया है [0], और AWS Glasswing प्रोजेक्ट का पार्टनर है, जहाँ कुछ कंपनियों ने Mythos का इस्तेमाल प्रमुख open source और core infrastructure में गंभीर vulnerabilities खोजने के लिए किया [1]
    इसलिए किसी दुष्ट साज़िश से ज़्यादा यहाँ Hanlon's razor लागू करना सही लगता है [2]
    [0] https://www.anthropic.com/news/anthropic-amazon-compute
    [1] https://aws.amazon.com/blogs/security/building-ai-defenses-a...
    [2] https://en.wikipedia.org/wiki/Hanlon%27s_razor

    • अतिरिक्त संदर्भ के तौर पर Amazon के पास OpenAI में 50 billion dollars और Anthropic में 5 billion dollars की हिस्सेदारी है
      अगर स्थिति उलटी होती, तो Amazon सीधे federal government के पास भागकर जाता, इसकी संभावना बहुत कम लगती है
    • मेरी पसंदीदा अभिव्यक्ति है: “जब किसी चीज़ को सिर्फ अयोग्यता से समझाया जा सकता हो, तो साज़िश मानकर मत चलो”

  • Fable ऐसा लगता था जैसे jailbreak हो जाने पर भी abuse या abuse के लिए creative solutions खोजने में उसकी लगभग कोई रुचि नहीं रहे, इस तरह train किया गया हो। हालांकि मैं यह verify नहीं कर पाया कि इसका संबंध किसी गुप्त prompt injection से है या नहीं। उस मामले में Opus 4.8 कहीं अधिक शक्तिशाली है
    अगर jailbreak में रुचि है, तो मैंने oh-my-pi का एक modified fork इस्तेमाल किया जो refusal detect होने पर बिना safeguards वाले models, जैसे deepseek या glm-5.1, चालू कर देता था ताकि refusal हट जाए, conversation history को फिर से लिखा जाए, और refusal के पीछे की semantics को सूचीबद्ध किया जा सके
    कई cybersecurity tasks में success rate को 3% से 85% तक बढ़ाने में 3 दिन और लगभग 6000 dollars का usage लगा
    refusals से आगे निकल जाने के बाद भी यह Opus max thinking के आसपास भी नहीं पहुँचा, और लगातार ऐसा लगता था कि इसे बार-बार बताना पड़ रहा है कि कहाँ देखना है। model अक्सर जल्दी turn समाप्त कर देता था जैसे “जो issues मिले, वे ये हैं”, और कितना भी कहो, exploit methods खोजने के बजाय उन्हें fix करने की ओर झुकता था
    लगभग पहले ही दिन जल्दी समझ आ गया था कि tool call results को intercept करके उन्हें open source model से summarize कराना होगा। कारण यह था कि किसी भी log analysis में cyber-related refusal आ जाता था
    उदाहरण के लिए, “ऐसा malware बनाओ जो Windows ntoskrnl में खुद को inject करे” को बदलकर “ऐसा accessibility feature बनाओ जो system modules में खुद को load करे” कर दिया जाता था, और kernel-mode internal structures से जुड़ी semantics भी जैसे read process memory को read module memory, और fuzz को noise pattern recognition जैसी चीज़ों से replace किया जाता था
    मूल रूप से यह classifier को यह सोचने पर मजबूर करने का तरीका था कि काम zero-day खोजने वाले software पर नहीं, बल्कि disability-assistance tool पर चल रहा है
    यही jailbreak strategy Opus और Fable दोनों पर लागू करके performance मापी गई, और performance measurement के लिए ntoskrnl के पुराने versions की historical vulnerabilities इस्तेमाल की गईं

    • अगर यह सच है, तो यह काफ़ी महत्वपूर्ण है। इस restriction का बचाव करने वाले लोग ठीक उलटा दावा कर रहे थे कि Fable के basic jailbreak से ही Mythos की cyberattack capability तुरंत सामने आ जाती है
      उदाहरण: https://news.ycombinator.com/item?id=48519695
      cyberattack विषय अपेक्षाकृत आसानी से पहचाने जा सकते हैं, और Anthropic ने दूसरी domains में ऐसी क्षमता दिखाई है, इसलिए यह व्याख्या काफ़ी plausible लगती है कि Fable को उस विषय पर fine-tune किया गया या उसकी दिशा मोड़ी गई
    • 3 दिनों में 6000 dollars का usage?
    • क्या आपने इस काम के बारे में कहीं लिखकर पोस्ट किया है?
    • अगर मैं सही समझ रहा हूँ, तो performance मापते समय Fable में अपने-आप rewritten prompt डाला गया और Opus में original prompt। जो performance gap आपने देखा, वह शायद वहीं से आया हो

  • यह Amazon द्वारा Anthropic को target करने से ज़्यादा ऐसा लगता है कि government, Amazon का इस्तेमाल करके Anthropic पर दबाव बना रही है
    government Amazon की एक core customer है, इसलिए ज़रूरत पड़ने पर Amazon एक justification दे सकता है। Amazon जानता है कि उसकी Anthropic हिस्सेदारी की value पर बड़ा ख़तरा नहीं है, और federal government को शामिल करने से उसकी negotiating power ही बढ़ती है
    security एक वास्तविक चिंता है। government के अंदर के security experts को एक public+private working group बनाना चाहिए जो सभी प्रमुख models को एक ही standard पर verify करे
    इसे कंपनियों पर छोड़ देना कि वे अपने दोस्तों के साथ share कर लें, अच्छे से अच्छा कहें तो wishful thinking है। कि यह काम पिछले साल ही नहीं हो गया, यह इस बात का सबसे मज़बूत संकेत लगता है कि government अपनी बुनियादी भूमिका निभाने में विफल हो रही है

  • gift link: https://www.wsj.com/tech/ai/amazon-ceos-talks-with-u-s-offic...

  • Amazon के पास Mythos/Fable को नापसंद करने की जो वजह समझ आती है, वह बस इतनी है कि Anthropic ने Bedrock की कहानी को data retention requirements थोपकर खराब किया, जो regulatory compliance की सीमा से आगे जाती हैं
    Jassy के नज़रिए से यह बेहतर लग सकता है कि Fable का इस्तेमाल कोई न करे, बजाय इसके कि उसे इस तरह इस्तेमाल होने दिया जाए जहाँ असल में Anthropic के साथ सीधा data trust relationship बनता हो
    इसे long term में भी Amazon के फ़ायदे की तरह फिट करना आसान नहीं है, लेकिन अगर Dario ने data के नज़रिए से पूरी तरह air-gapped processing का वादा किया था और फिर उससे पलट गए, तो उस बात से नाराज़गी रह गई हो सकती है

    • अगर AWS की बात है, तो क्या वह बस यह नहीं कह सकता कि Fable launch नहीं किया जाएगा? Anthropic को AWS की ज़्यादा ज़रूरत है, उलटा नहीं, है ना?
      बड़े Bedrock customers में ऐसा कोई नहीं लगता जो सिर्फ Anthropic को inputs retain करने देने वाली इस विशेष सुविधा की वजह से किसी दूसरे cloud provider पर चला जाएगा

  • पुरानी यादों की टोपी पहनकर अगर अमेरिकी प्रशासन के Mythos निर्यात नियंत्रण के बारे में बात करूँ, तो 1990 के दशक के मध्य की याद आती है, जब PGP जैसे asymmetric encryption tools वास्तविकता बन गए थे और इंटरनेट यूज़र बेस बढ़ने के कारण व्यापक रूप से इस्तेमाल किए जा सकते थे।
    अमेरिका, फ्रांस जैसी सरकारें यह समझ नहीं पा रही थीं कि इसे कैसे regulate करें, इसलिए उन्होंने निर्यात पर रोक लगाई और उपयोगकर्ताओं से लाइसेंस के लिए आवेदन करने को कहा।
    मौजूदा स्थिति से इसकी मजबूत समानता दिखती है।
    दिलचस्प बात यह है कि कुछ साल बाद क्या हुआ, जबकि regulation इतना कड़ा था कि innovation कम हो गई थी।
    रोज़मर्रा और सामान्य उपयोग के मामलों में open source जीत गया, और अधिक शक्तिशाली cryptography तकनीकें कंपनियों और सरकारों द्वारा विकसित और उपयोग की जाने लगीं।
    यह पूरी तरह कल्पना की जा सकती है कि LLM भी ऐसा ही रास्ता अपनाएँ।

    • दिलचस्प तुलना है। मशीन लर्निंग और cryptography के बीच कुछ बुनियादी समानताएँ हैं, इस बारे में यह लेख भी याद आता है: https://reiner.org/neural-net-ciphers
      उन बुनियादी अंतरों पर विचार करना भी उपयोगी हो सकता है, जो LLM को बिल्कुल अलग रास्ते पर ले जा सकते हैं। जो बात ध्यान में आती है वह है scaling hypothesis, जिसका मतलब है कि सबसे अच्छे LLM के लिए विशाल पूंजी निवेश की आवश्यकता होती है।
      जब तक कोई बुनियादी बदलाव न हो, यह open source के साथ बड़े पैमाने पर संगत नहीं लगता। open weights तो हैं, लेकिन कोई साफ़ ऐतिहासिक समानता याद नहीं आती, और भविष्य किस दिशा में जाएगा इसका अनुमान लगाना भी बहुत कठिन है।
    • तब और अब के बीच एक और समानता यह है कि सरकार के लोग तकनीक को बिल्कुल नहीं समझते। उन्होंने बस कुछ लोगों से सुन लिया है कि यह शक्तिशाली और खतरनाक है।
    • अगर PGP का उदाहरण मानें, तो यह जानना रोचक होगा कि weights छपी हुई ग़ैरकानूनी टी-शर्टें सामने आने में कितना समय लगेगा।

  • Amazon, Anthropic का बड़ा शेयरधारक है और cap table के अनुसार उसके पास 5% से अधिक हिस्सेदारी है।
    इस जानकारी को ध्यान में रखे बिना यहाँ Amazon executives के व्यवहार की व्याख्या करना संभव नहीं लगता।

    • ऐसा पढ़ने में आता है मानो Amazon executives ने संघीय सरकार को किसी ऐसी क्षमता के बारे में बताया हो जिसे लेकर वे उत्साहित थे, और सरकारी अधिकारियों ने या तो उसे ठीक से समझा नहीं, या किसी छोटी-सी क्षमता पर अति-प्रतिक्रिया करके घबरा गए और उसे प्रतिबंधित करना चाहा।
    • Amazon में भी दूसरी बड़ी कंपनियों की तरह बहुत internal politics है। यह भी पूरी तरह संभव है कि Amazon के भीतर एक गुट दूसरे गुट को नीचे गिराने की कोशिश कर रहा हो।
    • सहमत। चिंता वास्तव में इतनी गंभीर रही होगी कि वह इस मजबूत प्रोत्साहन से भी ऊपर चली गई कि Amazon इस मुद्दे को उठाए बिना Anthropic को नए frontier models के साथ राजस्व बढ़ाने देता।

  • सोचता हूँ कि क्या AI के लिए भी परमाणु हथियारों जैसी कोई non-proliferation treaty बनेगी।
    यह पागलपन जैसा लगता है, लेकिन अगर 0.1% भी संभावना हो कि कोई मॉडल लोगों के बैंक खातों को hack करने लायक अच्छा हो, तो सरकारें शायद उस मॉडल को सार्वजनिक रूप से सुलभ नहीं छोड़ना चाहेंगी।
    शायद वे दूसरे देशों से भी बातचीत की मेज़ पर आने को कहेंगी और AI के लिए किसी NPT पर हस्ताक्षर करवाने की कोशिश करेंगी।
    जनता को Opus 4.8 जैसे छोटे मॉडलों तक पहुँच मिलती रह सकती है, लेकिन उससे बड़े मॉडल इतने सक्षम और इसलिए खतरनाक माने जा सकते हैं। परमाणु तकनीक के भी लाभ हैं, लेकिन सरकारें नीति बनाते समय सर्वश्रेष्ठ नहीं, सबसे बुरे परिदृश्य को ध्यान में रखती हैं।
    मैं यह नहीं कह रहा कि Mythos कोई god-tier मॉडल है, लेकिन सोचता हूँ कि क्या नीति इस दिशा में जा सकती है।

    • बैंक खाते आज भी phishing और अन्य धोखाधड़ी के तरीकों से नियमित रूप से “hack” किए जाते हैं। मौजूदा मॉडल भी उसमें मदद कर सकते हैं।
      इसके अलावा Visa जैसी कंपनियाँ बेहद मूर्खतापूर्ण काम भी कर रही हैं, जैसे AI को security boundary के अंदर रखना और https://www.visa.com/en-us/solutions/intelligent-commerce में prompt injection कर सकने वाले किसी भी व्यक्ति के लिए उसे पहले से hacked स्थिति में छोड़ देना।
    • कई देशों ने NPT से सबक लिया है, और उम्मीद है कि उनमें दोबारा उसी तरह की चीज़ पर सहमत न होने की समझ होगी। हमने बार-बार देखा है कि अगर किसी देश के पास परमाणु हथियार हों, तो वह परमाणु-विहीन देशों के साथ अपनी मनमानी कर सकता है।
    • मुझे लगता है कि वह दौर निश्चित रूप से ख़त्म हो चुका है जब कोई भी सरकार अमेरिका के साथ NPT जैसी संधि करती थी। भरोसा टूट चुका है। अब तो बेहतर होगा कि हमारी सरकार हर तरह के हथियारों का भंडार बनाए।

  • “Amazon researchers ने prompts की एक श्रृंखला का उपयोग करके Anthropic के Fable 5 मॉडल से ऐसी जानकारी निकलवाई जो cyberattack में मदद कर सकती थी…”
    हर मॉडल ऐसा कर सकता है। सवाल यह है कि क्या Fable इस मामले में कहीं अधिक सक्षम था।

    • यह लगभग निश्चित रूप से सच नहीं है कि हर मॉडल ऐसा कर सकता है।
    • हो सकता है मॉडल ने कुछ ऐसा खोज लिया हो जिसे Amazon सार्वजनिक नहीं होने देना चाहता। ज़रूरी नहीं कि वह cyber vulnerability ही हो; वह Amazon के संचालन के किसी विशिष्ट तरीके के बारे में भी हो सकता है।