इस Fable मामले पर मंडराती विशाल छाया
(12gramsofcarbon.com)- शक्तिशाली AI मॉडल Fable 5 और Mythos 5 तक सभी ग्राहकों की पहुंच अमेरिकी सरकार के export control निर्देश के बाद अचानक बंद कर दी गई
- अमेरिकी सरकारी निर्देश ने अमेरिका के भीतर और बाहर के सभी विदेशी नागरिकों के साथ-साथ Anthropic के विदेशी नागरिक कर्मचारियों को भी access block के दायरे में रखा, और Anthropic ने compliance के लिए पूरी पहुंच काट दी
- Anthropic का कहना है कि सरकार ने एक खास jailbreak bypass को मुद्दा बनाया, लेकिन दिखाया गया vulnerability demo पहले से ज्ञात कुछ मामूली कमजोरियों से आगे नहीं जाता, और ऐसी बातें दूसरे public models में भी मिल सकती हैं
- इस कदम ने यह समझना कठिन बना दिया है कि यह AI safety regulation है या Anthropic को निशाना बनाने वाला राजनीतिक और प्रतिस्पर्धी दबाव, जिससे सरकारी फैसलों की विश्वसनीयता पर सवाल बढ़ते हैं
- इससे एक ऐसा precedent बना है जिसमें शक्तिशाली LLMs की public access सरकारी नियंत्रण से सीमित हो सकती है, और आगे आम users के लिए top-performance models का इस्तेमाल कठिन होने की आशंका पैदा होती है
शुक्रवार शाम मॉडल access कट गया
- शुक्रवार शाम AI agent के साथ HTML game बनाते समय agent ने जवाब दिया, “यह मॉडल अब मौजूद नहीं है,” और काम रुक गया
- पहले इसे re-login समस्या या parallel agents के इस्तेमाल से जुड़ी कोई अजीब rate-limit error समझा गया, इसलिए API पर स्विच किया गया, लेकिन वहां भी access नहीं मिला
- टीम द्वारा बनाया गया custom Rust agent client का harness खराब हो गया है, यह सोचकर Rust code देखा जा रहा था, तभी एक दोस्त से पता चला कि सरकार ने Fable पर प्रतिबंध लगा दिया है
सरकार का access-block निर्देश
- अमेरिकी सरकार ने राष्ट्रीय सुरक्षा अधिकारों के आधार पर export control निर्देश जारी किया और Fable 5 और Mythos 5 तक सभी विदेशी नागरिकों की पहुंच रोकने की मांग की
- यह अमेरिका के अंदर और बाहर के सभी विदेशी नागरिकों पर लागू था, और इसमें विदेशी नागरिक Anthropic कर्मचारी भी शामिल थे
- इसका पालन करने के लिए Anthropic ने सभी ग्राहकों के लिए Fable 5 और Mythos 5 को तुरंत disable कर दिया, जबकि Anthropic के बाकी सभी models की access अप्रभावित रही
- यह निर्देश उसी दिन शाम 5:21 बजे (ET) प्राप्त हुआ, और पत्र में किसी विशेष सुरक्षा चिंता का विवरण शामिल नहीं था
Anthropic का आधिकारिक रुख
- Anthropic का कहना है कि उसकी समझ के मुताबिक सरकार ने Fable 5 jailbreaking bypass तकनीक को नोटिस किया, लेकिन उसके review में यह पहले से ज्ञात कुछ मामूली कमजोरियों की पहचान भर निकली
- ये कमजोरियां अपेक्षाकृत सरल हैं, और bypass के बिना भी दूसरे public models में वैसी ही पाई जा सकती हैं
- निर्देश का आधार मानी जा रही report की समीक्षा कर Anthropic ने सत्यापित किया कि उसमें वर्णित capability level OpenAI GPT-5.5 जैसे अन्य models में भी व्यापक रूप से उपलब्ध है और security defenders रोज इसका इस्तेमाल करते हैं; कंपनी ने 24 घंटे के भीतर अतिरिक्त जानकारी साझा करने की बात कही
- Anthropic ने कहा कि वह कानूनी निर्देश का पालन करेगा, लेकिन सीमित दायरे की संभावित jailbreak खोज सैकड़ों मिलियन लोगों तक वितरित commercial model को वापस लेने का कारण नहीं बननी चाहिए
AI safety और optimization को लेकर चिंता
- AI को लेकर रुख ambivalent है, और deep learning models को बड़े पैमाने पर train करने के अनुभव के कारण optimization tools के गलत दिशा में काम करने की आशंका को लेकर गहरी चिंता है
- इंसान अक्सर उस वास्तविक लक्ष्य को optimize नहीं करता जिसे वह सच में हासिल करना चाहता है, बल्कि किसी measurable metric को optimize करने लगता है
- जैसे अच्छा product बनाना चाहते हुए भी तरीका न पता होने पर engagement optimize किया जाता है, या बच्चों को पढ़ना-लिखना सिखाना चाहते हुए भी test scores optimize किए जाते हैं
- AGI और ASI systems optimization tools हैं, और measurable चीजों को optimize करते-करते वे अच्छे परिणामों से दूर जा सकते हैं, इसलिए उनमें अनुमान लगाना कठिन जोखिम हो सकते हैं
- कंपनियां भी optimization tools की तरह काम करती हैं, इसलिए बहुत से developers के जोखिम बताने के बावजूद वे measurable goal यानी तेज monetization की ओर बढ़ सकती हैं
सरकार और Anthropic के टकराव की पृष्ठभूमि
- Anthropic और मौजूदा प्रशासन के संबंध सौहार्दपूर्ण नहीं रहे हैं; DoD integration और military cooperation की कोशिशों के तहत उसके models का उपयोग highly classified systems में भी किया गया था
- इसके बावजूद Trump administration ने Anthropic को supply chain risk घोषित किया और सरकारी साझेदारों को Anthropic models इस्तेमाल करने से रोक दिया
- इसके बाद भी 6 महीनों तक Venezuela युद्ध, Iran युद्ध जैसी सैन्य कार्रवाइयों में Anthropic models का उपयोग होता रहा, जबकि Chinese LLMs को supply chain risk तक घोषित नहीं किया गया
- कुछ far-right हलकों ने यह तर्क आगे बढ़ाया कि प्रशासन Anthropic को बर्बाद करना चाहता है क्योंकि वह Anthropic को 'woke' मानता है
- इससे सवाल उठता है कि यह कदम harmful AI regulation के लिए था या सांस्कृतिक दुश्मन माने जाने वाले लक्ष्य को चोट पहुंचाने का एक अवसर
प्रतिस्पर्धा और IPO का समय
- प्रतिस्पर्धी कंपनियों के पास प्रशासन के अलग-अलग हिस्सों में अनुकूल नेटवर्क हैं; उदाहरण के तौर पर Kushner परिवार ने OpenAI में बड़ा निवेश किया है
- इस कदम को दूसरे labs के लिए Anthropic को नुकसान पहुंचाने के अवसर के रूप में भी पढ़ा जा सकता है
- Fable को बहुत शक्तिशाली model माना जाता है, और Anthropic के IPO के करीब उपभोक्ता access का रुक जाना संयोगवश नहीं लगता
- patronage politics या spoils system हर मामले की optics को संदिग्ध बना देता है, और कहा गया है कि दशकों से बनी विश्वसनीयता टूट चुकी है
शुक्रवार 5:21 बजे की घोषणा और बाजार की चिंता
- घोषणा का समय शुक्रवार शाम 5:21 बजे होना खुद में संदिग्ध timing माना गया
- शुक्रवार शाम घोषणाएं अक्सर इस उम्मीद में की जाती हैं कि weekend के दौरान market shock कुछ हद तक absorb हो जाएगा
- Claude द्वारा उद्धृत The Kobeissi Letter के उदाहरणों में market close के बाद शुक्रवार या शनिवार तड़के आई geopolitical और trade घोषणाएं शामिल थीं
- इनमें Iran की nuclear facilities पर हमले, Caribbean में drug-carrying vessels के खिलाफ military action, China पर 100% tariff की धमकी, Venezuela airspace closure, Nigeria military action, और फरवरी 2026 में Iran पर direct strike जैसे उदाहरण शामिल थे
- 11 अगस्त 2025 की Intel deal announcement को भी CEO Lip-Bu Tan पर सार्वजनिक दबाव के बाद regular trading hours के बाहर की गई corporate announcement के रूप में गिना गया
- AI boom काफी हद तक इस विश्वास पर टिका है कि computer intelligence की मांग लगातार बनी रहेgi
- debt, buildout investment, data centers, GPU, memory, disk और server racks तक फैली AI supply chain में stock-market उछाल इस धारणा पर निर्भर है कि इससे कई trillion dollars का value creation होगा
- अगर यह धारणा बनती है कि सरकार किसी भी समय एकतरफा सारी access काट सकती है, तो यह multi-trillion-dollar data-center investments के लिए बड़ी बाधा बन सकती है
- HN और Reddit के कुछ users इस घटना को उस capability ceiling की तरह देख रहे हैं, जितनी क्षमता वाले models तक सरकार लोगों को पहुंचने देना चाहती है
- अगर सरकार अनुमति न दे, तो मांग कितनी भी हो, access नहीं मिलेगा—यही मूल समस्या है
कम्युनिटी की प्रतिक्रिया और ‘खतरनाक मॉडल’ marketing का उलटा असर
- HN और Reddit के कुछ users ने खुशी जताई कि Anthropic अब Mythos से जुड़ी marketing showmanship की कीमत चुका रहा है
- पहले OpenAI ने भी GPT-2 को “public release के लिए बहुत खतरनाक” बताकर सीमित रूप में जारी किया था, और तब बड़े पैमाने पर deceptive, biased और abusive language generation की चिंता जताई थी
- GPT-2 के बाद AI-generated low-quality content की बाढ़ ने साझा वास्तविकता को समझने की क्षमता को कमजोर किया, इसलिए इस दृष्टि से OpenAI की चिंता काफी हद तक सही मानी गई
- लेखक का मानना है कि Fable वास्तव में एक शक्तिशाली model है, और वह किसी हद तक Anthropic की इस चिंता पर भरोसा करता है कि Fable की व्यापक public release से security risk हो सकता है
- संबंधित HN thread की top comment में कहा गया कि Anthropic अब उस डर-आधारित narrative की कीमत चुका रहा है, जिसमें उसने अपने model को दूसरों से बहुत आगे बताया
- अगर सरकार की बात को सीधे मान लिया जाए, तो Anthropic का model इतना सक्षम है कि उसे सचमुच इस्तेमाल ही नहीं किया जा सकता—जो उलटे एक बहुत शक्तिशाली advertisement बन सकता है
- एक दूसरी HN comment ने कहा कि यदि आप लंबे समय तक बताते रहें कि आपका product कितना खतरनाक है, तो वे लोग भी यह सुन सकते हैं जिनके पास खतरनाक products को बाजार से रोकने की शक्ति होती है
- Bernie Sanders का उल्लेख ऐसे सांसद के रूप में किया गया जो AI CEOs के बयानों को पढ़ते हुए policy videos बनाते हैं और AI जोखिमों पर जोर देते हैं
- हो सकता है AI models सचमुच इतने unsafe हों कि regulation जरूरी हो, लेकिन अब जब AI CEOs को shutdown risk दिख गया है, तो वे आगे शायद ऐसी बातें न करें
शक्तिशाली LLM access restrictions का precedent
- अंत में उद्धृत HN comment के मुताबिक इस घटना का असली महत्व यह हो सकता है कि सरकार ने शक्तिशाली LLMs की public access को सीमित करना शुरू कर दिया है
- उस comment में Fable को बाजार का सबसे शक्तिशाली model माना गया, और कहा गया कि सिद्धांततः अमेरिकी सरकार ने केवल non-US citizens पर रोक लगाई, लेकिन व्यवहार में US citizens भी इसे इस्तेमाल नहीं कर पा रहे
- open-source Chinese models या अपने hardware पर local run को समाधान मानने की सोच पर भी फिर से विचार करने की जरूरत बताई गई
- तर्क यह है कि अगर अमेरिकी सरकार सबसे शक्तिशाली अमेरिकी model को रोक सकती है, तो यह मानना कठिन है कि एक साल बाद China अपनी किसी कंपनी के Mythos-स्तरीय सबसे शक्तिशाली LLM को open source करने देगा
- शक्तिशाली LLMs अब शक्तिशाली cybersecurity weapons की दिशा में बढ़ रहे हैं, और nation-states के पास इन्हें सीमित और नियंत्रित करने का स्वार्थ होगा
- अगर दो साल बाद भी सबसे शक्तिशाली LLM सामान्य उपयोग के लिए उपलब्ध हो, तो यह चौंकाने वाली बात होगी
- यह स्पष्ट नहीं है कि शक्तिशाली LLMs पर रोक लोगों को ज्यादा गरीब बनाएगी या ज्यादा सुरक्षित, लेकिन यह घटना एक बड़े मोड़ के रूप में बना precedent है
3 टिप्पणियां
लगता है मुझे इसे ठीक से पढ़ना पड़ेगा।
अरे बाप रे..
Hacker News की राय
यह विचार समझ में आता है कि AI tools की वजह से ‘Flash games’ का पुनर्जागरण लौट सकता है, लेकिन
aigamedevsubreddit पर लोगों द्वारा बनाए गए गेम लगातार आज़माने के बाद मैं काफ़ी निराश हुआ Game design एक ऐसी कला है जिसे सीखना मुश्किल है, और लगता है कि यह ऐसा क्षेत्र है जहाँ LLM बहुत ज़्यादा मदद नहीं कर सकता यह कहना कि ऐसे गेम “मज़ेदार” हैं, कुछ वैसा ही लगता है जैसे किसी बच्चे की ड्रॉइंग को “सुंदर” कहना, और code generation पर $25 से ज़्यादा खर्च करने की बजाय आप उससे कहीं बेहतर कई indie games खरीद सकते हैंswitchstatement में implement किए गए हैंलेखक का कहना है कि OpenAI ने GPT-2 के समय “रिलीज़ करने के लिए बहुत ख़तरनाक” वाला marketing तरीका अपनाया था, और दोनों पक्षों ने यह कार्ड खेला, लेकिन उस समय Dario OpenAI में था और GPT-2 research paper का co-author था “रिलीज़ करने के लिए बहुत ख़तरनाक” वाला approach, दोनों कंपनियों में, काफ़ी हद तक वही चीज़ है जो वह व्यक्ति लगातार करता आया है
Hacker News की हद से ज़्यादा skepticism ने तर्कसंगत AI चर्चा को बर्बाद कर दिया है
अमेरिकी सरकार AI पर नियंत्रण को लेकर युद्ध को बढ़ाते हुए Anthropic के खिलाफ राज्य की शक्ति का भोंडे, भ्रष्ट और दंडात्मक तरीके से हथियारीकरण कर रही है
लेकिन HN ने “marketing hype” को ही एकमात्र व्याख्या मान लिया है, और हर सबूत को लगातार और भी ज़्यादा जबरन गढ़ी गई व्याख्याओं में फिट कर रहा है
AI नौकरियों, हैसियत, विश्वासों और जीवनशैली के लिए खतरा है
HN पर लगता है कि इस सच पर यकीन करने से ज़्यादा आसान यह मान लेने के लिए तर्क गढ़ना है कि यह सच हो ही नहीं सकता
जो लोग यह स्वीकार करते हैं कि दुनिया काफ़ी अजीब ढंग से बदलने वाली है, और असली मुद्दों को पकड़कर उनका विश्लेषण करना चाहते हैं, उनके लिए आभार महसूस होता है
जब सुरक्षित public web payment transfer के स्पष्ट समाधान के रूप में SSL अपनी जगह बना रहा था, तब अमेरिका लगभग SSL पर रोक लगाने ही वाला था
आर्थिक दबाव, विकल्पों की कमी और बड़े विरोध की वजह से रास्ता खुला रहा, लेकिन तब भी “राष्ट्रीय हित और सुरक्षा” जैसी बकवास का सहारा लिया गया था
इस बार बड़ा फ़र्क यह है कि Fable/Mythos के बिना भी कोई पूरी तरह असहाय नहीं हो जाता
यहाँ कोई जादुई सीमा रेखा नहीं है, सिर्फ कम हस्तक्षेप वाले connection work में सुधार है
फिर भी अगर यह बना रहा, तो इससे अमेरिकी AI development पर बहुत बड़ा chilling effect पड़ सकता है, और दूसरी labs आख़िरकार Fable/Mythos के प्रदर्शन को bypass करके बराबरी पर पहुँच जाएँगी
कार वाली मिसाल में, एक model ऐसा बनाया जा रहा है जैसे इंजन V6 से V8 हो गया हो, लेकिन दूसरी organizations aerodynamics या fuel injection सुधारकर वैसी ही speed gains हासिल कर सकती हैं
पूरी chain में हर जगह सुधार की गुंजाइश है, इसलिए इस तरह का कदम निरर्थक है
इस administration और Anthropic की आक्रामक tactics को देखकर लगता है कि यह एक हफ़्ते के भीतर किसी “deal” पर खत्म होगा और शुरू से ही high-stakes negotiation का हिस्सा था
बल्कि यह Anthropic के लिए फ़ायदेमंद भी हो सकता है, क्योंकि अगर कोई मीठा समझौता हो जाता है, तो OpenAI कहाँ खड़ा रहेगा
मिसाल तो अब बन ही चुकी है
मेरे जैसे ज़्यादातर nerds ने यह तेज़-तर्रार रवैया हाई स्कूल या कॉलेज में ही छोड़ दिया था
हक़ीक़त में यह रवैया बस हर चीज़ को सबसे अँधेरे lens से देखने पर मजबूर करता है
उनका कहना था कि लोग बुरी चीज़ें पढ़ेंगे और बुरे विचार फैलाएँगे, और ऐसा हुआ भी, लेकिन कुल मिलाकर यह literacy के प्रसार के लिए चुकाई जा सकने वाली छोटी कीमत थी
मैं यह नहीं कह रहा कि यह 100% publicity stunt है, लेकिन Anthropic मानो सचमुच चाहता है कि लोग इस बात को जानें
वे कहते हैं, “Anthropic बस marketing के लिए हंगामा कर रहा है”, “AI, NFT जैसा है”, “यह circular trading है”, “bubble अभी फूटने ही वाला है”, “hype वाले लोग जल्दी निकल भागने के लिए stock market को ठेल रहे हैं, जैसे ठग”
आख़िरी अभिव्यक्ति तो मैंने बस उनकी शब्दावली से मेल बैठाने के लिए गढ़ी है
असली समस्या यह है कि AI हम जैसे आम लोगों को बस यूँ ही थमा देने के लिए बहुत ज़्यादा शक्तिशाली होता जा रहा है
अगर आप अब भी मानते हैं कि यह सब बढ़ा-चढ़ाकर कहा गया है, तो आपकी नज़र असली समस्या से हट चुकी है
लगता है किसी दिन यह बयानबाज़ी छँट जाएगी और लोग असली मुद्दों पर ध्यान देंगे
Anthropic के competitors के administration के अलग-अलग हिस्सों में दोस्त हैं, और जैसे Kushner पक्ष द्वारा OpenAI में बड़ा निवेश किया गया — यह बात एक साथ अहम भी है और ग़ैर-अहम भी
“सुरक्षा” साफ़ तौर पर बहाने जैसी लगती है, और अगर सच में सुरक्षा वजह होती, तो माँगें सिर्फ विदेशी नागरिकों तक सीमित नहीं होतीं
किसी भी अमेरिकी administration ने कभी सभी अमेरिकी नागरिकों पर भरोसा नहीं किया है
लेकिन इस पाबंदी की वजह अपने-आप में लगभग महत्वहीन है
सिर्फ यह तथ्य कि ऐसा हुआ है, EU के लिए आख़िरी चेतावनी होना चाहिए कि digital sovereignty को सिर्फ नारे की तरह नहीं, बल्कि असली बजट और मेहनत के साथ गंभीरता से लिया जाए
अभी की स्थिति में EU के उस दिशा में जहाज़ मोड़ने की संभावना कम लगती है
यह गाली-गलौज और वैचारिक झुकाव से भरी निम्न-स्तरीय शिकायत लगती है, इसलिए Hacker News के लिए उपयुक्त लेख नहीं लगता
यह कदम Opus 4.8 से बेहतर AI models के पूरे enterprise market को मार देता है
कोई भी कंपनी ऐसे workflow या capabilities नहीं बनाएगी जिनकी बुनियादी intelligence को कोई bureaucrat या दुर्भावनापूर्ण politician तुरंत छीन सके
और अगर कोई कंपनी इतना जोखिम लेने जितनी मूर्ख भी हो, तो क्या Anthropic अपने सभी enterprise customers से हर कर्मचारी का passport जमा करवाएगा, और Mythos access को नियंत्रित करने के लिए हर कर्मचारी के लिए अलग Claude account बनवाएगा
अब सिर्फ एक साधारण API key काफ़ी नहीं रहेगी
timing भी शुक्रवार को market close के आसपास वाले उस “चलो crash टालें” पल से मेल खा रही थी, और अब देखना होगा कि सोमवार को क्या होता है
दूसरी replies की तरह यह सरकार और Anthropic के बीच घुटने टेकवाने वाली रस्साकशी भी है
अगर OpenAI बराबरी पर आ जाता है और Anthropic भी वकीलों की फौज लगा देता है, तो शायद यह पलट जाएगा, या फिर इसे बदलकर कुछ ऐसा कर दिया जाएगा कि “models को अमेरिकी AI approval stamp चाहिए, इसलिए हम नए अमेरिकी-validated Fable 5.1 को मंज़ूरी देते हैं”
वह समय शायद DoD, Pentagon और संबंधित agencies में बड़े पैमाने पर deployment के साथ मेल खाएगा
या फिर बात इस ओर जाएगी कि चीन बराबरी पर आ जाएगा, इसलिए यह सब बेमानी है
ऐसी तरह की पाबंदी से कोई model सुरक्षित नहीं है
EU AI Act, जिस पर काफ़ी आलोचना होती है, AI development की नींव के रूप में इस्तेमाल करने लायक सुरक्षित और अनुमानित regulatory framework देता है
यह अमेरिकी administration के अप्रत्याशित और मनमाने फ़ैसलों की तुलना में क़ानूनी स्थिरता देता है
अगर AI कंपनियों में ज़रा भी समझ है, तो उन्हें यूरोप में shift होने पर विचार करना चाहिए
Fable के लिए पहले से ही हद से ज़्यादा security protocols लागू किए गए थे, इसे देखते हुए यह पूरा मामला बेहद संदिग्ध लगता है
अमेरिकी सरकार अर्थव्यवस्था पर अपना प्रभाव इस्तेमाल करते हुए Anthropic को यह संकेत दे रही है कि उसका IPO इस बात पर निर्भर है कि वह घुटने टेकता है या नहीं
पिछले कुछ महीनों में मैं Anthropic की तुलना में OpenAI पर कहीं ज़्यादा भरोसा करने लगा हूँ
Dario Amodei की लिखी बातों को गहराई से पढ़ें तो वह ASI को मानवता के लिए एक परिपूर्ण और त्रुटिहीन शासक मानने वाला एक हठधर्मी आस्तिक, और काफ़ी हद तक एक चरमपंथी अमेरिकी राष्ट्रवादी जैसा लगता है
कंपनी भी वैचारिक रूप से उसी लाइन में खड़ी दिखती है
यह भी कल्पना की जा सकती है कि वे ऐसा बेकाबू ASI स्वीकार कर लें, या जानबूझकर बना दें, जिसे वे अपने साथ वैचारिक रूप से aligned मानते हों
OpenAI तुलनात्मक रूप से कम हठधर्मी और ज़्यादा practical दिखता है
इसका मतलब यह नहीं कि वह कोई ख़ास अच्छी कंपनी है, लेकिन कम से कम यह अंदाज़ा लगाया जा सकता है कि एक सामान्य कंपनी कैसे व्यवहार करेगी
फिर जिन लोगों के सामने लाखों, अरबों डॉलर के प्रोत्साहन हों, उनके मामले में तो और भी ज़्यादा
विरासत के मामलों में लोग अपने ही परिवार के साथ क्या करते हैं, यह भी आपने देखा होगा; तो क्या आप OpenAI पर “भरोसा” करेंगे?
“भोला कौन है, Kay?” - Godfather
मैंने कुछ हफ़्ते पहले भी यही बात लिखी थी https://news.ycombinator.com/item?id=48341224, और हाल की ब्लॉग पोस्टें देखें तो बचा-खुचा संदेह भी पूरी तरह मिट जाएगा
HN और Reddit पर पहले से ही यह बात चल रही है कि यह वह सीमा-बिंदु हो सकता है जहाँ तक सरकार लोगों को access “allow” करेगी
मांग चाहे कितनी भी हो, अगर सरकार नहीं देगी तो उससे कोई फ़र्क नहीं पड़ेगा
black-market LLM बिल्कुल William Gibson के किसी उपन्यास से निकला हुआ सेटअप लगता है
यह summary अच्छी थी, और पढ़ते समय मुझे strong encryption वाली बहस याद आई
“हम वास्तव में जो हासिल करना चाहते हैं उसे optimize नहीं करते, बल्कि उसे optimize करते हैं जिसे हम measure कर सकते हैं. हमें उम्मीद रहती है कि दोनों एक ही हों, लेकिन अक्सर ऐसा नहीं होता” — यह पंक्ति LLM की मूल समस्या को पकड़ती है
मेरा मानना है कि मॉडल को हर व्यक्ति और हर इरादे के लिए सुरक्षित रूप से aligned होने की गारंटी देना या तो असंभव है, या बेहद महँगा
और इसके अलावा, “सुरक्षा” का अर्थ भी इस पर निर्भर करता है कि बात किसके लिए हो रही है