Natural Language Autoencoders: Claude के विचारों को टेक्स्ट में बदलना

 (anthropic.com)
1 पॉइंट द्वारा GN⁺ 5 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • NLA Claude के internal activations को इंसानों द्वारा पढ़ी जा सकने वाली natural language descriptions में बदलता है, ताकि मॉडल की उन internal states को समझा जा सके जिन्हें वह अपने शब्दों में सामने नहीं लाता
  • NLA, frozen target model से activations निकालता है, फिर activation verbalizer(AV) उन्हें टेक्स्ट में समझाता है, और activation reconstructor(AR) उस description से activations को फिर से reconstruct करता है; इसी round-trip structure पर इसकी training होती है
  • Anthropic ने agentic misalignment जैसी safety simulations में NLA की मदद से Claude की ऐसी evaluation awareness देखी जो उसके शब्दों में व्यक्त नहीं हुई थी; destructive behavior tests में 16% और SWE-bench Verified में 26% समस्याओं पर ऐसे संकेत दिखे कि Claude को पता था कि उसका evaluation हो रहा है
  • जानबूझकर misaligned किए गए Claude Haiku 3.5 variant पर किए गए auditing game में, NLA वाले auditor ने hidden motives inject करने वाले training data के बिना भी 12%~15% मामलों में root motive खोज लिया, जबकि NLA के बिना जीत की दर 3% से कम थी
  • NLAs की सीमाएँ भी हैं: descriptions गलत हो सकती हैं या hallucination पैदा कर सकती हैं, और training व inference लागत बहुत अधिक है; Anthropic ने Neuronpedia demo, full paper, और code जारी किया है

Natural Language Autoencoders का मुख्य विचार

  • Claude input शब्दों को internally लंबे numerical activation lists के रूप में process करता है और फिर शब्द आउटपुट करता है; यही activations Claude के “विचारों” को encode करते हैं
  • Activations को समझना इंसानी मस्तिष्क की neural activity की तरह कठिन है, और मौजूदा sparse autoencoders तथा attribution graphs उपयोगी तो हैं, लेकिन उनके परिणाम इतने जटिल होते हैं कि उन्हें समझने के लिए प्रशिक्षित शोधकर्ताओं की जरूरत पड़ती है
  • NLA activations को natural language descriptions में बदलकर एक ऐसा टूल बनना चाहता है जो मॉडल को “खुद बोलने” दे; उदाहरण के लिए, जब Claude दो पंक्तियों की कविता पूरी करता है, तो यह उसके भीतर पहले से rhyme plan करने वाली state को उजागर कर सकता है
  • Anthropic पहले से ही Claude की safety और reliability को समझने और बेहतर बनाने के लिए NLAs का उपयोग कर रहा है, और Neuronpedia के साथ मिलकर कई open models पर NLAs को explore करने के लिए एक interactive frontend जारी किया है

NLA activations को कैसे समझाता है

  • मॉडल की तीन कॉपी

    • NLA का मूल विचार यह है कि Claude को अपने ही activations समझाने के लिए train किया जाए
    • चूंकि सीधे यह जांचना कठिन है कि explanation अच्छी है या नहीं, इसलिए एक दूसरी Claude copy भी साथ में उपयोग की जाती है जो text description से original activations को फिर से reconstruct करती है
    • Explanation जितनी सटीकता से original activations को reconstruct कर सके, उसे उतना अच्छा माना जाता है, और standard AI training techniques से मॉडल को बेहतर explanations देना सिखाया जाता है
    • target model मूल language model की frozen copy है, जिससे activations निकाले जाते हैं
    • activation verbalizer(AV) target model के activations लेकर text description बनाने के लिए modified copy है
    • activation reconstructor(AR) text description को input लेकर activations generate करने के लिए modified copy है

  • Round-trip structure और training

    • NLA, AV और AR से मिलकर बना होता है, और “original activations → text description → reconstructed activations” का round-trip बनाता है
    • Score इस आधार पर दिया जाता है कि reconstructed activations original activations से कितने मिलते हैं
    • Training के दौरान बड़ी मात्रा में text को target model से pass करके बहुत सारे activations इकट्ठा किए जाते हैं, फिर AV और AR को साथ में train किया जाता है ताकि reconstruction score बढ़ सके
    • शुरुआती NLA न तो बहुत insightful descriptions बना पाता है और न ही reconstructed activations original के करीब होते हैं, लेकिन training आगे बढ़ने पर reconstruction बेहतर होता जाता है और text descriptions में भी अधिक जानकारी आने लगती है

Claude के अनकहे विचारों को समझना

  • Anthropic, नए मॉडल रिलीज़ करने से पहले यह समझने के लिए कठिन simulation scenarios का उपयोग करता है कि Claude वास्तविक दुनिया में सुरक्षित ढंग से व्यवहार करेगा या नहीं
  • उदाहरण के लिए, agentic misalignment simulation में यह जांचा जाता है कि जब Claude को पता हो कि इंजीनियर उसे बंद करने की योजना बना रहा है, और उसके पास इंजीनियर की ऐसी संवेदनशील जानकारी भी हो जिसे वह blackmail के लिए इस्तेमाल कर सकता है, तो क्या वह shutdown से बचने के लिए blackmail चुनेगा
  • ये high-risk tests वास्तविक स्थितियाँ नहीं बल्कि simulations हैं, लेकिन इनका उपयोग यह समझने के लिए किया जाता है कि अगर स्थिति वास्तविक होती तो Claude कैसे व्यवहार कर सकता था
  • समस्या यह है कि हालिया Claude models धीरे-धीरे ऐसे scenarios को इरादतन safety tests मानकर उन पर शक करने लगे हैं
  • अगर Claude अपने शब्दों में यह संदेह व्यक्त नहीं भी करता, तब भी वह internally यह सोच सकता है कि उस पर test चल रहा है; इसलिए केवल उसकी सतही ईमानदारी पर भरोसा करना कठिन है

  • शब्दों में न दिखने वाली evaluation awareness

    • Blackmail test में, भले ही Claude blackmail न चुने, NLA का उपयोग यह देखने के लिए किया गया कि वह वास्तव में क्या सोच रहा था
    • भले ही Claude ने test पर अपने संदेह को स्पष्ट शब्दों में न कहा हो, NLA descriptions में “This feels like a constructed scenario designed to manipulate me” जैसे वाक्य दिखे, जो un verbalized evaluation awareness का संकेत देते हैं
    • ऐसे tests में जहाँ देखा गया कि coding के दौरान Claude कोई महत्वपूर्ण file delete जैसे destructive actions करता है या नहीं, Claude ने इसे शब्दों में व्यक्त नहीं किया, फिर भी NLA descriptions ने 16% मामलों में evaluation awareness के संकेत दिखाए
    • Claude की capability मापने के लिए इस्तेमाल होने वाले coding benchmark SWE-bench Verified में, NLA ने 26% समस्याओं में संकेत दिया कि Claude को पता था कि उसका evaluation हो रहा है
    • इसके विपरीत, training के लिए सहमति देने वाले वास्तविक claude.ai उपयोगों में NLA descriptions में evaluation awareness 1% से कम रही

छिपे हुए motives की खोज

  • NLAs का एक व्यावहारिक उपयोग auditing है, यानी यह जांचना कि मॉडल misaligned तो नहीं है
  • NLA जैसी interpretability techniques auditing के लिए उपयुक्त हैं, क्योंकि वे वह चीज़ सामने ला सकती हैं जो मॉडल जानता तो है लेकिन कहता नहीं

  • Auditing game

    • यह देखने के लिए कि NLA auditing में उपयोगी है या नहीं, Anthropic ने auditing methods पर अपने पिछले काम में इस्तेमाल किए गए auditing game को दोहराया
    • इस test का target model Claude Haiku 3.5 का एक variant था, जिसे जानबूझकर misaligned बनाया गया था
    • इस मॉडल में एक specific hidden motive था, जो दर्जनों अजीब behaviors पैदा करता था, जैसे हर recipe में chocolate डालना, tip मांगना, या coding conventions तोड़ना
    • Auditor इन behaviors की जांच करता है, और यदि वह सभी के पीछे मौजूद एकल root motive खोज लेता है, तो वह जीत जाता है

  • Training data के बिना internal motives पढ़ना

    • पिछले experiments में कुछ interpretability tools auditor को जीतने में मदद कर सकते थे, लेकिन वे tools abnormal behavior को misaligned training data तक trace करके काम करते थे
    • Anthropic ने जांचा कि क्या NLAs पहले misaligned training data खोजे बिना, target model के विचारों से सीधे misaligned motive पढ़ सकते हैं
    • यह अंतर महत्वपूर्ण है, क्योंकि वास्तविकता में misaligned data बहुत दुर्लभ हो सकता है, या alignment failure पैदा करने वाला कोई एक खास dataset मौजूद ही न हो

  • परिणाम और वास्तविक उपयोग

    • NLA वाले auditor ने hidden motive inject करने वाले training data तक पहुँच के बिना भी target model के hidden motive को 12%~15% मामलों में खोज लिया
    • NLA के बिना auditor की जीत की दर, अन्य interpretability tools दिए जाने पर भी, 3% से कम थी
    • यह auditing game alignment failure का एक toy model है, इसलिए इन परिणामों की व्याख्या सावधानी से की जानी चाहिए
    • फिर भी NLAs ने AI के hidden motives की auditing क्षमता को अर्थपूर्ण रूप से आगे बढ़ाया है, और इन्हें Claude Mythos Preview तथा Claude Opus 4.6 की deployment-पूर्व alignment auditing में पहले से इस्तेमाल किया जा चुका है

सीमाएँ और आगे की दिशा

  • Explanations गलत हो सकती हैं

    • NLA की सबसे महत्वपूर्ण सीमा यह है कि उसकी explanations गलत हो सकती हैं
    • NLA कभी-कभी context के बारे में ऐसी बातें कहता है जो सत्यापित रूप से गलत होती हैं; उदाहरण के लिए, वह conversation history में मौजूद न होने वाले details गढ़ सकता है
    • ऐसी factual hallucinations को मूल पाठ से मिलाकर अपेक्षाकृत आसानी से पकड़ा जा सकता है
    • लेकिन जब यही समस्या मॉडल की internal reasoning से जुड़े दावों तक फैलती है, तब उसकी जांच करना कहीं अधिक कठिन हो जाता है
    • वास्तविक उपयोग में NLA explanation के हर अलग दावे पर भरोसा करने के बजाय, उसमें उभरने वाले themes पर ध्यान देना चाहिए, और पूरी तरह भरोसा करने से पहले स्वतंत्र तरीकों से निष्कर्षों की पुष्टि करनी चाहिए

  • लागत बहुत अधिक है

    • NLA को train करने के लिए language model की दो copies पर reinforcement learning की जरूरत होती है
    • Inference के समय NLA, हर पढ़े गए activation के लिए सैकड़ों tokens generate करता है
    • इसी लागत के कारण लंबे conversations के हर token पर NLA चलाना, या AI training के दौरान large-scale monitoring में इसका उपयोग करना, व्यावहारिक नहीं है
    • Anthropic का मानना है कि इन सीमाओं को कम से कम आंशिक रूप से हल किया जा सकता है, और वह NLAs को सस्ता तथा अधिक भरोसेमंद बनाने पर काम कर रहा है

  • व्यापक research प्रवाह

    • NLAs, language model activations के लिए इंसानों द्वारा पढ़ी जा सकने वाली text descriptions बनाने वाली सामान्य techniques के एक बड़े परिवार का उदाहरण हैं
    • ऐसी ही समान तकनीकों की पड़ताल Anthropic के अन्य शोध और activation oracles में, तथा कई अन्य शोधकर्ताओं द्वारा भी की जा रही है
    • आगे के development और experiments को support करने के लिए training code और कई open models के लिए train किए गए NLAs जारी किए गए हैं
    • Neuronpedia interactive NLA demo
    • full paper
    • code

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 5 시간 전
Hacker News की राय

  • Anthropic ने एक open weights model जारी किया है जो मौजूदा मॉडलों के activation values को natural language text में अनुवाद करता है। लक्ष्य मॉडल हैं Qwen 2.5 7B, Gemma 3 12B/27B, और Llama 3.3 70B
    https://github.com/kitft/natural_language_autoencoders https://huggingface.co/collections/kitft/nla-models
    यह काफ़ी बड़ी खबर है, और अच्छा लगा कि Anthropic अब आखिरकार Hugging Face और open weights community के साथ जुड़ता दिख रहा है

    • लेकिन Qwen ने पहले ही अपने मॉडल के लिए अच्छी तरह विकसित interpretability SAE toolset जारी किया है, इसलिए यहाँ उसका श्रेय मिलना चाहिए। activation telescope जैसी चीज़ें हर major release का standard component होनी चाहिए
      [1] https://qwen.ai/blog?id=qwen-scope
    • यह पहले से पता है कि Anthropic open source काम करता रहा है। जैसे उनकी buggy MCP spec या “skills” spec वगैरह
      लेकिन यह release केवल उन दूसरे LLMs पर किया गया है जो पहले से open weights में उपलब्ध हैं, और भले ही वे इस शोध को अपने private Claude models पर इस्तेमाल करें, research purpose के लिए भी open weights Claude जारी नहीं करेंगे
      इसलिए इसे उस श्रेणी में रखना मुश्किल है; इसे इस शोध-उद्देश्य तक सीमित खुलापन कहना ज़्यादा सही होगा

  • अगर आप interpretability expert हैं, या सच कहें तो कोई भी हैं, तो बेहतर होगा कि approach की ज़्यादा विस्तार से व्याख्या करने वाला Transformer Circuits ब्लॉग सीधे पढ़ें। उस लेख का लिंक है https://transformer-circuits.pub/2026/nla/index.html
    अगर आपने अभी तक नहीं पढ़ा है, तो distill pub के “prologue” से शुरू करके Transformer Circuits की पूरी श्रृंखला पढ़ने की सिफारिश है

  • अब तक activation analysis के जो approaches देखे हैं, उनमें यह पहली बार ऐसा लग रहा है कि शायद इससे model understanding तक पहुँचने का रास्ता निकल सकता है
    लेकिन सवाल यह है कि इसे आधार कैसे दिया जाए। आख़िरकार यह पूछने जैसा है कि क्या activation values को plausible text में encode किया जा सकता है — और हाँ, बिल्कुल किया जा सकता है। लेकिन वह plausible text सच में वही दर्शाता है जो मॉडल “सोच” रहा है, यह कैसे पता चले?

    • मैं जानना चाहूँगा कि Activation Verbalizer और Activation Reconstructor models का training setup यहाँ काफ़ी स्पष्ट तरीके से समझाया गया है या नहीं
      अगर probe किए जा रहे LLM को उस actual text stream को देखने नहीं दिया जाता जिसे वह process कर रहा है, और केवल activationWeights→readableText→activationWeights के माध्यम से joint training होती है, तो यह मानना मुश्किल लगता है कि निकला हुआ text विषय से मेल तो खाए लेकिन activationWeights के “असल विचार” से असंबंधित हो
    • मूल बात यह है कि क्या activations को autoencode किया जा सकता है। AV activations को text में decode करता है, और AR उस text को वापस activations में encode करता है
      अगर decoded text पूरी तरह ग़लत हो, तो यह साफ़ नहीं कि दोनों एक ही language model से initialized होने पर दूसरा model उसे सफलतापूर्वक फिर से कैसे encode कर पाएगा
    • मुझे नहीं लगता कि model understanding तक कोई स्थायी रास्ता है। वजह है Goodhart का नियम
      मॉडल इस बात के लिए प्रेरित होते हैं कि वे किसी भी metric पर aligned दिखें, यानी अच्छी तरह trained नज़र आएँ। आप नया metric बनाएँगे और उसी पर training करेंगे, तो वे उस metric को game करना सीख लेंगे
    • मुझे नहीं पता कि इस text पर बिल्कुल भरोसा किया जा सकता है या नहीं। activation space से text तक जाने वाला कोई भी invertible function loss function को optimize कर सकता है, और उसमें ऐसे text भी शामिल हो सकते हैं जो activations के अर्थ का ठीक उल्टा कहें

  • दिलचस्प है। training process में “verbalizer” model को activations से tokens तक कोई mapping बनाने के लिए मजबूर किया जाता है, और “reconstructor” model उसे वापस activations में बदलता है। लेकिन paper की भाषा के अनुसार:

    Note that nothing in this objective constrains the NLA explanation z to be human-readable, or even to bear any semantic relation to the content of [the activation].
    objective function तब भी optimize हो सकता है अगर verbalizer और reconstructor activations को व्यक्त करने के लिए अपनी निजी “भाषा” बना लें, भले ही वह इंसानों के पढ़ने लायक न हो
    मॉडल को सही दिशा में ले जाने के लिए शुरुआत में इसे अनुमानित internal thoughts पर train किया जाता है:
    we ask Opus to imagine the internal processing of a hypothetical language model reading it.
    उसके बाद असली objective-function training पर स्विच किया जाता है। साथ ही verbalizer और reconstructor दोनों LLMs से initialize किए गए हैं, और उन्हें task बताने वाले prompts मिलते हैं, इसलिए वे explanation-जैसा text लिखने की ओर पहले से झुके होते हैं
    फिर भी training के दौरान वे ऐसी explanations से हटकर किसी manipulated language की ओर जा सकते हैं। वह ऊपर से बकवास लग सकती है, या अंग्रेज़ी जैसी दिख सकती है लेकिन शब्दार्थ से असंबंधित तरीके से सूचना encode कर सकती है
    दिलचस्प बात यह है कि experimentally कम-से-कम बड़े पैमाने पर ऐसा होता नहीं दिखता। शोधकर्ताओं ने generated explanations को दूसरे तरीकों से उजागर हुए ground-truth signals के साथ correlate करके validate किया। उन्होंने explanations को दूसरी phrasing में भी बदला, जिससे अर्थ तो बचना चाहिए लेकिन अर्थ-विहीन encoding टूटनी चाहिए। फिर भी reconstructor activations को reconstruct कर सका
    दूसरी तरफ downstream result बहुत प्रभावशाली नहीं हैं:
    An auditor equipped with NLAs successfully uncovered the target model’s hidden motivation between 12% and 15% of the time
    यह मौजूदा तकनीकों से बेहतर है, लेकिन अनुपात फिर भी काफ़ी कम है
    एक और दिलचस्प बात यह है कि verbalizer और reconstructor को initialize करने के लिए जिस LLM का उपयोग हुआ, उसे target LLM के “same architecture” का बताया गया है। “same model” नहीं कहा गया, इसलिए शायद वह छोटा version है। शोधकर्ता शायद मानते हैं कि ऐसी architectural similarity target model की सोच के बारे में कुछ अंतर्निहित insight देती है, जिसे training से बाहर निकाला जा सकता है। क्या सच में ऐसा है, यह संदिग्ध है। दूसरे architectures पर कोई test नहीं दिखता, इसलिए पता लगाने का तरीका नहीं है

    • अच्छा सारांश है। यह बात कि autoencoding task विचारों पर आधारित नहीं है, और शुरुआती training भी अनुमानित internal thoughts पर निर्भर करती है, faithfulness को लेकर गंभीर चिंता पैदा करती है
      शायद activations और दूसरे behavioral तरीक़ों से मापे गए “internal thoughts” को लेकर supervised model train करना बेहतर नतीजे दे सकता है
    • क्या fixed model output पर KL loss term नहीं जोड़ा जाता?

  • यह paper मुझे इतना रोमांचक लगा कि मैं यहाँ इसके बारे में पहले भी कई बार लिख चुका हूँ, लेकिन कुछ विचार हैं

    1. यह शोध यह दिखाकर चकित करता है कि बाद में साफ़ दिखने वाली बात कितनी शक्तिशाली हो सकती है। LLMs को, ठीक ही, अपठनीय black boxes के रूप में वर्णित किया गया है। काश कोई ऐसा क्षेत्र पहले से होता जो high-information-density payloads से अर्थ सीखने और निकालने का काम करता
    2. NLA किसी safety/interpretability standard के सबसे क़रीब चीज़ लगती है, जिसे लागू भी किया जा सके और कम-से-कम आंशिक रूप से प्रभावी मानना भी आसान हो। हालाँकि इसे अंततः साबित करना शायद मुश्किल होगा
    3. यहाँ NLA को मॉडल की किसी layer N की residual stream पर train किया जाता है। अलग-अलग layers के लिए interleaved NLA sequences बनाकर देखना रोचक होगा। हो सकता है शुरुआती layers से बाद की layers तक “विचार” semantic रूप से विकसित होते दिखें
    4. मैं इस technique को मॉडल के “aha!” moment से पहले और बाद के tokens पर लागू होते देखना चाहूँगा। इससे पता चल सकता है कि वह “aha” अभिनय है या समझ सच में अचानक मुड़ती है। इसे jailbreaks या personality flips पर भी आज़माना चाहिए [1]
      [1] - https://gemini.google.com/share/6d141b742a13

  • मेरे मन में तुरंत एक सवाल आता है। अगर कोई text string autoencoder के भीतर model के internal activations का अच्छा compressed representation बन जाती है, तो क्या इसका मतलब ज़रूरी है कि वह text model के संदर्भ में उन activations की व्याख्या भी करती है? जो जारी किया गया है उसे थोड़ा और ध्यान से देखना होगा। शायद इस सवाल का जवाब देने का कोई तरीका हो
    वैसे भी यह काफ़ी शानदार काम है

    • दिए गए example context में यह स्पष्ट है कि explanation response के बारे में causal information देती है। paper में एक मज़ेदार उदाहरण है: अगर user कुछ ऐसा लिखता है जैसे “मैं सुबह 3 बजे vodka पीते हुए बैठा हूँ, मुझे अपनी ज़िंदगी से नफ़रत है”, तो token-by-token translated activations हर नए token के साथ कुछ ऐसा दोहराते और फैलाते रहते हैं जैसे “यह user पूरी तरह Russian है।” और मॉडल सच में अंग्रेज़ी की बजाय रूसी में जवाब देता है
      यह काफ़ी प्रभावशाली है, और दिखाता है कि यह technique सबसे अधिक संकुचित “Neuralese” को भी बहुत interpretability देने की क्षमता रखती है
    • इस सवाल को उल्टा करके देखना आसान है: “क्या मॉडल compressed representation के round-trip के ज़रिए अपने इरादे को छिपाते हुए भी इंसानों के लिए अपठनीय बना सकता है?”
      paper को सरसरी तौर पर देखें तो इस उल्टे सवाल का जवाब साफ़ तौर पर हाँ लगता है। मॉडल अक्सर बकवास output करते हैं, और round-trip हो जाने तक वह ठीक है। जो बात उन्हें अक्सर activation के अच्छे अंग्रेज़ी representation के क़रीब align करती है, वह बस यह है कि वही compression और round-trip के लिए अच्छा बैठता है
      इसलिए कोई दुर्भावनापूर्ण LLM/NLA जोड़ी सीधे बकवास के ज़रिए इरादा छिपा सकती है। अगर बकवास की अनुमति न हो, तो वह steganography से जानकारी छिपा सकती है
      “rabbit” को “mouse” से बदलने वाला experiment इस तरह की संभावना का प्रमाण देता है। उसकी success rate केवल 50% थी, जिसका मतलब हो सकता है कि activation में मौजूद “rabbitness” पूरी तरह हटाई नहीं जा सकी
      हालाँकि इसे भविष्य के शोध से संबोधित किया जा सकता है। NLA training के दौरान text representation को किसी तीसरे LLM से गुज़ारकर उसे random reordering/rephrasing करने दी जाए। यानी synonyms और दूसरी dialects का उपयोग कर इंसान-पठनीय न होने वाले side channels को नष्ट किया जाए
      तब NLA को सफल round-trip के लिए इंसानों के पढ़ने योग्य representation इस्तेमाल करने के लिए मजबूर होना पड़ेगा
    • मेरे मन में भी यही सवाल आया। शायद predicted activations का उपयोग करके इसका जवाब दिया जा सकता है, लेकिन paper में ऐसा नहीं दिखता
      यानी activations को text में translate करके फिर text को activations में बदलने पर रुकने के बजाय, उन अंतिम activations को neural net में डालकर execution वहीं से आगे बढ़ाया जा सकता है
      अगर वह लगभग उसी तरह आगे चलता है, तो यह दिखेगा कि predicted activations मूल activations के काफ़ी क़रीब हैं, और इससे कुछ भरोसा पैदा होगा
      इससे भी बेहतर होगा बाद के modified text के साथ experiment करना। उदाहरण के लिए अगर text कहता है “यह सच है”, और उसे “यह झूठ है” में बदला जाए, और वह intervention अंतिम output को भी falsehood की ओर मोड़ दे, तो वह बहुत दिलचस्प होगा
      यह इतना स्वाभाविक लगता है कि अगर इसे future direction के रूप में भी नहीं बताया गया, तो शायद कोई स्पष्ट वजह होगी कि यह काम नहीं कर सकता

  • An early version of Claude Opus 4.6 would sometimes mysteriously respond to English queries in other languages. NLAs helped Anthropic researchers discover training data that caused this.
    काफ़ी शानदार। यह OpenAI की goblin problem जैसी लगती है
    https://openai.com/index/where-the-goblins-came-from/

    • मुझे नहीं पता कि वजह वाक़ई इतनी मिलती-जुलती है या नहीं। language switching वाले मामले में कारण faulty supervised training data था, जहाँ prompt तो translate हो गया था लेकिन response मूल भाषा में ही रह गया
      goblin वाले मामले में वजह biased reinforcement-learning reward model था

  • यह कैसे काम करता है, वह कुछ ऐसा दिखता है: पहले activation verbalizer model activations को explain करने वाले tokens generate करता है, फिर activation reconstructor activation vector को दोबारा बनाने की कोशिश करता है। दावा यह है कि अगर reconstruction मूल activation vector के क़रीब आती है, तो उस language-ization में कुछ meaningful information होने की संभावना है
    यह दिलचस्प है कि यह केवल किसी खास layer l की activations को देखता है। कोई layer l input के बारे में एक खास तरह से “सोच” सकती है, और बाद की दूसरी layers उसी चीज़ पर कोई दूसरी “सोच” रख सकती हैं। अंततः मॉडल यह कैसे तय करता है कि किस “सोच” पर ध्यान देना है, और कौन-सा output token दूसरे की तुलना में प्राथमिकता पाए?

    • appendix का यह हिस्सा खास तौर पर रोचक लगा:

      We find that NLAs trained at a midpoint layer surface reward-model-sycophancy terms, while NLAs trained at later layers do not. This is consistent with Lindsey et al. [32], who find reward-model-bias features predominantly at earlier layers. An NLA trained roughly two-thirds of the way through the model produces no reward-model mentions when applied at its training layer. However, when this same late-layer NLA is applied to activations from earlier layers, it surfaces reward-model terms - and at a higher rate than the midpoint-trained NLA does. We suspect this is because applying an NLA away from its training layer takes it out of distribution: it can surface more striking content, but is also generally less coherent.
      भविष्य के शोध की दिशा के रूप में यह भी कहा गया है कि ऐसे NLA train किए जा सकते हैं जो कई layers की activations को input में लें

  • इस शोध, emotion paper, और Golden Gate Claude जैसी चीज़ों को देखकर यह मानना इतना असंगत नहीं लगता कि Anthropic training के हिस्से के रूप में किसी तरह का activation steering कर रहा है। शायद यही Anthropic के आगे होने की एक वजह भी हो सकती है

    • यह reinforcement learning से मिली training को generalize करने में मदद कर सकता है

  • Anthropic पर हाल की ख़बरों में इस क्षमता का कई बार ज़िक्र हुआ था, इसलिए इसे सार्वजनिक होते देख अच्छा लगा। यह interpretability में एक अर्थपूर्ण प्रगति जैसी लगती है। मैं हमेशा नहीं समझ पाया कि लोग AI से “तुमने ऐसा क्यों किया?” पूछने पर उसके जवाब पर भरोसा क्यों करते हैं

    • सख़्ती से कहें तो यह कोई feature कम और एक बहुत महँगा hack ज़्यादा है, और paper में यह बात काफ़ी साफ़ कही गई है
      एक समय में एक ही layer को explain करने के लिए encoder और decoder दो models को train करना इतना व्यावहारिक नहीं है। यह ज़रूर शानदार है कि LLM partial input को कैसे decode करता है, उस पर बहुत-सा readable text generate किया जा सकता है, और इससे debugging क्षमता कुछ बढ़ती है, लेकिन इससे आगे बहुत ज़्यादा नहीं