Representation Engineering, Mistral-7B में acid trip

 (vgel.me)
2 पॉइंट द्वारा GN⁺ 2024-02-19 | 1 टिप्पणियां | WhatsApp पर शेयर करें

Representation Engineering, Mistral-7B में acid trip

  • Control Vector क्या है?

    • Control vector एक ऐसे vectors की सूची है (प्रत्येक layer के लिए), जिन्हें inference के दौरान model activations पर लागू करके बिना अतिरिक्त prompt के मॉडल के व्यवहार को नियंत्रित किया जाता है।
    • एक ही prompt और मॉडल के साथ, control vector का उपयोग करें या न करें और उसकी intensity बदलने पर अलग परिणाम मिलते हैं।

  • Control Vector बनाना कठिन नहीं है

    • PCA का उपयोग करके एक contrasting prompts pair dataset बनाया जाता है, मॉडल चलाकर हर layer की hidden states collect की जाती हैं, और फिर single-component PCA से प्रत्येक layer का control vector निकाला जाता है।
    • यह प्रक्रिया केवल कुछ लाइन की code और लगभग 1 मिनट समय लेती है।

  • Control Vector से क्या-क्या कर सकते हैं

    • Control vector की मदद से AI मॉडल को 'acid trip' स्थिति, 'आलस्य', 'मेहनतीपन', 'रचनात्मकता' जैसी कई अलग-अलग states में ले जाया जा सकता है।
    • प्रत्येक control vector केवल कुछ ही मिनटों में train किया जा सकता है, और GitHub पर उपलब्ध experiment notebook से इसे सीधे आज़मा सकते हैं।

  • Control Vector बनाम Prompt Engineering

    • Control vector और prompt engineering अलग approaches हैं, लेकिन कुछ overlap मौजूद है।
    • Control vector वे परिणाम दे सकता है जो prompt engineering से भी replicate किए जा सकते हैं, लेकिन intensity को tune करना आसान होता है।

GN⁺ का दृष्टिकोण

  • Control Vector की अहमियत: Control vector एक मजबूत तरीका है जिससे AI मॉडल का व्यवहार बहुत सटीक तरीके से adjust किया जा सकता है, और यह prompt engineering की सीमाओं से आगे नए विकल्प देता है।
  • Efficiency और Accessibility: Control vectors की मदद से users बिना जटिल prompt सेटअप के भी मॉडल के व्यवहार को आसानी से बदल सकते हैं, जिससे AI की usability काफी बेहतर हो सकती है।
  • रचनात्मक उपयोग: Control vector से AI को 'acid trip' mode में डालने जैसे प्रयोग AI research में एक नए प्रयोगात्मक दृष्टिकोण को संभव बनाते हैं।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-19
Hacker News टिप्पणी
  • इस तकनीक का इम्पैक्ट कितना बड़ा हो सकता है, यह सोचकर मैं थोड़ा पागल-सा महसूस कर रहा हूँ। शायद मेरी समझ पूरी तरह सही न हो, लेकिन लगता है कि personalized control vectors को सेव करके ChatGPT के आउटपुट को यूज़र की पसंद के और करीब fine-tune किया जा सकता है। यह personalized AI entertainment तक जा सकता है, और ऐसे market में मजबूत local और global दोनों स्तरों पर network effects बन सकते हैं। यानी भविष्य में किसी एक बड़ी कंपनी के हाथ में लगभग पूरा बाजार जा सकता है।
  • लेख बहुत अच्छी तरह लिखा गया है और दिलचस्प भी। कृपया कोई अच्छी LLM समझने वाली reference या blog post शेयर करें।
  • control vectors मुझे human hormones की तरह लगते हैं। यह मॉडल के behavior का एक बड़ा हिस्सा एक ही बार में बदल देता है। दस साल के अंदर शायद कोई AI psychiatrist अपने companion helper के लिए happiness-control-vector supplementation लिख सके।
  • LLM को इस तरह summarize किया जाना मैंने पहली बार देखा, और यह approach मुझे पसंद आई।
  • यह पोस्ट दिलचस्प है और हालिया "You Sound Like a Bot" पोस्ट के साथ अच्छा counterpoint बनती है, जिसमें कहा गया था कि AI अब बोरिंग हो गया है। मज़ेदार नजरिए से देखें तो किसी science-fiction लेखक के लिए 'self-awareness vector' खोजने की चुनौती बड़ी होगी क्योंकि इससे humanity को issue हो सकता है।
  • यह bias adjustment जैसा है, LoRA का competitor लगता है। प्रत्येक linear layer activation में केवल अतिरिक्त vector को fine-tune करके भी decent एक अच्छा adapter मिल सकता है।
  • article बहुत अच्छा है। एक सवाल: नियंत्रण vectors को neural network की सभी layers में inject क्यों किया जाता है? हर vector उन सभी layers को प्रभावित करता है जिनसे वह गुजरता है, क्या इससे data representation बहुत ज़्यादा distort नहीं हो सकता?
  • पोस्ट बहुत अच्छी है। control vectors से मॉडल का खुद का behavior नहीं, बल्कि किसी और के behavior पर मॉडल का judgment बदलता है। यानी मॉडल से honest या dishonest होने के लिए कहने पर यही वही honest vector generate होता है।
  • inference के नजरिए से (सभी layers में कुछ जोड़ना) यह LoRA से काफी similar लगता है। क्या control vectors को LoRA के रूप में encode करके existing inference framework में आसानी से use किया जा सकता है, या मेरी समझ कहीं गलत है?
  • एक साथ कई vectors apply करने पर सवाल है। जैसे hallucination और sadness, honesty और self-awareness, laziness और creativity की combinations।