LLM की अनिश्चितता पहचान तकनीक

LLM की अनिश्चितता पहचान

यह लेख XJDR की नई परियोजना Entropix में विकसित एक नई inference technique का वर्णन करता है। Entropix अनिश्चित क्षणों में sampling को अधिक स्मार्ट बनाकर मॉडल के inference को बेहतर करने की कोशिश करता है। हालांकि, अभी तक बड़े पैमाने पर evaluation नहीं हुआ है, इसलिए यह वास्तव में कितना मददगार है, यह अभी भी अनिश्चित है।

अनिश्चितता का अवलोकन

• Sampling वह प्रक्रिया है जिसमें LLM संभावित tokens के distribution (logits) में से token चुनता है।
• मॉडल की prediction पर उसका confidence इस distribution के माध्यम से जाना जा सकता है।
• Entropix adaptive sampling का उपयोग करता है ताकि मॉडल अनिश्चित होने पर बेहतर निर्णय ले सके।

अनिश्चितता का अर्थ और महत्व

• Logits में अनिश्चितता के कई कारण हो सकते हैं, और वे सभी बुरे नहीं होते।
• कारणों में synonyms या equivalent tokens, branching paths, और वे स्थितियां शामिल हैं जहां AI आश्वस्त नहीं होता।
• Entropix का सुझाव है कि अनिश्चितता की मात्रा के अनुसार अगला token अलग-अलग तरीकों से चुना जाना चाहिए।

Entropy और Varentropy

• Entropix अनिश्चितता को मापने के लिए दो metrics, entropy और varentropy, का उपयोग करता है।
• Entropy यह मापता है कि predicted logits एक-दूसरे से कितने अलग हैं।
• Varentropy अनिश्चितता के "shape" को दर्शाता है, और उच्च varentropy यह दिखाता है कि कुछ values अन्य values से काफी अलग हैं।

गणितीय व्याख्या

• Surprisal किसी घटना की unpredictability को मापने की एक अवधारणा है।
• Entropy सभी संभावित outcomes के लिए surprisal का expected value है।
• Varentropy की गणना surprisal के variance के रूप में की जाती है।

Entropy और Varentropy पर आधारित adaptive sampling

कम entropy, कम varentropy

• यह आदर्श स्थिति है जिसमें मॉडल केवल पहले विकल्प ही नहीं बल्कि अन्य विकल्पों को लेकर भी आश्वस्त होता है।
• Standard argmax sampling का उपयोग करके सबसे अधिक probability वाला token चुना जाता है।

कम entropy, अधिक varentropy

• यह वह स्थिति है जिसमें मॉडल कुछ विकल्पों की बहुत उच्च prediction करता है।
• यह किसी नए output branch को दर्शा सकता है, और branch को कई तरीकों से implement किया जा सकता है।

अधिक entropy, कम varentropy

• मॉडल ऐसी चीज देख रहा हो सकता है जिसे वह पहचान नहीं पा रहा, या सभी विकल्प एक-दूसरे के बदले इस्तेमाल किए जा सकते हैं।
• "think" token का उपयोग करके मॉडल को अधिक computation time इस्तेमाल करने के लिए प्रेरित किया जाता है।

अधिक entropy, अधिक varentropy

• यह वह स्थिति है जिसमें मॉडल की कोई स्पष्ट preference नहीं होती, लेकिन कुछ outputs पर उसे अधिक confidence होता है।
• ऐसे में random selection किया जा सकता है, या branching की जा सकती है, या think token डाला जा सकता है।

Branching और think token

• Branch prediction वह तरीका है जिसमें कुछ logits को follow करके देखा जाता है कि वे अलग tokens तक कैसे पहुंचते हैं।
• Think token अनिश्चित स्थिति में अधिक computation करने का एक तरीका है।

Attention entropy

• Entropix temperature को adjust करने के लिए attention entropy का उपयोग करता है।
• Attention entropy और attention agreement sampling के लिए अतिरिक्त signals दे सकते हैं।

क्या यह महत्वपूर्ण है?

• Entropix की insights समझने में आसान हैं और पूरी तरह नई नहीं हैं।
• भले ही evaluation बड़े फायदे न दिखाए, ऐसी inference techniques प्रयोग करने के लिए आसान दिशा हैं।

GN⁺ का सार

• Entropix LLM की अनिश्चितता को संभालने के लिए एक नया approach प्रस्तावित करता है।
• Entropy और varentropy का उपयोग करके मॉडल के confidence level को मापा जा सकता है, और adaptive sampling के जरिए बेहतर निर्णय लिए जा सकते हैं।
• ये तकनीकें बिना बड़े budget के भी open source hackers को मॉडल की inference क्षमता बेहतर करने की संभावना देती हैं।
• समान क्षमताओं वाले प्रोजेक्ट के रूप में Hugging Face के Transformers की सिफारिश की जाती है।

[GN⁺]

Hacker News की राय

• Charles Babbage इस सवाल से उलझन में थे कि क्या गलत इनपुट सही आउटपुट दे सकता है

• consumer hardware का उपयोग करने वाली sampling-आधारित तकनीकें SOTA models को बेहतर बना सकती हैं। हालांकि, यह लंबे समय तक नहीं चलेगा, और अंततः trainable sampler की आवश्यकता होगी

  • optillm ऐसी तकनीकों को लागू करने वाला एक project है
  • Entropics की अतिरिक्त computation, CoT decoding की तुलना में बेहतर परिणाम नहीं देती

• LLM की कई समस्याएँ semantic leakage या अप्रासंगिक जानकारी की वजह से होती हैं। attention में सुधार की गुंजाइश हो सकती है

  • संबंधित blog post लिखी गई: semantic leakage, LLM और reasoning, O(1) reasoning time Turing machine

• आधुनिक GPT, token vocabulary पर एक बड़े classifier से logits आउटपुट करता है। यह space में मौजूद होता है, और असामान्य convexity गुणों वाले manifold की गणना कर सकता है

• high entropy स्थितियों में मॉडल को uncertainty का पता लगाकर user को चेतावनी देने की क्षमता चाहिए

• यह निश्चित नहीं है कि LLM की uncertainty का आकलन करने की तकनीक मौजूद है या नहीं। हालिया research, semantic entropy का उपयोग करके सांख्यिकीय रूप से मापती है कि LLM अनुमान लगा रहा है या नहीं

• यह जानने की जिज्ञासा है कि क्या किसी ने उस output पर प्रयोग किया है जब मॉडल को uncertainty की अनुमति नहीं दी जाती। यानी sampler तब तक backtrack करे जब तक सभी tokens में threshold से ऊपर की certainty न हो

• LLM पर भरोसा करके न्यूनतम supervision के साथ काम करवाने पर सवाल है। सब कुछ "hallucination" या अनुमान हो सकता है

• LLM की समस्या सिर्फ "uncertainty" नहीं है, इसके कई आयाम हैं। सवाल के अर्थ की कमी, जानकारी की कमी, expert consensus का अभाव जैसी कई वजहें हो सकती हैं

• language models के लिए countless sampling strategies मौजूद हैं। यह अनुभवजन्य रूप से साबित करना कठिन है that कोई खास sampling strategy मानक top-k या top-p sampling से बेहतर है