बड़े भाषा मॉडलों में Under-Trained Tokens का स्वचालित पता लगाने की तकनीक

 (arxiv.org)
1 पॉइंट द्वारा GN⁺ 2024-05-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें

बड़े भाषा मॉडलों में अप्रशिक्षित टोकनों की स्वचालित पहचान पर शोध

  • भाषा मॉडलों में tokenizer निर्माण और मॉडल training के बीच असंगति के कारण SolidGoldMagikarp टोकन जैसे कुछ इनपुट अनचाहा व्यवहार उत्पन्न कर सकते हैं
  • ऐसे 'glitch tokens' tokenizer vocabulary में मौजूद होते हैं, लेकिन training में बहुत कम उपयोग हुए होते हैं या बिल्कुल नहीं हुए होते; इन्हें विभिन्न मॉडलों में देखा गया है, लेकिन इन्हें लगातार पहचानने का विश्वसनीय तरीका अब तक नहीं था
  • यह शोध अप्रशिक्षित या कम प्रशिक्षित टोकनों का पता लगाने की समस्या पर केंद्रित है और बड़े भाषा मॉडल (LLM) tokenizers का व्यापक विश्लेषण प्रस्तुत करता है
  • tokenizer विश्लेषण, model weight-आधारित metrics, और prompting तकनीकों को मिलाकर ऐसे समस्या-जनक टोकनों का स्वचालित पता लगाने की एक प्रभावी विधि विकसित की गई है
  • शोध के परिणाम दिखाते हैं कि ऐसे टोकन विभिन्न मॉडलों में व्यापक रूप से मौजूद हैं, और यह भाषा मॉडलों की दक्षता और सुरक्षा बेहतर करने के लिए उपयोगी अंतर्दृष्टि प्रदान करता है

GN⁺ राय

  • tokenizer और भाषा मॉडल training के बीच असंगति से उत्पन्न glitch token समस्या एक दिलचस्प विषय है। यह भाषा मॉडल के प्रदर्शन और स्थिरता को प्रभावित करने वाला एक महत्वपूर्ण मुद्दा हो सकता है
  • इस समस्या को हल करने के लिए स्वचालित methodology प्रस्तुत किया जाना प्रभावशाली है। tokenizer विश्लेषण, model weight-आधारित metrics, और prompting तकनीकों जैसे विभिन्न दृष्टिकोणों का उपयोग एक रचनात्मक और व्यावहारिक तरीका लगता है
  • यह शोध भाषा मॉडल के विकास और deployment के समय ध्यान में रखने योग्य महत्वपूर्ण बिंदु प्रस्तुत करता है। खासकर, मॉडल की स्थिरता और विश्वसनीयता सुनिश्चित करने के लिए tokenizer और मॉडल training के बीच consistency बनाए रखना आवश्यक है
  • हालांकि, शोध परिणामों की generalizability पर अतिरिक्त सत्यापन की आवश्यकता दिखती है। यह भी जांचना जरूरी होगा कि प्रस्तावित methodology विभिन्न domains और भाषाओं के datasets पर प्रभावी ढंग से काम करती है या नहीं
  • glitch token समस्या के अलावा, भाषा मॉडल की स्थिरता और विश्वसनीयता को प्रभावित करने वाले अन्य कारकों पर भी आगे शोध की आवश्यकता है। bias, privacy, security जैसे विभिन्न दृष्टिकोणों से भी रुख की जरूरत है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-05-13
Hacker News टिप्पणियाँ

  • यह मानना मुश्किल है कि किसी कनाडाई कंपनी के मॉडल में हॉकी से जुड़े कम-प्रशिक्षित tokens हैं। लेकिन tokenization का मॉडल पर क्या असर पड़ता है, इसकी समझ बेहतर होना दिलचस्प खोज है। खासकर शुरुआती open source models में डेटा स्रोत के आधार पर अक्सर carriage return की समस्या होती है.

  • Computerphile के एक साल पुराने वीडियो में glitch tokens के बारे में अच्छी तरह समझाया गया है.

  • सिर्फ कम-प्रशिक्षित tokens ही नहीं, नेटवर्क की हर layer के सभी weights में training data imbalance भी तलाशना चाहिए। अगर यह मिले, तो जिन weights में डेटा फ्लो लगभग नहीं है उन्हें हटाने से model size कम करने या generalization बेहतर करने में मदद मिल सकती है.

  • training diagnostics के लिए random matrix theory पर आधारित एक तरीका है। इसमें weight correlation matrix की spectral density का उपयोग होता है, और जब हर layer की spectral density truncated power law पर फिट होती है तथा power law exponent alpha 2 से थोड़ा बड़ा होता है, तब उसे सही तरह से प्रशिक्षित माना जाता है.

  • इस शोधपत्र का शीर्षक प्रभावशाली है.

  • क्या tokenizer को LLM वाले ही corpus पर train करना समाधान नहीं होगा? tokenizer को दोबारा इस्तेमाल करना आम क्यों है, यह मुझे ठीक से समझ नहीं आता.