Quiet-STaR: क्या language models को बोलने से पहले खुद सोचना सिखाया जा सकता है

Quiet-STaR: क्या language models को बोलने से पहले सोचना सिखाया जा सकता है

• लोग लिखते या बोलते समय कभी-कभी सोचने के लिए रुकते हैं, और इस तरह का reasoning लगभग हर लिखित टेक्स्ट में निहित होता है.
• Self-Taught Reasoner(STaR) में, प्रश्न-उत्तर में कुछ उदाहरणों के जरिए rationale का अनुमान लगाकर, और सही उत्तर तक ले जाने वाले rationale से सीखकर उपयोगी सोच सीखने का तरीका प्रस्तुत किया गया है.
• Quiet-STaR, STaR का एक generalization है, जो language model को भविष्य के टेक्स्ट को समझाने के लिए हर token पर rationale generate करना सिखाकर prediction को बेहतर बनाता है.

प्रमुख चुनौतियाँ और समाधान

• लगातार टेक्स्ट generation की computational cost, language model का शुरू में internal thoughts को generate या use करना न जानना, और केवल अगले एक token से आगे की prediction की आवश्यकता जैसी चुनौतियाँ मौजूद हैं.
• इन समस्याओं को हल करने के लिए, thought की शुरुआत और अंत को दिखाने वाले learnable tokens का उपयोग करने वाला token-wise parallel sampling algorithm और extended teacher-forcing technique प्रस्तावित की गई है.

मॉडल प्रदर्शन में सुधार

• generated rationale कठिन tokens की prediction में मदद करते हैं और language model की कठिन सवालों का सीधे जवाब देने की क्षमता को बेहतर बनाते हैं.
• इंटरनेट टेक्स्ट corpus पर Quiet-STaR के साथ language model को आगे pretrain करने के परिणामस्वरूप, GSM8K(5.9%→10.9%) और CommonsenseQA(36.3%→47.2%) में zero-shot सुधार मिला, और प्राकृतिक टेक्स्ट में कठिन tokens की perplexity में सुधार देखा गया.
• ये सुधार संबंधित tasks के लिए fine-tuning के बिना हासिल किए गए.

GN⁺ की राय

• Quiet-STaR यह दिखाता है कि language models अधिक सामान्य और scalable तरीके से reasoning सीखने की दिशा में एक कदम आगे बढ़े हैं.
• यह शोध AI क्षेत्र में language understanding और reasoning क्षमता को मजबूत करने वाली एक महत्वपूर्ण प्रगति को दर्शाता है, और natural language processing तकनीकों के विकास में योगदान दे सकता है.
• आलोचनात्मक दृष्टि से देखें तो, जब ऐसी तकनीकें वास्तविक दुनिया की जटिल समस्याओं पर लागू होंगी, तब वे अप्रत्याशित परिणाम ला सकती हैं; इसलिए अतिरिक्त शोध और safety measures की आवश्यकता है.
• इसी तरह की क्षमता देने वाले अन्य प्रोजेक्ट्स में OpenAI की GPT series और Google का BERT शामिल हैं, और इनमें भी language understanding और generation क्षमता सुधारने पर शोध जारी है.
• तकनीक अपनाते समय training data की quality और diversity, model का ethical use, और computational cost जैसे पहलुओं पर विचार करना चाहिए; वहीं इस तकनीक का लाभ अधिक सटीक और सूक्ष्म language models का निर्माण है.

[GN⁺]

Hacker News की राय

• अगर कोई नेटवर्क लगभग 50 परतों की गहराई का है, तो इसका मतलब है कि यह नेटवर्क 50 'कदमों' वाले प्रतीकात्मक प्रश्नों पर तर्क कर सकता है। यह भी हो सकता है कि जिस subspace में मॉडल को प्रशिक्षित किया गया है, उसमें 50 कदम मानव के एक कदम से अधिक हासिल कर लेते हों, लेकिन हम जानते हैं कि मनुष्यों में इन कदमों से आगे सोचने और गहराई से विचार करने की क्षमता होती है।
• Edsger Dijkstra, जिनकी मातृभाषा डच थी, फिर भी अंग्रेज़ी में उनकी शैली बेहद सटीक थी। उन्होंने याद किया था कि बचपन से उन्हें यह सिखाया गया था कि किसी वाक्य को शुरू करने से पहले यह पता होना चाहिए कि उसे खत्म कैसे करना है। अनुमान है कि इन दोनों अवलोकनों के बीच कोई कारणात्मक संबंध हो सकता है।
• यह विचार आया कि LLM-आधारित सिस्टमों के प्रदर्शन सुधार में योगदान देने वाला 'chain-of-thought' reasoning pattern, Kahneman की 'Thinking, Fast and Slow' में बताए गए two-system model के समानांतर है। 'System 1' कम प्रयास और कम computation वाले विचारों के लिए है, जबकि 'System 2' सचेत और उच्च-स्तरीय cognitive work के लिए इस्तेमाल होता है। इस आलोचना के जवाब में कि LLM मानो केवल 'System 1' का इस्तेमाल करते हैं, जब LLM को step-by-step सोचने के लिए प्रेरित किया जाता है, तो यह मानो उन्हें 'System 2' जैसा decision-making sandbox देने के समान है।
• यह तरीका उस missing piece जैसा है, जिसकी मदद से AI को उन कई कार्यों पर प्रशिक्षित किया जा सकता है जिनके उत्तर ज्ञात हैं लेकिन reasoning steps गायब हैं। इस विधि से थोड़े annotated data के साथ भी reasoning ability तक पहुँचा जा सकता है। यदि उत्पन्न विचार मनुष्यों के लिए समझना कठिन हों, लेकिन सही उत्तर पाने में कहीं अधिक सहायक हों, तो हम कह सकते हैं कि हमने अपने से अधिक बुद्धिमान कुछ बनाया है।
• टेक्स्ट का बहुत-सा अर्थ पंक्तियों के बीच छिपा होता है, और यदि कोई पाठक यह नहीं समझता कि किसी दस्तावेज़ में कोई कथन क्यों आया है, तो उसकी समझ केवल सतही रह जाती है। लेकिन अधिकतर लोगों के पास एक world model होता है और वे किसी हद तक जानते हैं कि किताब में दिए गए कथन क्यों मौजूद हैं। उदाहरण के लिए, fluid dynamics की पाठ्यपुस्तक पढ़ते समय हो सकता है कि आप गणित न समझें, लेकिन फिर भी आप जानते हैं कि वह कथन वहाँ क्यों है।
• यह सवाल है कि क्या इस पेपर के लेखक OpenAI के चर्चित Q* मॉडल से जुड़े हैं, या यह सिर्फ नाम की संयोगवश समानता है।
• इन्होंने लगभग 8 साल पहले अपने काम से पहले आए उस पेपर [1] का हवाला नहीं दिया, जो RNN में भाषा मॉडलिंग के लिए (सीखी हुई) variable computation लागू करता था। उस समय Microsoft के पास image recognition के लिए भी कुछ ऐसा ही था।
• यह मूलतः उसी जैसा है जिसे आज सुबह prompt स्तर पर आज़माया गया था, लेकिन इसमें आगे बढ़कर ऐसे 'meta-tokens' लाने की बात सोची गई जो LLM को उसके context को फिर से खोजने में मदद करें। इन meta-tokens में से कुछ के side effects context के कुछ हिस्सों को highlight, structure, summarize, या भूलने जैसे हो सकते हैं। यह केवल LLM को logic/reasoning ability देने तक सीमित नहीं रहेगा, बल्कि उसे अपनी खुद की cognitive structure बनाने का माध्यम भी दे सकता है।
• एक मामला ऐसा भी है जहाँ Intel टीम ने, NeuralChat की तरह, Base Mistral 7B को इस तरह इस्तेमाल करने की कोशिश की कि वह evaluation के लिए उपयुक्त नहीं रह गया।
• यह शोध बहुत दिलचस्प लगता है, और यह सवाल है कि क्या शोधकर्ता जल्द ही code जारी कर सकते हैं।