-
System 2 तर्क के लिए LLMs की प्रगति
- Violet Xiang और अन्य शोधकर्ताओं ने Meta Chain-of-Thought (Meta-CoT) नामक एक नया framework प्रस्तावित किया है
- Meta-CoT मौजूदा Chain-of-Thought (CoT) का विस्तार करता है और किसी विशेष CoT तक पहुँचने के लिए आवश्यक मूलभूत तर्क को स्पष्ट रूप से मॉडल करता है
- यह नवीनतम मॉडलों में in-context retrieval से मेल खाने वाले व्यवहार के अनुभवजन्य प्रमाण प्रस्तुत करता है, और process supervision, synthetic data generation, तथा search algorithms के माध्यम से Meta-CoT बनाने के तरीकों का अध्ययन करता है
-
Meta-CoT निर्माण और प्रशिक्षण पाइपलाइन
- Meta-CoT बनाने के लिए एक ठोस training pipeline प्रस्तुत की गई है
- इसमें linearized search traces और reinforcement learning सहित instruction tuning के माध्यम से मॉडल को प्रशिक्षित करने के तरीके शामिल हैं
-
शोध के खुले प्रश्न
- scaling laws, verifier की भूमिका, और नए reasoning algorithms की खोज की संभावना सहित कई शोध प्रश्नों पर चर्चा की गई है
- यह शोध LLMs में Meta-CoT को संभव बनाने के लिए एक सैद्धांतिक और व्यावहारिक roadmap प्रदान करता है, जिससे AI में अधिक शक्तिशाली और मानव-सदृश तर्क संभव हो सकता है
अभी कोई टिप्पणी नहीं है.