A* से आगे: Transformer की मदद से बेहतर planning

Beyond A*: Transformer का उपयोग करके बेहतर planning

• Transformer models ने कई application क्षेत्रों में बड़ी प्रगति की है, लेकिन जटिल decision-making tasks को हल करने में वे पारंपरिक symbolic planning methods से पीछे रहे हैं.
• शोधकर्ताओं ने Transformer को train करके जटिल planning tasks हल करने की एक विधि प्रस्तुत की है और Searchformer नाम का एक model विकसित किया है, जो पारंपरिक A* search की तुलना में अधिकतम 26.8% कम search steps का उपयोग करते हुए भी पहले कभी न देखी गई Sokoban puzzles को 93.7% मामलों में optimal रूप से हल करता है.
• Searchformer एक encoder-decoder Transformer model है जिसे A* search के व्यवहार की भविष्यवाणी करने के लिए train किया गया है, और expert iteration के माध्यम से fine-tune किया गया है ताकि यह A* search की तुलना में कम search steps लेते हुए भी optimal plans बना सके.

training method और performance

• training method में A* के search behavior को token sequence के रूप में व्यक्त किया जाता है, जो symbolic planning में उन क्षणों को दर्शाता है जब search tree में states जोड़े और हटाए जाते हैं.
• maze navigation पर किए गए ablation study में Searchformer, optimal plan को सीधे predict करने वाले baseline model से बहुत बेहतर प्रदर्शन करता है, जबकि model size 5-10 गुना छोटा है और training dataset 10 गुना छोटा है.
• शोधकर्ताओं ने दिखाया कि Searchformer, Sokoban जैसे बड़े और अधिक जटिल decision-making tasks में solved tasks के अनुपात को बढ़ाने और search behavior को छोटा करने में प्रभावी है.

GN⁺ की राय

• यह शोध artificial intelligence क्षेत्र में Transformer models के नए उपयोग की संभावनाओं को दिखाता है. जटिल decision-making tasks को हल करने में मौजूदा symbolic methods की तुलना में अधिक efficient approach प्रस्तुत करके यह AI के application दायरे को विस्तारित करने वाली एक महत्वपूर्ण प्रगति है.
• Searchformer model कम resources का उपयोग करके अधिक तेज़ और efficient problem-solving क्षमता दिखाता है. यह विशेष रूप से resource-constrained environments में AI को लागू करते समय बड़ा लाभ हो सकता है.
• यह शोध संकेत देता है कि AI तकनीक की प्रगति केवल अधिक data और बड़े models पर निर्भर हुए बिना भी, अधिक बुद्धिमान methodologies और algorithms में सुधार के माध्यम से हासिल की जा सकती है. sustainability और efficiency के दृष्टिकोण से यह AI research के लिए बहुत रोचक और उपयोगी approach है.

[GN⁺]

Hacker News की राय

• रोबोट motion planning के लिए transformer के उपयोग पर दिलचस्प शोध है। किसी robot arm का बिना किसी वस्तु से टकराए एक बिंदु से दूसरे बिंदु तक जाना बहुत कठिन समस्या है, और यह समस्या high-dimensional तथा continuous है। पहले की planning विधियाँ computationally महंगी थीं और बहुत अच्छी भी नहीं थीं। यही उन कारणों में से एक है जिनकी वजह से रोबोट की हरकतें 'अप्राकृतिक' लगती हैं और रोबोट हमारे चाहने वाले कई काम अच्छी तरह नहीं कर पाते। यह approach अन्य planning विधियों के मुकाबले प्रतिस्पर्धी दिखती है और अधिक तेज़ optimal path planning प्रस्तुत करती है.
• यह जानने की जिज्ञासा है कि क्या इस शोध दिशा की शुरुआत से पहले गेम graph/pathfinding के लिए A* algorithm के optimized version, संशोधित J* algorithm, को आज़माया गया था। रुचि रखने वालों के लिए "Game AI Pro 2" के बारे में जानकारी है.
• planning को पहले से ही graph search, SAT-solver, OR, Prolog जैसी मौजूदा तकनीकों से अच्छी तरह संभाला जा रहा है। समस्या आम तौर पर कई executable alternatives के बीच optimization की होती है, और संदेह है कि transformer इसके लिए उपयुक्त हैं या नहीं। LLM तकनीक की भूमिका natural language वर्णनों को executable programs में बदलने के अधिक करीब लगती है, और Prolog आखिरकार classical NLP के लिए डिज़ाइन किया गया था, इसलिए यह काफ़ी निकट है.
• machine translation में जटिल grammar decoding और search शामिल हुआ करते थे, लेकिन अब MT में transformer का उपयोग होता है, और ऐसा कहीं अधिक सरल decoding इस्तेमाल होता है जिसमें search की लगभग ज़रूरत नहीं होती। हो सकता है कि हम मौजूदा सर्वोत्तम predictive models का उपयोग करके neural architecture search (NAS) के लिए heuristics सीखने, और transformer तथा Mamba से बेहतर नए neural blocks खोजने वाली 'पूर्ण शुरुआत' तक पहुँच सकें.
• "मानक A* search की तुलना में 26.8% कम search steps" वाला वाक्य A* से थोड़ा बेहतर प्रदर्शन दिखाता है, लेकिन Sokoban में यह state of the art (SOTA) तक नहीं पहुँचता। इस पेपर में प्रभावशाली बात क्या है, और यह Hacker News पर क्यों आया, इस पर सवाल है.
• अगर transformer planning कर सकते हैं, तो AGI (artificial general intelligence) को शायद सिर्फ बेहतर training की ज़रूरत हो.
• auditory learners के लिए इस पेपर का audiobook format में सारांश उपलब्ध है.
• यह पेपर कल HN homepage पर रहे Neural Network Diffusion पेपर की याद दिलाता है। पिछले पेपर में SGD steps को bypass करने वाला model train किया गया था, और इस पेपर में A* search steps को bypass किया गया है। दूसरी ओर, Sokoban के लिए A* की heuristic selection अच्छी नहीं है। पेपर पढ़ते समय 20 मिनट Sokoban खेलने पर लगा कि आगे बढ़ने के लिए अक्सर बक्सों को goal state से दूर ले जाना पड़ता है, इसलिए search heuristic बहुत कमजोर महसूस होती है.
• जिज्ञासा है कि क्या कोई ऐसे classical algorithms या NP-complete समस्याओं की सूची बनाए रख रहा है जिन्हें deep learning का उपयोग करके अब बेहतर ढंग से किया जा रहा है.
• A* या Focal search जैसे discrete algorithms में learned heuristics के उपयोग को लेकर मैं बहुत आशावादी हूँ। अधिकांश आधुनिक discrete optimization libraries में, जैसे CPLEX, performance को समझाने वाली चीज़ heuristics और tuning ही होती हैं। अच्छी तरह समझी गई optimal search routines को बदलने के लिए end-to-end learning approaches के उपयोग को लेकर मैं कम आश्वस्त हूँ, लेकिन हो सकता है यह आवश्यकता से अधिक चिंता हो। लगता है कि लेखकों ने वह अवसर चूक दिया.