RoboCat - स्वयं-सुधार करने वाला रोबोट एजेंट

• Google DeepMind ने RoboCat पेश किया, जो रोबोटिक arm के ज़रिए कई तरह के काम करता है और खुद सीखता है.
• यह Gato (स्पेनिश में 'बिल्ली') पर आधारित है, जो एक multi-modal model है और वास्तविक तथा simulation, दोनों environments में काम कर सकता है.
  • self-improvement के लिए यह पहले नए काम के बारे में वास्तविक डेटा इकट्ठा करता है.
  • वास्तविक डेटा के आधार पर base model को fine-tune करके एक spinoff agent बनाया जाता है.
  • नया agent लगभग 10,000 बार अभ्यास करके training dataset तैयार करता है.
  • वास्तविक डेटा और self-generated डेटा को RoboCat के training dataset में जोड़ा जाता है.
  • RoboCat का नया version train किया जाता है.
• इसके जरिए यह अधिक joints या अधिक grippers वाले नए robotic arm के अनुसार कुछ ही घंटों में अनुकूलित हो सकता है.
• साथ ही training का एक virtuous cycle बनता है, और किसी खास काम में 36% success rate दिखाने वाला शुरुआती model दोगुने से अधिक बढ़कर 74% तक पहुंच गया.

[nicewook]

आख़िरकार AI के लिए real world से मिलने और उसे अनुभव करने का मंच खुल रहा है।

[kuroneko]

• पेपर
• HN थ्रेड

HN थ्रेड की टिप्पणियाँ बहुत मज़ेदार हैं।
मेरे मन में भी लगभग यही बात आई थी: क्या RoboCat से मेरी ही रोबोट बिल्ली की उम्मीद थी? थोड़ा निराशाजनक है...

कम से कम रोबोटिक arm पर बिल्ली का sticker तो लगा देते।

[kuroneko]

पेपर का सारांश कुछ इस तरह है।

RoboCat रोबोट मैनिपुलेशन के लिए एक self-improving एजेंट है। इसे कई simulations और वास्तविक robot arm का उपयोग करने वाले रोबोट कार्यों के बड़े और विविध dataset पर train किया जाता है।

RoboCat के मुख्य लक्ष्य इस प्रकार हैं।

1. बहुत कम डेटा के साथ नए कार्यों और नए robots पर generalize करना। RoboCat केवल 100 से 1000 demo examples का उपयोग करके नए कार्यों और robots के अनुसार खुद को adapt कर सकता है।
2. दोहराव वाली प्रक्रिया के माध्यम से self-improve करना। fine-tune किया गया RoboCat model अधिक training data बनाने के लिए उपयोग किया जाता है, और इस डेटा को training set में जोड़कर सामान्य एजेंट को बेहतर बनाया जाता है।
3. अलग-अलग कार्यों और observation space वाले कई implementations को संभालना। RoboCat का परीक्षण 14 तक degrees of freedom और अलग grippers वाले arms पर किया गया है।
4. अलग-अलग आकार, माप और texture वाली वस्तुओं का उपयोग करने वाले विविध dexterous manipulation tasks को हल करना। इन कार्यों में stacking, insertion, lifting आदि शामिल हैं।

मुख्य परिणाम इस प्रकार हैं।

• जैसे-जैसे RoboCat का training data बढ़ता है और अधिक विविध होता है, cross-task transfer बेहतर होता है और नए कार्यों के लिए adaptation अधिक efficient हो जाता है।
• RoboCat कम मात्रा के demo data का उपयोग करके नए कार्यों और robots के अनुसार सफलतापूर्वक adapt कर सकता है, और baseline की तुलना में कम learning effort की आवश्यकता होती है।
• self-improvement के माध्यम से training data का विस्तार करके RoboCat मूल training tasks पर बेहतर प्रदर्शन करता है, और fine-tuning के जरिए और सुधरता है।

संक्षेप में, RoboCat, जो रोबोट मैनिपुलेशन के लिए बड़े और विविध dataset पर train किया गया एक self-improving एजेंट है, यह दिखाता है कि fine-tuning और self-improvement के माध्यम से यह नए कार्यों और robots पर बहुत कम डेटा के साथ generalize कर सकता है। बड़े पैमाने पर heterogeneous robotic experience का उपयोग करने की इसकी क्षमता robot learning को बदलने की क्षमता रखती है।