Toyota Research Institute का दावा: रोबोट को नए व्यवहार सिखाने में बड़ी सफलता

 (tri.global)
2 पॉइंट द्वारा GN⁺ 2023-09-21 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • जटिल manipulation कार्यों को तेज़ी से बढ़ाने के लिए Toyota Research Institute ने Diffusion Policy-आधारित generative AI से रोबोट व्यवहार सिखाने का एक तरीका पेश किया
  • यह तरीका रोबोट के लिए Large Behavior Models की दिशा में एक कदम है, और conversational AI में LLMs की भूमिका को रोबोट व्यवहार learning पर लागू करने की कोशिश है
  • TRI का कहना है कि उसने नया code लिखे बिना, सिर्फ नया data देकर, तरल पदार्थ उड़ेलना, tools का उपयोग, deformable objects को manipulate करना जैसी 60 से अधिक skills सिखाईं
  • learning में शिक्षक के tactile demonstrations और लक्ष्य के language description को जोड़ा जाता है, और मुख्य बात यह है कि कुछ दर्जन demonstrations से autonomous deployment के योग्य व्यवहार बनाए जा सकते हैं
  • लक्ष्य 2023 के अंत तक सैकड़ों और 2024 के अंत तक 1,000 skills का है, और Drake तथा custom control stack के साथ safety assurance भी साथ में design की गई है

Diffusion Policy से रोबोट behavior learning की रफ्तार बढ़ी

  • Toyota Research Institute ने रोबोट को नई जटिल skills तेज़ी और भरोसेमंद तरीके से सिखाने के लिए generative AI approach की घोषणा की
  • यह approach रोबोट के लिए Large Behavior Models(LBMs) बनाने की दिशा में एक कदम है, जिसकी तुलना conversational AI में Large Language Models(LLMs) की भूमिका से की गई है
  • मौजूदा state-of-the-art तरीकों में नए व्यवहार सिखाने के लिए कई सीमाएँ थीं
    • learning धीमी और कम consistent थी
    • efficiency कम थी, और अक्सर बहुत सीमित environment के संकरे tasks तक ही सीमित रहती थी
    • robotics engineers को कई घंटों तक complex code लिखना पड़ता था या बहुत trial and error करना पड़ता था

नया code लिखे बिना 60 से अधिक skills की learning

  • TRI का robot behavior model शिक्षक के tactile demonstrations और लक्ष्य के language description, दोनों का साथ में उपयोग करता है
  • इसके बाद AI-आधारित Diffusion Policy से प्रदर्शित skills सीखी जाती हैं
    • नए व्यवहार कुछ दर्जन demonstrations से autonomous deployment के लिए तैयार हो सकते हैं
    • learning का नतीजा ऐसे behaviors को तेज़ी से बनाना है जो consistent, repeatable और high-performance हों
  • TRI पहले ही रोबोट को 60 से अधिक जटिल skills सिखा चुका है
    • उदाहरण हैं तरल पदार्थ उड़ेलना, tools का उपयोग, और deformable objects को manipulate करना
    • यह नया code लिखे बिना, सिर्फ नया data देकर हासिल किया गया
  • लक्ष्य 2023 के अंत तक सैकड़ों और 2024 के अंत तक 1,000 skills है
  • नई skills सिर्फ साधारण “pick and place” से आगे जाती हैं और दुनिया के साथ कई तरह से interact करने वाले behaviors शामिल करती हैं
    • लंबे समय में इनका उपयोग ऐसे robots में हो सकता है जो रोज़मर्रा के, अनिश्चित और लगातार बदलते environments में इंसानों की मदद करें

custom platform और Drake-आधारित safety design

  • TRI और Columbia University के Professor Song group ने behavior learning के लिए generative AI approach Diffusion Policy विकसित की
    • Diffusion Policy को 2023 Robotics Science and Systems conference में प्रस्तुत किया गया था
  • TRI का robot platform जटिल dual-arm manipulation tasks के लिए custom-built है
    • इसका focus tactile feedback और tactile sensing को सक्षम बनाने पर है
  • TRI robotics के लिए model-based design tool और simulation platform के रूप में Drake का उपयोग करता है
    • इसका internal robot stack, Drake के optimization और systems framework पर बनाया गया है
    • Drake को open source के रूप में जारी किया गया है ताकि robotics community के व्यापक काम को बढ़ावा मिले
  • safety, TRI के robot research का एक मुख्य design element है
    • system में Drake और custom robot control stack से चलने वाले safeguards शामिल हैं
    • इसे इस तरह design किया गया है कि robot खुद से या environment से टकराए बिना safety assurance बनाए रखे

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-09-21
Hacker News की राय

  • ग्रैजुएट स्कूल और इंडस्ट्री में robot learning कम्युनिटी का हिस्सा रहे व्यक्ति के तौर पर, मैं समझ सकता हूं कि यहां TRI को ज़्यादातर सराहना क्यों मिल रही है, लेकिन मुख्य श्रेय को भी सही तरह से रेखांकित करना चाहता हूं
    इस प्रगति के केंद्र में Columbia की प्रोफेसर Shuran Song की लैब द्वारा विकसित और आगे बढ़ाई गई Diffusion Policy [1] है। मूल प्रोजेक्ट साइट [2] भी ज़रूर देखने लायक है, और इसमें वास्तविक दुनिया के कई कठिन प्रयोग शामिल हैं
    इस साल R:SS conference [3] में यह Best Paper Award के लिए कम्युनिटी की पसंदीदा दावेदार थी, और हमारी लैब व robotics विभाग की अन्य learning labs ने भी इस पेपर को बहुत गहराई से खंगाला। मैं ऐसे लोगों को भी जानता हूं जिन्होंने behavior cloning/imitation learning प्रोजेक्ट छोड़कर पूरी तरह इस approach की ओर रुख कर लिया, क्योंकि यह multi-modal action spaces को कहीं ज़्यादा स्वाभाविक ढंग से संभालता है
    प्रोफेसर Song इस समय robotics में वाकई बेहतरीन researcher हैं, और उन्होंने IRP [4] जैसे कई शानदार approaches पेश किए हैं जो वास्तविक दुनिया तक खूबसूरती से scale होते हैं। IRP को R:SS 2022 Best Paper मिला था, और FlingBot [5], Scaling Up Distilling Down [6] भी देखने लायक हैं
    [1] - https://arxiv.org/abs/2303.04137
    [2] - https://diffusion-policy.cs.columbia.edu/
    [3] - https://roboticsconference.org/program/awards/
    [4] - https://irp.cs.columbia.edu/
    [5] - https://flingbot.cs.columbia.edu/
    [6] - https://www.cs.columbia.edu/~huy/scalingup/

    • निष्पक्षता से देखें तो TRI भी Song प्रोफेसर और लिंक किए गए पेपर को श्रेय दे रहा है। उस पेपर में भी TRI को collaborator institution के रूप में सूचीबद्ध किया गया है
      “Diffusion Policy: TRI और Columbia University के प्रोफेसर Song group के collaborators ने behavior learning के लिए एक नया और शक्तिशाली generative AI approach विकसित किया है। Diffusion Policy कहलाने वाला यह approach demonstrations के जरिए व्यवहार को आसान और तेज़ी से सिखाना संभव बनाता है”
    • ऐसा लगता है कि Diffusion Policy और IRP, दोनों TRI के साथ joint work थे
    • क्या कोई diffusion को आसान तरीके से समझा सकता है? Autoencoders, transformers, convolutional neural networks समझने वाले व्यक्ति के स्तर पर भी चलेगा
      जानना चाहता हूं कि यह ऊपर बताए गए alternatives से इतना बेहतर क्यों काम करता है
    • लगता है Song प्रोफेसर की लैब के कुछ researchers ने भी Toyota के साथ काम किया था

  • रुचि रखने वालों के लिए Russ Tedrake का YouTube channel है: https://www.youtube.com/@underactuated5171
    यहां 6.4210 (2023) Robotics Manipulation, 6.8210 (2023) Underactuated Robotics lectures उपलब्ध हैं

  • Russ Tedrake का हाल का काम देखकर अच्छा लगा। उनका online course Underactuated Robotics robotics की जटिलताओं को समझने के लिए बहुत अच्छा course है
    HN पर बहुत recommend किया जाने वाला robot learning work आम तौर पर “LLM को robot पर बस मोटे तौर पर चिपका दो” के स्तर का होता है, इसलिए इससे कहीं गहरी समझ रखने वाले व्यक्ति को कवर होते देखना अच्छा है। अव्यवस्थित real world में सही embodied agents बनाने के लिए सिर्फ language learning हल कर लेना काफी नहीं है

  • वेबसाइट load नहीं हो रही, लेकिन Toyota Research YouTube पर video मिल गया: https://www.youtube.com/watch?v=w-CGSQAO5-Q

    • वीडियो में लगभग 2:40 पर इसे “robots के लिए kindergarten” कहा गया है, जो एक दिलचस्प नजरिया है
      सोच रहा हूं कि अगर standard learning technology protocol हो, तो क्या नए tasks की learning को crowdsource किया जा सकता है। यानी मनचाहे task पर bid करना, जिसने solve किया उसे reward मिलना, और सबको फायदा होना। tasks की long tail इतनी लंबी है कि किसी एक central lab के लिए सब संभालना मुश्किल लगता है

  • Google ने भी करीब एक महीने पहले ऐसा ही कुछ किया था और वह HN पर भी आया था [1]
    जानना चाहता हूं कि force feedback का कितना इस्तेमाल होता है। वीडियो में बड़ा, गोल, नरम object क्या बहुत सारे pressure sensors वाला कोई बड़ा finger जैसा है? Surface pressure sensors 1980s से बन रहे हैं, लेकिन तब पता नहीं था कि इतने सारे data का इस्तेमाल कैसे करें। अब sensor data का बहुत ज़्यादा होना कहीं कम बड़ी समस्या है
    मैंने पहले robot arm में end wrench लगाकर इस समस्या को आज़माया था। idea था कि bolt head को टटोलकर ढूंढना, wrench लगाना, फिर घुमाना। 6-DOF force sensor काफी था, लेकिन deep learning से पहले का समय था, इसलिए बात बहुत आगे नहीं बढ़ी। फिर भी wrench robot device बनाया था
    [1] https://news.ycombinator.com/item?id=37167698

    • वह नरम object असल में अंदर camera वाला फुलाया हुआ balloon है, और camera balloon के deformation को observe करता है: https://punyo.tech

  • वाकई प्रभावशाली। Boston Dynamics के डेमो से भी कहीं ज़्यादा ऐसा लगता है
    पैनकेक पलटना बहुत मुश्किल है, क्योंकि हर पैनकेक अलग होता है। मुझे पता है कि ऐसे वीडियो चुने हुए शॉट्स होते हैं, लेकिन सिर्फ़ डेमो से रोबोट को सिखाकर उससे यह करवाना एक बहुत बड़ी छलांग जैसा लगता है

    • पैनकेक पलटना 2010 में ही हो चुका था। जो चीज़ इंसानों को प्रभावशाली लगती है, वह रोबोट के लिए आसान हो सकती है, और उल्टा भी सच है: https://youtu.be/W_gxLKSsSIE?si=HDyNXe1Ys_eFXiVU
      एक और उदाहरण के तौर पर, रोबोट juggling 1990 के दशक में ही हो गई थी, लेकिन आज भी कोई ऐसा रोबोट नहीं है जो इंसान की तरह किसी भी दरवाज़े को भरोसेमंद तरीके से खोल सके। यह एक तरह से Moravec's paradox जैसा है
    • आम आदमी की भाषा में कहें तो, क्या ऐसे रोबोट को train करने का सबसे कुशल तरीका उसे काम करने का तरीका दिखाने वाले अरबों वीडियो खिलाना है?
    • मुझे लगता था कि शारीरिक मेहनत वाली नौकरियां बहुत लंबे समय तक सुरक्षित रहेंगी, लेकिन शायद ऐसा न हो। उम्मीद है कि नीति बनाने वाले लोग गंभीरता से सोच रहे होंगे कि वह दुनिया कैसी दिखेगी जहां लोगों के पास करने के लिए काम नहीं होगा

  • यह Google के PaLM-E जैसे काम से मिलता-जुलता लगता है: https://blog.research.google/2023/03/palm-e-embodied-multimodal-language.html
    robotics के लिए वाकई दिलचस्प समय है

    • यह PaLM-E से कहीं बेहतर दिखता है। इस्तेमाल किया गया रोबोट ज़्यादा सक्षम है, और tasks भी कहीं ज़्यादा जटिल हैं
      ऊपर से, यह actions उसी गति से करता है जिस गति से इंसान रोबोट को control करके दिखाता है। PaLM-E के डेमो असल में दर्दनाक रूप से धीमे थे, इसलिए सभी को तेज़ चलाए गए वीडियो के रूप में दिखाया गया था

  • मुझे लगता है कि general-purpose humanoid robots तक पहुंचने का तरीका काफी हद तक ऐसा ही दिखेगा
    मान लीजिए किसी construction site पर Boston Dynamics style humanoid robot है, और यहां हम उसे bricklayer मान लेते हैं। साइट के बाहर एक खुली जगह में omnidirectional treadmill floor, आसपास cameras और depth sensors हैं, और इंसान Hollywood-style motion capture suit और VR headset पहनकर robot cameras से दिखने वाला view देखता है
    वह इंसान वैसा ही करता है जैसा साइट पर करता—ईंटों के ढेर तक चलकर जाना, उठाना और रखना। रोबोट साइट पर real-time में चलता है और इंसान की movements की नकल करता है। सही तरीके से करने के लिए props की ज़रूरत होगी या सालों की onsite muscle memory ही काफी होगी, यह पता नहीं
    सारा data record किया जाता है, और कोई video stream देखकर किए जा रहे हर action को label करता है। फिर यह सब machine learning algorithm में डाला जाता है, ताकि आखिरकार उस मुकाम तक पहुंचा जा सके जहां आप सिर्फ़ construction drawings रोबोट को भेजें और कहें, “यह दीवार बना दो”

    • पहले का लगभग 3/4 हिस्सा 2008 की फिल्म Sleep Dealer जैसा ही है, इसलिए मुझे लगा था कि आपने वहीं से reference लिया है
    • लेकिन जहां तक मुझे पता है, मानव operator की movements से ढीले-ढाले तरीके से physically mapped, कहीं ज़्यादा rough movement वाले equipment में भी इस तरीके का कोई mature implementation अभी नहीं है। जैसे dual joysticks से चलने वाली excavator जैसी machines
    • short term में ऐसा हो सकता है, लेकिन long term में शायद नहीं
      शायद वे एक team भेजकर worksite को digitize करेंगे और digital twin बनाएंगे। Architect हर चीज़ को इस twin पर map करेगा, और computer system construction phases को simulate करेगा। इसके बाद robots को site पर भेजा जाएगा और ज़रूरत हो तो fine-tuned model लेकर वे अपने-आप निर्माण करेंगे
    • मैंने पहले कोई novel या short story पढ़ी थी जिसमें ऐसा concept था। robot को सीखने के लिए site पर control किया जाता था, फिर बाद में उसे खुद काम करने के लिए छोड़ दिया गया। बाकी plot या author याद नहीं है
    • सही, इसे reinforcement learning कहते हैं

  • मेरी समझ है कि “large language model” शब्द इसलिए इस्तेमाल होता है क्योंकि पूरे web, Library of Congress वगैरह से आए भारी मात्रा के text के कारण LLM के पास training के लिए विशाल dataset होता है। यहां “large” उसी हिस्से को दर्शाता है
    लेकिन इस वीडियो में जब “large behavior model” कहा जाता है, तो इसमें large क्या है? इतनी ही विशाल मात्रा का behavior input data कहां से मिलता है? किसी बड़े research lab में दर्जनों लोग actions demonstrate करते दिखते हैं, जो अच्छी बात है, लेकिन इतने लोग सभी digital written content जितना data तो बना नहीं सकते

  • काफी cool दिखता है, लेकिन मुझे पक्का नहीं कि कोई MIT में full-time professor और TRI में full-time VP एक साथ कैसे हो सकता है
    ऐसी दो नौकरियां साथ-साथ करते लोगों को पहले भी देखा है, लेकिन अगर कोई हफ्ते में 70+ घंटे काम नहीं कर रहा, तो यह practical कैसे है, समझना मुश्किल है

    • शायद वह हफ्ते में 40 घंटे से कम भी काम करे, फिर भी अपने field में इतना expert हो कि उसके 10 घंटे के काम को किसी और के full-time काम से replace न किया जा सके
      software engineering की analogy लें तो, John Carmack अगर किसी project पर महीने में सिर्फ़ 6–7 दिन भी काम करे, तब भी आप उसे अच्छी salary और role खुशी-खुशी देंगे। क्योंकि वह John Carmack है