Disney ने छोटे रोबोट में बड़ी भावनात्मक अभिव्यक्ति समेट दी

• Disney Research ने IROS 2023 में एक बच्चे के आकार का नया रोबोट कैरेक्टर पेश किया, और दिखाया कि छोटे दो-पैर वाले रोबोट भी चलने के तरीके से ही भावना और व्यक्तित्व व्यक्त कर सकते हैं
• इसका मुख्य बिंदु यह है कि animator की मंशा और रोबोट हार्डवेयर की सीमाओं को reinforcement learning-आधारित pipeline से जोड़ा जाए, ताकि अभिव्यक्तिपूर्ण motion वास्तविक वातावरण में भी स्थिरता से किया जा सके
• रोबोट का हार्डवेयर अधिकांशतः 3D-printed modular parts से बना है, इसमें 4-DOF head और 5-DOF legs हैं, और concept से demo-ready form तक पहुँचने में 1 साल से कम समय लगा
• simulation में motor performance, mass distribution और ground friction जैसे variables बदलते हुए training की गई, ताकि recovery motion के दौरान भी रोबोट character expression बनाए रख सके
• Disney इस approach को किसी एक खास रोबोट से अधिक hardware-agnostic process के रूप में देखता है, और इसे अधिक physical robot characters तथा अधिक तेज़ और dynamic movements तक विस्तारित करना चाहता है

---

IROS 2023 में पेश किया गया नया रोबोट कैरेक्टर

• Disney Research टीम ने Detroit में आयोजित 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems की शाम की keynote में नया रोबोट कैरेक्टर पेश किया
• यह एक बच्चे के आकार का रोबोट है, जिसमें अभिव्यक्तिपूर्ण head, हिलती हुई दो antennas, और छोटे पैर हैं
• दूसरे छोटे bipedal robots से इसका अंतर सिर्फ चल पाने की क्षमता नहीं, बल्कि यह है कि चलने का तरीका ही भावना लिए हुए है, जिससे यह एक जीवंत कैरेक्टर जैसा लगता है
• Disney को 1971 के Disney World के Hall of Presidents animatronics से ही रोबोट में भावनात्मक movement लागू करने का अनुभव है
• जैसे-जैसे रोबोट की mobility बढ़ती है, वैसे-वैसे वास्तविक hardware constraints के भीतर भावनात्मक behavior design करना भी कठिन हो जाता है

animation intent और physical constraints को जोड़ने वाली pipeline

• Disney Research ने पिछले 1 साल में reinforcement learning का उपयोग करके ऐसा system विकसित किया, जो animator की vision को वास्तविक robot motion में बदलता है
• लक्ष्य ऐसा expressive movement बनाना है, जो stage, Disney theme parks, और Switzerland के जंगल जैसे विविध environments में भी robust तरीके से काम करे
• सामान्य animation tools में physics built-in नहीं होती, इसलिए artists के लिए ऐसा animation design करना कठिन होता है जो वास्तविक दुनिया में काम कर सके
• नई pipeline simulation के माध्यम से animator की intent और रोबोट की stable movement को जोड़ती और संतुलित करती है
• animator physical world की सीमाओं के implementation को system पर छोड़कर, जितना संभव हो उतनी अभिव्यक्तिपूर्ण movement पर ध्यान दे सकते हैं

रोबोट हार्डवेयर और development approach

• इस रोबोट को Disney Research in Zurich में Moritz Bächer के नेतृत्व वाली टीम ने विकसित किया
• हार्डवेयर का अधिकांश हिस्सा 3D printing से बनाया गया, और modular structure व actuators की वजह से design और iterative improvement तेज़ी से हो सके
• concept से वीडियो में दिखे रूप तक पहुँचने में 1 साल से कम समय लगा
• head में ऊपर-नीचे देखना, आसपास देखना, और tilt करना संभव करने वाली 4-DOF संरचना है
• legs में hip joints सहित 5-DOF संरचना है, जिससे यह dynamic balance के साथ चल सकता है

सिर्फ चलना नहीं, ‘कैसे चलता है’ यह ज़्यादा महत्वपूर्ण

• Disney का लक्ष्य केवल bipedal robot को stable तरीके से चलाना नहीं है
• भावना व्यक्त करने के लिए रोबोट को इतराते हुए चलना, उछलते हुए चलना, दबे पाँव चलना, तेज़ चलना, या आराम से चलना जैसी अलग-अलग walking styles करनी पड़ सकती हैं
• इसमें movement के ज़रिए कैरेक्टर की भावना व्यक्त करने वाले animators और mechanical systems बनाने वाले roboticists दोनों साथ काम करते हैं
• कलात्मक intent को बनाए रखते हुए रोबोट को गिरने से भी बचाना होता है, इसलिए इन दोनों क्षेत्रों के सहयोग में बहुत trial and error लगता है
• reinforcement learning system में सिर्फ चलना नहीं, बल्कि कैसे चलना है यह भी महत्वपूर्ण input के रूप में जाता है

reinforcement learning से मिलने वाली robustness

• Disney की pipeline एक single PC पर नए behaviors train कर सकती है, और कुछ घंटों में कई वर्षों के बराबर training चला सकती है
• Moritz Bächer के अनुसार, इस तरीके से Disney नए robot characters के development time को कई सालों से घटाकर कुछ महीनों तक ला पाया
• reinforcement learning का बड़ा फायदा यह है कि resulting motion बहुत robust हो सकता है
• system नीचे दिए गए तत्वों को थोड़ा-थोड़ा बदलते हुए बार-बार training करता है
  • motor performance
  • mass distribution
  • रोबोट और ज़मीन के बीच का friction
• रोबोट को वास्तविक दुनिया में मिलने वाली परिस्थितियों का सामना करते हुए भी भावनात्मक अभिव्यक्ति बनाए रखनी होती है, और यह उसके character को बनाए रखने के लिए महत्वपूर्ण है
• पारंपरिक techniques में transition points को manually program करना पड़ता है, लेकिन simulation में movement और animation को साथ disturb करने पर रोबोट उन बिंदुओं को खुद खोज सकता है
• इस तरीके से ऐसे recovery strategies सामने आते हैं, जिन्हें टीम के लिए सीधे program करना कठिन होता

इंसानों के आसपास भावना और intent व्यक्त करने वाले रोबोट

• social robots कई दशकों से मौजूद हैं, और जो रोबोट लोगों के आसपास समय बिताने की संभावना रखते हैं, उनमें आमतौर पर कुछ न कुछ human-robot interaction features होते हैं
• function-centered design वाले robots में human-robot interaction अक्सर बाद में जोड़ा गया तत्व बन जाता है
• Disney का रोबोट दिखाता है कि functionality से समझौता किए बिना भी character के माध्यम से बहुत-सी जानकारी संप्रेषित की जा सकती है
• जहाँ इंसान और रोबोट एक-दूसरे के काफ़ी पास हों, वहाँ भावना और intent व्यक्त करना एक महत्वपूर्ण function बन सकता है
• यह approach उन दूसरे applications में भी मूल्यवान हो सकती है, जहाँ लोग रोबोट के साथ-साथ काम करते हैं

किसी खास रोबोट से ज़्यादा महत्वपूर्ण hardware-agnostic process

• इस काम का फ़ोकस किसी एक खास रोबोट से ज़्यादा process पर है
• Bächer के अनुसार यह platform hardware-agnostic है
• यही approach ज़्यादा पैर जोड़ने, arms लगाने, या पूरी तरह अलग आकार के characters बनाने पर भी लागू की जा सकती है
• off-the-shelf actuators, 3D-printed parts, और adaptive reinforcement learning framework ऐसे robots पर भी लागू हो सकते हैं जिनका रूप और movement काफ़ी अलग हो
• Disney का अगला कदम इस तकनीक से और अधिक physical robot characters बनाना है, और अधिक तेज़ व dynamic movements की सीमाओं को आगे बढ़ाना है
• इस रोबोट का अभी कोई आधिकारिक नाम नहीं है, और Disney अभी यह बताने के लिए तैयार नहीं है कि इसे कहाँ देखा जा सकेगा

[GN⁺]

Hacker News की राय

• मैंने Disney Research में काम किया था, और यह वहाँ जिन तरह की समस्याओं पर काम होता है उनका अच्छा उदाहरण है
  आम consumer-focused engineering से constraints बिल्कुल अलग होते हैं। क्योंकि creative setting ही challenge भी बन जाती है और उससे निकलने का रास्ता भी
  जो चीज़ें असंभव लगती हैं, उन्हें visual illusion या artistic tricks से हल किया जाता है, और technology के ज़रिए बेहद दिलचस्प application-specific problems explore किए जा सकते हैं। इससे कहीं कठिन हिस्सा यह है कि ऐसे research को इतना robust और आकर्षक बनाया जाए कि उसे असली theme park में दिखाया जा सके

  • Disney में Research से निकले ideas को operational environment में लागू करने वाली pipeline पर मैंने काम किया था, और मैं सहमत हूँ कि वैसी जगह के बारे में सोचना वाकई मुश्किल है
    साथ ही, Disney Research, Imagineering जैसा नहीं है। Research सिर्फ theme park समस्याओं तक सीमित नहीं, बल्कि हर तरह की समस्याओं पर काम करता है
    मैं Disney में लगभग 10 साल रहा, और मुझे नहीं लगता कि user experience की सेवा में engineering कैसे लगनी चाहिए, यह सीखने के लिए इससे बेहतर जगह हो सकती थी। Disney यह सचमुच बहुत अच्छे से करता है। Apple शायद इसके सबसे करीब हो, लेकिन पक्का नहीं कह सकता
  • सोच रहा हूँ कि ऐसे अद्भुत research results तक पहुँचने का कोई तरीका किसी को पता है क्या। जब Disney ने Autoconnect release किया था तो मैं सचमुच हैरान रह गया था, और कल ही इसकी ज़रूरत थी लेकिन मिल नहीं पाया
    https://la.disneyresearch.com/publication/autoconnect/
  • यह थोड़ा मज़ेदार है कि real-world products में यह approach कम इस्तेमाल होती है। अगर वह robot automatic vacuum cleaner होता, या कोई Wall-E जैसी “emotion” वाला cleaning robot बनाता, तो मैं उसे premium competitors के मुकाबले तुरंत खरीद लेता
    हाँ, आसान तरीका तो यह था कि उस पर हिलने वाली आँखों वाले stickers लगा दिए जाएँ। मेरी बेटी ने उस पर छोटा सा heart भी बना दिया और नाम भी रख दिया; कोई खास वजह नहीं, बस मज़े के लिए
  • मैं Disney Research में apply करके काम करना चाहता हूँ; कोई advice या tips हों तो जानना चाहूँगा
  • Disney एक खास जगह है। कुछ समय तक Smalltalk वहाँ ज़िंदा रहा था

• Disney ने 1964 World’s Fair में सबको चौंका देने वाला animatronics Lincoln पेश किया था
  https://en.wikipedia.org/wiki/Great_Moments_with_Mr._Lincoln
  दिलचस्प बात यह है कि Philip K. Dick की Lincoln imitation human वाली We Can Build You, Disney के Lincoln से कुछ साल पहले 1962 में लिखी गई थी
  उस Lincoln के emotional impact को voice actor Royal Dano ने संभाला था, जिन्होंने Disney के निर्देशन में काम किया
  https://en.wikipedia.org/wiki/Royal_Dano
  ऐसे systems इस बात का अच्छा उदाहरण हैं कि अगर कुछ चीज़ों को वाकई बहुत सही कर दिया जाए और बाकी को पर्याप्त रूप से believable बना दिया जाए, तो पूरा अनुभव काम कर सकता है

  • समझ नहीं आता इसमें अजीब क्या है। speculative fiction का वास्तविकता में लागू होने से पहले मिलते-जुलते versions दिखा देना बहुत आम बात है

• हाल में large language models में बढ़ती दिलचस्पी के साथ मैंने robot pets जैसे ideas के बारे में सोचा
  large language models इंसानी भाषा और images को उस स्तर तक समझ सकते हैं जितना किसी pet को समझने की ज़रूरत होगी। अगर ऐसा robot dog ठीक से बनाया जाए जो emotions express करने के साथ-साथ इंसान की बात भी समझे, तो वह काफी सफल हो सकता है
  उसे perfect समझ की ज़रूरत भी नहीं है। GPT-4 स्तर की vision-language understanding काफी है। लंबी बातचीत जारी रखने की ज़रूरत नहीं, बस जब खुश या दुखी होना हो तो वैसा react कर सके

  • अभी सबसे बड़ी complexity शायद controlled environment से बाहर movement और navigation कराना है
    iPhone LiDAR mapping या Meta Quest indoor scan जैसी mainstream technologies भी करीब आ रही हैं, लेकिन Roomba की तुलना में inherently कहीं अधिक unstable robots के लिए अभी भी कई dots जोड़ने बाकी हैं
    शुरू में शायद हमें Disney parks के भीतर fenced-off areas या staff द्वारा बहुत साफ-सुथरे रखे गए छोटे stages पर ऐसे छोटे robots visitors से interact करते दिखेंगे। यह ऐसा रूप होगा जिसे अभी real world की सारी complexity handle करने की ज़रूरत नहीं होगी
  • अगर आपको पता हो कि pets कितना समझते हैं, तो आप हैरान हो सकते हैं। बल्कि ज्यादा सही यह है कि हम उन्हें समझ नहीं पाते
    pets हमारी सारी habits जानते हैं, और हमसे पहले ही हमारी भावनाएँ भाँप लेते हैं
  • मैं ऐसा कुछ https://palm-e.github.io/ जैसे system और सबसे सस्ते quadruped robot में डालकर आज़माना चाहूँगा

• Disney/Star Wars brand के electronic companion droids का कुल market size कितना होगा? बच्चों को इस तरह “personality” वाले robots को leash पर लेकर घूमते देखना एक obvious use case जैसा लगा
  जब तक यह dog खरीदने और पालने की लागत से सस्ता हो, इसका बहुत सस्ता होना ज़रूरी नहीं। बस इसे इस robot जितना प्यारा होना होगा

  • dog अगले साल के flashy new model से outdated नहीं हो जाता, और मालिक के ऊब जाने पर उसे attic में रखकर धूल खाने के लिए नहीं छोड़ा जा सकता
    target market कभी actual pets जैसा नहीं होगा, ऐसा लगता है। शायद इसी फर्क को feature की तरह package किया जा सकता है
  • मैं यहाँ मौजूद किसी भी व्यक्ति जितना ही technology पसंद करता हूँ, लेकिन बच्चे को real pet की जगह robot pet देना मुझे खास तौर पर असहज लगता है

• अगर Disney इस तरह के robot में language model चलाने लायक hardware डाल सके, तो वह trillion-dollar market पकड़ सकता है

  • दिशा बिल्कुल यही है। model को GPT-4 जैसा सबकुछ जानने वाला होना भी ज़रूरी नहीं
    लगता है कि cute और interactive 1 billion से कम parameters वाला model train किया जा सकता है
  • यह ज़रूरी भी नहीं। hardware को पास के cluster में offload किया जा सकता है
    अगर wireless bandwidth काफी बड़ी हो, तो brain का body के अंदर होना ज़रूरी नहीं
    पुराने Disney के समय में वे ऐसे चार robots बनाकर EPCOT के Future World में यूँ ही घूमने देते, ताकि माहौल बन सके। आज का Disney शायद इन्हें Star Wars experience के लिए इस्तेमाल करेगा। फिर भी देखने में अच्छा है
  • अगर battery सिर्फ 10 मिनट चले तो मज़ा नहीं आएगा
    autonomous mobile robots की Achilles’ heel power storage density है
  • असल में यह “Ashley Too” जैसा ही है
    मुझे संदेह है कि toy market सच में trillion-dollar scale का है
  • अगर Johnny Five मिल सके तो वाकई शानदार होगा

• Disney Imagineering, पता नहीं अब भी इसे यही कहते हैं या नहीं, Disney जैसी कंपनी के हिस्से के रूप में देखें तो हमेशा दिलचस्प लगा है
  गहराई से सोचें तो Disney के भीतर इसका होना कुछ अजीब-सा लगता है, और साथ ही Disney को Disney जैसा बनाने में यह बेहद अहम भी है
  जब भी वे research video जारी करते हैं, वह हमेशा रोचक होता है। Frozen के snow simulation पर बना वीडियो भी याद है
  बाहर से देखने पर यह काम करने के लिए सचमुच दिलचस्प जगह लगती है, और इसकी priorities भी अनोखी दिखती हैं। क्योंकि इसका मकसद कोई consumer product या नया enterprise project लाना नहीं, बल्कि किसी दूसरे कथात्मक उद्देश्य को सहारा देना है
  वीडियो के बीच में मुझे लगा कि यह तो ज़रूर CGI होगा; शायद इसलिए कि हम अभी ऐसे robots को रोज़मर्रा में देखने के आदी नहीं हैं
  वैसे यह robot सच में बहुत प्यारा है और मुझे एक चाहिए

  • robot research पर ध्यान देने की वजह financials देखने पर और बेहतर समझ आती है
    Disney के fiscal year 2022 का operating profit 12.7 अरब डॉलर था, जिसमें से 7.9 अरब डॉलर theme parks से आया। यानी 65%
    बाकी सब कुछ—Pixar movies, Disney movies, Star Wars movies, TV, streaming, touring musicals, merchandise, partnerships, intellectual property licensing—बचे हुए 45% में आता है
    robotics theme parks के लिए अनिवार्य है
  • Walt Disney खुद जबरदस्त technology enthusiast थे, और उन्होंने व बाद के CEOs ने समझा कि जिस entertainment industry में वे हैं, उसके एक हिस्से को गोपनीयता की जरूरत होती है
    शाब्दिक अर्थ में “जादू” ज्यादातर “ऐसा कुछ कर पाना है जिसे करना दूसरे लोग नहीं जानते”। इसलिए ऐसी research को अंदर ही रखा जाता है, ताकि वे ऐसी illusions, effects और experiences में first-mover advantage पा सकें जो कोई और न कर सके
    Imagineering को समझने का सबसे अच्छा तरीका इसे जादू की फैक्ट्री मानना है। इस मायने में कंपनी के theme park और show entertainment divisions में यह बिल्कुल core business model का हिस्सा है
    हाल के कुछ CEOs ने इस पहलू को ठीक से नहीं समझा, और पिछले लगभग 5 वर्षों में जो काम पहले in-house होता था उसका कुछ हिस्सा सचमुच outsource कर दिया। अगर Disney के लिए third-party vendors द्वारा विकसित technology सीधे Disney के competitors तक फैलती है, तो सच में उत्सुकता है कि अगले करीब 10 वर्षों में Orlando क्षेत्र के theme parks का परिदृश्य कैसा होगा
  • यह Jedi: Fallen Order franchise के BD-1 droid पर आधारित लगता है: https://starwars.fandom.com/wiki/BD-1
    वाकई बहुत प्यारा है
  • दूसरी तरफ, Walt Disney एक creative madman थे जिनके पास बड़ी संपत्ति थी और theme parks invent करने की इच्छा थी। Imagineering Disney के दिल में लगा एक valve है
  • Disney हमेशा technology की cutting edge पर रहा है
    उसने पहली feature-length animated film बनाई, depth दिखाने के लिए multiplane camera बनाया, और computer animation में pioneering करने वाले Pixar के साथ सहयोग किया और बाद में उसे acquire कर लिया

• सिर वाले हिस्से को नजरअंदाज करें तो यह robot इससे काफी मिलता-जुलता दिखता है: https://en.wikipedia.org/wiki/Walker_(Star_Wars)#All_Terrain...

  • या फिर यह भी हो सकता है: https://starwars.fandom.com/wiki/BD_unit

• मेरी बात याद रखिए। behavior authoring भविष्य की prompt engineering बनने वाला है, और अब पीछे लौटना नहीं होगा
  robot platforms में ज्यादा से ज्यादा बस कुछ iterations ही बाकी हैं

  • मुझे ठीक से समझ नहीं आ रहा कि आपका मतलब क्या है। prompt engineering एक समय अच्छे results पाने के लिए जरूरी थी, लेकिन हर iteration के साथ यह धीरे-धीरे कम जरूरी होती जा रही है
  • या फिर हम उस बिंदु तक भी पहुंच सकते हैं जहां AI को मनचाहा behavior बहुत सरल भाषा में समझाया जाए, और reference के रूप में किसी खास मशहूर character को बता दिया जाए, तो बाकी कठिन काम वह खुद कर दे

• सोचता हूं कि क्या किसी को 1972 की film Silent Running के छोटे working robots याद हैं
  https://www.imdb.com/title/tt0067756/?ref_=fn_al_tt_1
  पता नहीं उन दोस्तों से emotional attachment क्यों महसूस हुआ था। उनके पास भावनाएं दिखाने का कोई दिखने वाला तरीका भी नहीं था। वे बस चुपचाप और ईमानदारी से अपना काम करते थे
  फिर भी अजीब तरह से दिल को छू गए, और film के later part में उनके नष्ट होने वाला scene काफी दुखद था

  • वे Huey, Dewey, Louie थे, और उनके नाम Disney character Donald Duck के भांजों के नामों पर रखे गए थे
    यह film special effects में योगदान के लिए भी मशहूर Douglas Trumbull ने बनाई थी
    https://en.wikipedia.org/wiki/Douglas_Trumbull

• पता नहीं क्यों, लेकिन यह बात खटकती है कि इस robot का कोई नाम नहीं है, या article में नाम का जिक्र नहीं है

  • article के मुताबिक इस robot character का अभी तक कोई official name नहीं है, और Disney भी अभी यह बताने के लिए तैयार नहीं है कि इसे कहां देखा जाएगा। हालांकि कहा गया है कि इसके look और sound से अंदाजा लगाया जा सकता है