Physical Intelligence की पहली सामान्य-उद्देश्य रोबोट पॉलिसी π0 ने कपड़े मोड़ने तक का डेमो दिखाया

 (physicalintelligence.company)
1 पॉइंट द्वारा GN⁺ 2024-11-12 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Physical Intelligence ने सामान्य-उद्देश्य रोबोट foundation model π0(pi-zero) पेश किया, जो text निर्देश लेकर कई तरह के भौतिक कार्य कर सकता है
  • π0 को internet-scale vision-language pretraining, Open X Embodiment Dataset, और 8 तरह के robots से जुटाए गए dexterous task data के साथ प्रशिक्षित किया गया
  • मॉडल image, text और action को एक साथ प्रोसेस करता है, और flow matching आधारित continuous action output के जरिए रोबोट motor commands प्रति सेकंड अधिकतम 50 बार जनरेट करता है
  • post-training के बाद यह कपड़े मोड़ना, टेबल साफ़ करना और बॉक्स असेंबल करना जैसे हर बार बदलती स्थिति वाले जटिल manipulation tasks भी कर सकता है
  • 5 evaluation tasks में π0 ने OpenVLA, Octo और π0-small से बेहतर औसत प्रदर्शन दिखाया, लेकिन long-horizon reasoning, planning, self-improvement, robustness और safety अभी भी आगे की चुनौतियाँ हैं

π0 जिस सामान्य-उद्देश्य रोबोट पॉलिसी को लक्ष्य बनाता है

  • Physical Intelligence ने पिछले 8 महीनों में सामान्य-उद्देश्य रोबोट foundation model π0(pi-zero) विकसित किया है
  • लक्ष्य यह है कि जैसे उपयोगकर्ता LLM या chatbot से कुछ कहते हैं, वैसे ही रोबोट को काम बताया जाए और रोबोट भौतिक दुनिया में वह काम कर दे
  • π0, LLM की तरह, बड़े और विविध data पर train होता है और text निर्देशों का पालन करता है, लेकिन LLM से अलग यह image, text और action को साथ में संभालता है
  • मॉडल रोबोट के embodied experience से physical intelligence सीखता है, और नई architecture के जरिए low-level motor commands सीधे आउटपुट करता है
  • यह कई robots को नियंत्रित कर सकता है, और इच्छित कार्य को prompt के रूप में दिया जा सकता है या कठिन deployment scenarios के लिए fine-tune किया जा सकता है

संकीर्ण automation से आगे बढ़ने की वजह

  • मौजूदा robots अब भी संकीर्ण विशेषज्ञता वाले दायरे में सीमित हैं
    • industrial robots को assembly line में उसी जगह weld करने या उसी वस्तु को उसी बॉक्स में रखने जैसे दोहराए जाने वाले कामों के लिए program किया जाता है
    • ऐसे सरल कामों में भी बहुत manual engineering लगती है
    • घर जैसे बिखरे हुए वास्तविक वातावरण में अधिक जटिल व्यवहार करना कहीं ज़्यादा कठिन है
  • रोबोट को उपयोगकर्ता के निर्देश सीखने और उनका पालन करने के लिए large-scale data चाहिए
    • language models और अन्य foundation models वेब के बड़े document data का उपयोग करते हैं
    • रोबोट data के लिए ऐसा कोई समान large-scale repository मौजूद नहीं है
    • नई skills सिखाने के लिए किसी खास robot और खास application के अनुरूप बहुत data इकट्ठा करना पड़ता है
  • यदि एक ही सामान्य-उद्देश्य रोबोट पॉलिसी कई skills और कई robots को संभाल सके, तो हर robot और application के लिए आवश्यक data की मात्रा घट सकती है
  • जैसे language models ने विविध pretraining के आधार पर विशेष language processing systems की जगह ली, वैसे ही सामान्य-उद्देश्य रोबोट पॉलिसी physical intelligence के लिए robot foundation model की भूमिका निभा सकती है

training data और रोबोट संरचना

  • π0 अब तक के सबसे बड़े robot interaction dataset पर trained पहला prototype सामान्य-उद्देश्य रोबोट पॉलिसी है
  • पूरे training mix में open source data और Physical Intelligence द्वारा इकट्ठा किया गया 8 तरह के robots का dexterous task data शामिल है

  • training data संरचना

    • Open X Embodiment Dataset
    • internet-scale pretraining
    • कई dexterous robots से बना π Dataset
    • robot configurations में UR5e, Bimanual UR5e, Franka, Bimanual Trossen, Bimanual Arx, Mobile Trossen, Mobile Fibocom आदि शामिल हैं

  • शामिल task प्रकार

    • प्लेटें हटाना
    • लिफाफे में सामान रखना
    • कपड़े मोड़ना
    • cable routing
    • बॉक्स असेंबल करना
    • power plug लगाना
    • takeaway box में खाना भरना
    • कचरा उठाकर फेंकना
    • task selection का लक्ष्य किसी एक खास application को हल करना नहीं, बल्कि मॉडल को physical interaction की सामान्य समझ देना है

internet-scale semantic understanding और continuous action output

  • π0 को कई robot datasets पर train किया गया है, और साथ ही यह pre-trained vision-language model(VLM) से semantic knowledge और visual understanding भी लेता है
  • VLM को वेब के text और images को model करने के लिए train किया जाता है, और GPT-4V तथा Gemini इसके व्यापक रूप से इस्तेमाल होने वाले उदाहरण हैं
  • π0 एक छोटे 3 billion parameter VLM को शुरुआती बिंदु के रूप में उपयोग करता है और उसे real-time dexterous robot control के लिए अनुकूलित करता है
  • VLM वेब से मिली semantic knowledge दे सकता है, लेकिन मूल रूप से वह केवल discrete language tokens आउटपुट करता है
  • dexterous robot manipulation के लिए high-frequency motor command output चाहिए
    • π0 को प्रति सेकंड अधिकतम 50 motor commands आउटपुट करने होते हैं
    • इसके लिए diffusion model के एक variant flow matching से pre-trained VLM में continuous action output जोड़ा गया
  • अंतिम मॉडल एक vision-language-action flow matching model है, जिसे बाद में high-quality robot data पर post-training करके कई downstream tasks के लिए तैयार किया गया

post-training से संभाले गए dexterous tasks

  • अधिक जटिल और dexterity-आधारित tasks के लिए मॉडल को downstream tasks के अनुरूप fine-tune करना पड़ सकता है
  • high-quality data के साथ कठिन tasks के लिए fine-tuning की यह प्रक्रिया LLM design में इस्तेमाल होने वाले post-training जैसी है
  • pretraining मॉडल को physical world सिखाती है, और fine-tuning उसे किसी विशेष task को अच्छी तरह करना सिखाती है

  • कपड़े मोड़ना

    • π0 को mobile robot या fixed bimanual robot का उपयोग करते हुए कपड़े मोड़ने के task के लिए fine-tune किया गया
    • लक्ष्य कपड़ों को साफ-सुथरे ढेर में बदलना है
    • मेज़ पर सपाट रखी एक T-shirt को कभी-कभी पहले से तय motions दोहराकर मोड़ा जा सकता है
    • लेकिन उलझे हुए कपड़ों का ढेर हर बार अलग तरह से मुड़ा-तुड़ा होता है, इसलिए सिर्फ वही arm motions दोहराना काफ़ी नहीं है
    • post-training के बाद रोबोट dryer से कपड़े निकालकर मेज़ तक ला सकता है और उन्हें मोड़कर ढेर बना सकता है
    • वीडियो में एक single policy का पूरी तरह autonomous, बिना एडिट किया गया दृश्य दिखाया गया है
    • विविध data पर training के कारण, इंसान कई तरीकों से बीच में हस्तक्षेप करने की कोशिश करे तब भी रोबोट रिकवर कर सका
    • Physical Intelligence की जानकारी के अनुसार, पहले के रोबोट systems ने इस स्तर की जटिलता के साथ यह task नहीं किया था

  • टेबल साफ़ करना

    • π0 को मेज़ पर रखी प्लेटें और कचरा हटाने के task के लिए भी fine-tune किया गया
    • प्लेटें, cutlery और कप bussing bin में डाले जाते हैं और कचरा dustbin में
    • इस task में बहुत तरह की वस्तुओं को संभालना पड़ता है
    • large-scale और विविध data training के नतीजे में कई strategies उभरकर आईं
    • वस्तुओं को एक-एक करके उठाने के बजाय कई प्लेटों को स्टैक करके साथ में रखा जा सकता है
    • प्लेटों को bussing bin में रखने से पहले उन पर पड़ा कचरा झटककर dustbin में गिराया जा सकता है

  • बॉक्स असेंबल करना

    • सपाट cardboard box को मोड़कर खड़ा करना होता है, फिर किनारों को मोड़कर flap को अंदर फिट करना होता है
    • हर folding और fitting चरण में अप्रत्याशित विफलता हो सकती है, इसलिए रोबोट को प्रगति देखते हुए अपनी क्रिया समायोजित करनी पड़ती है
    • आंशिक रूप से मुड़े बॉक्स को फिर से खुलने से रोकने के लिए रोबोट को दोनों arms और मेज़ का सहारा लेकर बॉक्स को थामना होता है

OpenVLA और Octo के साथ evaluation तुलना

  • π0 की तुलना अकादमिक जगत में प्रस्तावित robot foundation models OpenVLA और Octo से की गई
  • OpenVLA एक 7 billion parameter VLA model है और discretized actions का उपयोग करता है
  • Octo एक 93 million parameter model है और diffusion output का उपयोग करता है
  • evaluation tasks को सामान्य academic experiments की तुलना में अधिक जटिल बनाया गया
    • OpenVLA evaluation के tasks आम तौर पर “बैंगन को बर्तन में डालना” जैसे single-step actions होते हैं
    • π0 evaluation का सबसे सरल table-cleaning task भी कई वस्तुओं को dustbin या bussing bin में classify करने की मांग करता है
    • अधिक जटिल tasks में multi-step प्रक्रिया, deformable objects की handling, और environment state के अनुसार कई strategies में से चयन शामिल है
  • evaluation में एक rubric इस्तेमाल हुआ जिसमें पूर्ण सफलता पर 1.0 अंक और आंशिक रूप से सही निष्पादन पर partial score दिया गया
    • उदाहरण के लिए, यदि आधी वस्तुएँ हटा दी जाएँ तो 0.5 अंक दिए जाते हैं

  • 5 evaluation tasks के परिणाम

    • Bussing Easy(UR5e)
      • π0: 0.971
      • π0-small: 0.443
      • OpenVLA: 0
      • OpenVLA(UR5e only): 0.343
      • Octo: 0.043
    • Bussing Hard(UR5e)
      • π0: 0.875
      • π0-small: 0.333
      • OpenVLA: 0
      • OpenVLA(UR5e only): 0
      • Octo: 0
    • Shirt Folding(Bi-ARX)
      • π0: 1.000
      • π0-small: 0.500
      • OpenVLA: 0
      • OpenVLA(UR5e only): 0
      • Octo: 0
    • Grocery Bagging(UR5e)
      • π0: 0.786
      • π0-small: 0.271
      • OpenVLA: 0
      • OpenVLA(UR5e only): 0
      • Octo: 0
    • Toast out of Toaster(Bi-Trossen)
      • π0: 0.750
      • π0-small: 0
      • OpenVLA: 0
      • OpenVLA(UR5e only): 0
      • Octo: 0
    • π0-small, VLM pretraining का उपयोग न करने वाला 470 million parameter model है
    • OpenVLA और Octo ने केवल सबसे आसान “Bussing Easy” task में ही शून्य से ऊपर प्रदर्शन किया, जबकि पूरे task set में π0 ने सबसे बेहतर प्रदर्शन दिखाया
    • full-size architecture और VLM pretraining के उपयोग से π0-small की तुलना में प्रदर्शन 2 गुना से अधिक बेहतर हुआ

बाकी चुनौतियाँ और सहयोग की दिशा

  • Physical Intelligence का लक्ष्य ऐसा foundation model बनाना है जो किसी भी robot को किसी भी task के लिए नियंत्रित कर सके
  • मौजूदा experiments दिखाते हैं कि यह कई robots को नियंत्रित कर सकता है, और कपड़े की टोकरी से कपड़े मोड़ना या cardboard box असेंबल करना जैसे ऐसे tasks कर सकता है जिन्हें पहले के robot learning systems सफलतापूर्वक नहीं कर पाए थे
  • सामान्य-उद्देश्य रोबोट पॉलिसी अभी शुरुआती चरण में है, और आगे कई research front बचे हुए हैं

    • long-horizon reasoning और planning

      • autonomous self-improvement
      • robustness
      • safety
      • Physical Intelligence कई कंपनियों और robot labs के साथ सहयोग कर रहा है
      • remote operation और autonomy के लिए hardware design को बेहतर बनाया जा रहा है
      • partner data को pretraining model में integrate करके platform-specific tuned model access देने की योजना है
      • कंपनी उन साझेदारियों में रुचि रखती है जो real-world applications में deployed robots से data collection का विस्तार कर रही हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-11-12
Hacker News की राय

  • लगता है कि अप्रत्यक्ष लक्ष्य कपड़े धोने-तह करने और दूसरे घरेलू कामों को अपने ऊपर लेना है। इंसानी संतुष्टि आखिरकार ऐसी ही जगहों पर हल हो सकती है
    अर्थव्यवस्था और वैल्यू मेट्रिक्स आखिर इंसानी खुशी/संतुष्टि के बारे में हैं, और पैसे की भी कीमत इसलिए बनती है क्योंकि लोग उसे चाहते हैं। जब लोग पर्याप्त अमीर हो जाते हैं, तो वे घरेलू कामों को आउटसोर्स करते हैं—मेड या कुक रखते हैं, या ready-to-eat खाना खरीदते हैं
    पिछले 50 सालों में पश्चिमी कंपनियों को महिलाओं के job market में आने से मुफ्त boost मिला; पहले वे एक व्यक्ति को एक घर चलाने का खर्च देती थीं, अब वही घर चलाने का खर्च दो लोगों में बांट देती हैं और बदले में दोगुने worker पा लेती हैं
    इसलिए ज्यादातर परिवारों ने प्रति सप्ताह 35 घंटे खो दिए, लेकिन घरेलू काम की मात्रा वैसी ही रही। हर किसी को मेड नहीं दी जा सकती, लेकिन शायद robot maid दी जा सके
    ईंटों, heating, बिजली की तरह, ज्यादातर innovation और technology आखिर घर के अंदर आती है और जीवन को ज्यादा आरामदेह बनाती है। मुझे लगा था कि असली robot maid washing machine के design में बदलाव, रोज दूसरों के घर खाना खाना, dust-proof surfaces जैसे सामाजिक बदलावों से आएगी, लेकिन यह robot काफी दिलचस्प दिखता है
    मुझे पता है कि यह नजरिया पश्चिमी middle class-केंद्रित है, लेकिन लगता है कि आखिर 6 अरब लोग इसके अलावा लक्ष्य क्या बना रहे होंगे

    • समझ नहीं आता कि जब महिलाएं job market में आईं तो अर्थव्यवस्था को boost कहां से मिला। जर्मनी का युद्धोत्तर आर्थिक चमत्कार ज्यादातर महिलाओं के बिना हुआ था
      1970 के शुरुआती दशक में जब महिलाएं ज्यादा संख्या में job market में आईं, तब oil crisis की वजह से macroeconomic conditions खराब थीं, इसलिए अलग करके देखना मुश्किल है
      फिर भी workers बढ़ने पर बात मजदूरी घटने और ज्यादा bullshit jobs बनने की दिशा में गई। यह साफ है कि पुरुष भी bullshit jobs बनाते और करते हैं
      अब घर और परिवार संभालने के लिए दो salaries चाहिए। बड़ा शानदार progress है
      supermarket में लाइन लंबी होने पर भी मैं self-checkout का boycott करता हूं ताकि friendly cashiers काम करते रहें
    • असली सबसे बुनियादी लक्ष्य शायद robots के साथ sex करना हो। जैसे internet को भी सारे ज्ञान का gateway कहा गया था, लेकिन आखिर में वह porn के लिए हो गया
    • अगर labor demand fixed हो, तो एक household में पुरुष+महिला labor supply दोगुनी होने पर wages सिद्धांततः घट सकती हैं। हालांकि demand का fixed होना जरूरी नहीं है
      इसे मैं employment की musical chairs theory कहना चाहूंगा। क्या इसका मतलब है कि 1954 की तुलना में 2024 में working-age population दोगुनी हो जाए तो हर व्यक्ति कम कमाएगा? क्या immigrants आने पर हर immigrant के बदले एक local व्यक्ति बेरोजगार हो जाएगा?
      सबूत ऐसा नहीं कहते, और economy में labor demand बढ़ाने वाले दूसरे बदलाव भी साथ-साथ होते हैं। immigration का unemployment और wages पर असर, खासकर short-term बड़े shocks पर literature देखें तो यह काफी स्पष्ट है
      महिलाओं की employment बढ़ने के effect पर research मुझे अच्छी तरह नहीं पता। यह कई दशकों में धीरे-धीरे हुआ phenomenon है, इसलिए मुझे लगता है कि इसका study करना कहीं ज्यादा मुश्किल है। और यह सिर्फ पश्चिम की बात नहीं, दुनिया के कई हिस्सों में हुआ है
    • Physical Intelligence की team बहुत शानदार है, लेकिन लगता नहीं कि वे लक्ष्य हासिल करने के लिए पर्याप्त पैसा जुटा पाएंगे। समस्या यह है कि वे कहते हैं कि ऐसी technology develop करने में 3 करोड़ डॉलर लगेंगे, जबकि वास्तव में कम से कम 1 अरब डॉलर, और शायद 5 अरब डॉलर के करीब लगेंगे

  • factory या closed environments में चीजें तेजी से बेहतर हो रही हैं, लेकिन बाकी real world में human supervision के बिना कोई practical robot या AI नहीं है। physical चीजों को automate करने का काम करते हुए मुझे यह पक्का यकीन हो गया
    वह robot सबसे पहले शायद दुनिया की समझ की कमी के कारण उस dryer को चला देगा जिसमें कोई छोटा बच्चा घुसा हो
    तब general-purpose home robot का अंत हो जाएगा। या वह candle गिरा सकता है, या कोई ऐसी चीज खराब कर सकता है जो मामूली दिखती हो लेकिन context में बेहद खतरनाक हो
    मैं भी general-purpose machine का सपना देखता हूं, लेकिन यह असंभव भी हो सकता है, और अगर संभव है भी तो अभी बहुत दूर है

    • मुझे याद है HN पर बहुत से comments आत्मविश्वास से predict करते थे कि जैसे ही self-driving car किसी को मारने वाला accident करेगी, self-driving cars खत्म हो जाएंगी
      वास्तव में accidents हुए और lawsuits व regulators की investigations भी हुईं, लेकिन वे खत्म नहीं हुईं। जल्द आने वाली अमेरिकी administration में robots और automation के विस्तार पर legal और regulatory barriers काफी कम होने की उम्मीद है
    • supervision की जरूरत हो तब भी robot को कपड़े सुखाने के लिए टांगते हुए देखना, खुद करने से बेहतर है
      पुरानी कहावत की तरह, “मुझे काम से प्यार है। क्योंकि मैं उसे पूरे दिन देख सकता हूं”
    • शुरुआत में camera लगाकर विदेश में बैठे किसी व्यक्ति से काम से पहले आसपास check करवा लें तो कैसा रहेगा? इससे सस्ता भी होगा और ज्यादा सुरक्षित भी
    • सहमत हूं। अब तक greenhouse में tomatoes तोड़ने और plants की देखभाल जैसे अपेक्षाकृत सरल agricultural tasks को भी production level पर करने वाला robot मैंने नहीं देखा
      यह सब सस्ता foreign labor कर रहा है। अगर उस स्तर की चीज भी automate करना मुश्किल है, तो general-purpose home robot से अभी बहुत उम्मीद करना कठिन है
      हालांकि इस लेख के videos काफी promising दिखते हैं, और देखना चाहूंगा कि यह technology greenhouse में कैसे काम करेगी
    • बिल्कुल उसी तरह होगा जैसे roller coaster एक बार खराब होकर कुछ लोगों को मारते ही ban हो गए थे

  • लॉन्ड्री रोबोट की मुश्किल समस्या कपड़े तह करना नहीं, बल्कि लॉन्ड्री रूम में घुसना है
    अगर आप यूरोप के किसी शहर में रहते हैं, तो जगह सबसे बड़ी बाधा है। पेरिस में किराया प्रति माह 30 यूरो/㎡ है
    लॉन्ड्री रूम छोटा होता है, और यह रोबोट इतना चौड़ा है कि मेरे लॉन्ड्री रूम के दरवाज़े से नहीं गुजर पाएगा। ironing board फोल्डेबल होने की वजह है: उसे हर बार सेट करना पड़ता है। यह रोबोट वह भी नहीं कर सकता, और washing machine के लिए fabric softener की बोतल भी नहीं संभाल सकता
    सिर्फ तह करने के लिए खाली 1㎡ टेबल रखना ज़्यादातर लोगों के लिए कल्पना ही है। laundromat इसलिए भी होते हैं क्योंकि कुछ घरों में washing machine रखने की भी जगह नहीं होती
    नमी और ventilation की वजह से लॉन्ड्री रूम अलग जगह होता है, और आम तौर पर 30 साल से ज़्यादा पुराने घरों के डिज़ाइन में उसे robot accessibility के बजाय functional रूप से जितना हो सके उतना छोटा बनाने के हिसाब से रखा गया होगा
    apartment नहीं बल्कि घरों में रहने वालों के यहाँ भी अक्सर लॉन्ड्री रूम basement में होता है और वहाँ सिर्फ सीढ़ियों या ऊँच-नीच वाले रास्ते से पहुँचा जा सकता है
    जब bipedal robots लगभग सामने ही हैं, तब भी मुझे नहीं लगता कि architects और construction accessibility standards इतनी जल्दी बदलेंगे। घरेलू robots के आने के लिए जो extra space चाहिए, वह ऊँची space cost की वजह से पहले ही कई बार खर्च हो चुका है

    • नीचे scroll करके देखें तो यह general-purpose robot है। यह इधर-उधर घूमकर dining table साफ कर सकता है या cardboard boxes मोड़ सकता है
      यह पक्का कहना मुश्किल है कि यह fabric softener नहीं संभाल पाएगा, और V2 शायद ironing board भी सेट कर सके
      size के लिहाज़ से भी यह अभी refrigerator, washing machine, dishwasher और कई time-saving appliances से छोटा है। बेशक, बहुत पुराने घरों वाले historical cities में यह ज़रूरी नहीं कि फिट बैठे, लेकिन ज़्यादातर घरों में ऐसे appliances आम हैं
      अभी तो size घटाने की कोशिश भी नहीं की गई है। research prototype stage से बाहर आने पर clever engineering से इसे शायद काफ़ी छोटा बनाया जा सके
      दूसरा सवाल cost का है। ऐसे robots आम तौर पर करीब 100,000 डॉलर के होते हैं, और इसकी वजह भी है। क्या इसे कम किया जा सकता है? उम्मीद है
    • laundromat काफ़ी झंझट वाला है, क्योंकि machine जो 5 मिनट का manual काम नहीं करती, उसके लिए आपको लगभग 2 घंटे वहीं आसपास रहना पड़ता है
      वहीं wash-and-fold service देना महँगी luxury है। अगर laundromat पूरी process automate कर सके, तो wash-and-fold की कीमतें नीचे आ सकती हैं, और लोग ऐसी machine घर में रखने की कम इच्छा करेंगे जिसे वे हफ्ते में कुछ घंटे ही इस्तेमाल करते हैं
      या फिर laundromat को cafe या bar से जोड़कर घर के काम को आराम और socializing के मौके में बदला जा सकता है। हालांकि दुनिया का ज़्यादातर हिस्सा अभी उस स्तर की सभ्यता के लिए तैयार नहीं है
    • मुझे समझ नहीं आता कि क्यों लगता है कि आरामदायक apartment और अपनी washing machine खरीदने की हैसियत न रखने वाले लोग laundry robot इस्तेमाल करेंगे
      मुझे लगता है अंततः यह washing machine में integrate हो जाएगा—एक ऐसी device जिसमें गंदे कपड़े डालो और साफ़, तह किए हुए कपड़े निकालो। मौजूदा washing machine अपने-आप में इतनी महंगी component नहीं है कि उसे आज की तरह अलग रूप में ही बनाए रखना ज़रूरी हो
    • पेरिस में 30 यूरो/㎡ प्रति माह सिर्फ काफ़ी बड़े apartments पर लागू होता है
      20㎡ apartment 850 यूरो से कम में नहीं मिलता, यानी लगभग 42 यूरो/㎡। बेशक ऐसे घर में laundry-folding robot तो दूर, washing machine तक लाने के लिए भी जगह बहुत कम है

  • precision थोड़ी और बढ़ा दें तो यह बेहतरीन lab automation tool बन जाता है। दुनिया भर की labs manual experimental tasks संभालने वाले robot के लिए 1 मिलियन डॉलर देने को तैयार होंगी
    lab का काम इतना मुश्किल भी नहीं होता। कई tasks established protocols पर आधारित होते हैं जिनके steps अच्छी तरह define होते हैं। बिना अलग programming के चीज़ें उठाकर test-tube work कर देने वाला robot मेरे हिसाब से blockbuster product होगा

    • सहमत हूँ। मेरी girlfriend के पास biochemistry degree है और वह ऐसी lab में काम करती है। इसमें samples collect करना, prepare करना, input करना, equipment की basic maintenance, कुछ analysis, results को system में डालना या doctors को phone करने जैसे administrative/secretarial काम शामिल हैं
      मेरे हिसाब से यह सब automate किया जा सकता है
      लेकिन यह region पर बहुत निर्भर करता है। अमेरिका में यह काफी जल्दी समझ में आने लगेगा, लेकिन मेरी girlfriend एक छोटे EU देश में रहती है जहाँ wages ज़्यादा नहीं हैं, और यह काम students के बीच लोकप्रिय junior position है। उस position की लागत सालाना लगभग 25,000 डॉलर है
      सालाना 25,000 डॉलर के cash flow को replace करने के लिए 1 मिलियन डॉलर invest करने पर सामान्य discount rates पर net present value negative होती है। जब 120,000 डॉलर salary को 1 मिलियन डॉलर robot से replace किया जा सके, तब बात बनती है
      मुझे लगता है robots को supervise करने वाली jobs भी बचेंगी। बड़े centralized production sites में एक व्यक्ति कई robots supervise कर सकता है, इसलिए यह viable है, लेकिन छोटे और distributed production sites में ज़रूरी नहीं। मुझे लगता है कई labs अपने काम की time sensitivity के कारण customers के पास अलग-अलग जगहों पर होनी पड़ती हैं। बेशक यह बदल भी सकता है
    • बहुत ज़्यादा उम्मीद न रखना बेहतर है। general-purpose robot के लिए bolt पर nut कसना भी बड़ी समस्या है
      अंततः हमें ऐसी robot-friendly lab चाहिए होगी जहाँ primitive robotic hands से सारे काम किए जा सकें। दूसरे विकल्प हैं ज़्यादा सक्षम hands बनाना, या पूरी तरह robotized specialized lab बनाना
      पहला विकल्प सबसे दिलचस्प और आगे बढ़ने लायक रास्ता है। अगर वह संभव हो जाए, तो “self-repairing” vehicles या planetary bases जैसी कई संभावनाएँ खुलेंगी। बस onboard “technician” robot चाहिए होगा
    • ऐसे lab automation products पहले से मौजूद हैं, और इस field की कुछ startups को आखिरकार वही headwinds झेलनी पड़ रही हैं जो उन सभी को झेलनी पड़ती हैं जिनका core value software है लेकिन जिन्हें hardware बेचना पड़ता है
      academic labs 1 मिलियन डॉलर का startup lab equipment नहीं खरीदतीं। 30 research groups के लिए shared core हो तो वे कुछ खरीदेंगी, लेकिन वह ऐसा equipment होगा जो paper publication से सीधे जुड़ता हो—यानी जिसका track record हो
      इसलिए आपने जिस product की बात की, वह पहले से मौजूद होने पर भी labs में नहीं पहुँच पा रहा है
    • chemistry lab में कई substances toxic होते हैं और कुछ तो इंसानों के लिए घातक भी हो सकते हैं। अगर robot इन्हें संभाल सके, तो बड़ा फायदा है
    • निश्चित रूप से संभव है। मेरा एक दोस्त इस field, यानी AI lab automation, में काम करता है और उसका अनुमान है कि कुछ ही वर्षों में competition काफी तीखा हो जाएगा

  • Humanoid robot से तुलना करें तो यह रोबोट काफी सरल है, इसलिए लगता है कि लागत कहीं कम हो जाएगी। हालांकि यह समझ में नहीं आता कि कपड़े तह करने पर इतना ध्यान क्यों है। क्या बहुत से लोग हफ्ते में एक बार से ज्यादा कपड़े धोते हैं?
    अगर यह खाना बनाना कर सके, जो हर दिन कम से कम एक बार तो होता है, तो यह कहीं ज्यादा उपयोगी होगा
    इसके बजाय मैं चाहूंगा कि washing machine में कोई नया innovation आए। मौजूदा technology तो पानी गरम करने और लगातार घुमाने के बहुत basic स्तर पर है। बड़े paper printer की तरह क्यों नहीं हो सकता कि एक shirt डालो, वह rollers से उसे लपेटे, high-pressure में बहुत कम पानी छिड़के, गरम करे, और 30 मिनट बाद पूरी तरह iron की हुई हालत में वापस दे

    • Laundry एक advanced motion planning system दिखाने के लिए लगभग perfect demo है। कपड़ा classical motion planning paradigm में असल में संभालना लगभग असंभव है
      यह बेहद non-rigid होता है, इसलिए इसके behavior की prediction specialized और महंगे dynamics simulators का क्षेत्र है, और इच्छित result पाने के लिए कौन-सी हरकतें चाहिए, यह उलटा पूछना भी लगभग असंभव है। Prediction संभव हो तब भी यह बहुत continuous होता है और discretization का विरोध करता है
      Origami पर reasoning करते समय अक्सर इस्तेमाल होने वाली “folded हिस्से की width 0 है” जैसी assumptions भी नहीं लगाई जा सकतीं
      कपड़े, fabric में भी extreme case हैं। वे न सिर्फ बहुत non-uniform होते हैं बल्कि fragile भी होते हैं, इसलिए हर shirt अजीब texture और जटिल, unpredictable local properties से ढकी एक लटपटी topological structure होती है। थोड़ा भी गलत handle किया तो threads निकल जाते हैं। Frills, zippers, pockets, strings—इनका अंत नहीं
      ऊपर से laundry ऐसा काम है जो हर कोई करता है, इसलिए relate करना आसान है, lab में setup करना आसान है, और इंसान performance को एक नजर में intuitively judge कर सकता है
      करीब 70 साल की research के बाद भी किसी ने convincing performance नहीं दिखाई, इसलिए यह backflip, basketball shot, truck loading से ज्यादा कठिन task है। इसलिए जब भी कोई नया algorithm आता है जो table पर blocks से आगे की चीजें संभाल सकता है, तो लगभग हमेशा उसे laundry पर apply किया जाता है
    • कपड़े तह करना final goal नहीं है। इसे इसलिए चुना गया है क्योंकि robot के लिए यह बहुत कठिन काम है, जिसमें dexterity, planning, sensory input पर प्रतिक्रिया आदि की जरूरत होती है
      दूसरे शब्दों में, अगर robot laundry कर सकता है, तो घर के लगभग हर दूसरे काम को भी सिखाया जा सकने की संभावना बहुत ज्यादा है
    • एक बच्चा भी हो तो laundry कोई तय शुरुआत और अंत वाला काम नहीं रह जाता, बल्कि continuous process बन जाता है
      खाना बनाना ऐसा काम है जिसे बहुत से लोग गहराई से संतोषजनक और मानवीय मानते हैं। मैं नहीं, लेकिन मुझे पता है कि मैं अपवाद हूं। इसके उलट, पृथ्वी पर अपने सीमित समय को laundry में खर्च करना valuable मानने वाला व्यक्ति ढूंढना मुश्किल होगा
    • बहुत से लोग हफ्ते में 3–4 बार laundry करते हैं। कुछ लोग घर पर बिल्कुल खाना नहीं बनाते। दुनिया में 8 अरब लोग हैं
    • शायद इसलिए कि Axiom में रहने वालों को साफ jumpsuits चाहिए होंगे?
      गंभीरता से कहें तो, laundry folding robot के नजरिए से काफी dexterity और precise object manipulation मांगने वाला complex task है, लेकिन cooking के मुकाबले इसका risk अपेक्षाकृत कम है
      Robot गड़बड़ भी करे तो robot, आसपास के environment, या पास के humans को बड़ा नुकसान होने की संभावना कम है। इसलिए research problem के तौर पर यह काफी अच्छा है, और solve हो जाए तो event demos में भी impressive लगेगा

  • Laundry folding एक छोटा household chore है, असली holy grail तो robot arm है जो 24 घंटे खाना बना सके
    हर fast-food outlet, restaurant, hotel, hospital, military base, cruise ship, और जहां भी खाना तैयार होता है, वहां robot arms आ गए तो labour market recover नहीं कर पाएगा
    सबसे बड़ा winner शायद grocery stores हों, जो अपनी ही produce से गर्म meals बनाकर nearby homes में drone delivery करें। बेशक यह बहुत ज्यादा optimistic सोच हो सकती है

    • मनचाही dish हर बार ठीक-ठीक पाने के लिए बस अपनी favourite recipe nearby robot chef को भेजनी होगी
      उस point पर fixed menu वाले restaurants का मतलब भी रहेगा क्या?

  • 9 दिन पहले HN पर भी आया था
    https://news.ycombinator.com/item?id=42011770

  • दिलचस्प काम है
    Time-sensitive न होने वाले tasks में robot को real-time processing कराने की कोशिश न करके, मौजूदा transformer models real hardware पर जितनी latency संभाल सकते हैं, उतना slow कर देने पर क्या किया जा सकता है—इस बारे में मैंने कभी सोचा नहीं था

    • von Neumann की Theory of self-reproducing automata (1966) p.72 “Role of High Complication” में ऐसा कहा गया है
      “Automata को उस environment से अलग नहीं किया जा सकता जिस पर वे react करते हैं”
      “आज पृथ्वी की सतह पर मनुष्य की survival characteristics well-defined हैं, लेकिन ज्यादातर human types के लिए situation को थोड़ा और specific करना पड़ता है। यह चर्चा करना meaningless है कि मनुष्य समुद्र के नीचे या 1000°C पर कैसे survive करेगा। इसी तरह यह पूछना भी meaningless है कि computing machine कितनी fast या slow है, जब तक यह न बताया जाए कि उसे किस type की problems दी जाएंगी”

  • 40 साल से कम उम्र के लोगों में मुझे बहुत कम लोग पता हैं जो कपड़े तह करते और iron करते हैं, और 30 साल से कम उम्र वालों में मुझे यह भी नहीं पता कि किसके पास ironing board और iron है। अगर है भी, तो शायद खराब होगा, या खराब नहीं है तो खो गया होगा
    मेरे हिसाब से “laundry करना” खुद laundry करने से भी तेजी से old-fashioned हो रहा है। यह वैसा ही है जैसे लोगों ने फटे कपड़ों की मरम्मत robot से नहीं करवाई, बल्कि पुराने कपड़े फेंककर fast fashion से बदल दिए और सिलाई छोड़ दी
    अगर यह product high-income लोगों को target करता है, तो price 100,000 dollars से 1,000 dollars तक आ भी जाए, इन वजहों से इसके chances अच्छे नहीं लगते

    • Fast fashion के कपड़े increasingly ऐसे हो रहे हैं जिन्हें iron नहीं किया जा सकता। साथ ही अच्छी quality के कपड़े खरीदना भी increasingly मुश्किल हो रहा है
      Fast fashion के असर की वजह से बहुत महंगे designer brands भी unlined coats या पतले sweaters जैसी चीजें निकालते हैं
      Good quality clothing की supply chain काफी सिकुड़ गई है, यह भी एक वजह है। Designer अच्छा fabric लेना भी चाहें तो उन्हें पहले से ज्यादा महंगा चुकाना पड़ता है

  • HN तरफ शायद किसी को पता हो, लेकिन ऐसे robots इतनी धीरे क्यों चलते हैं? Safety की वजह से, या speed बढ़ने पर difficulty बहुत बढ़ जाती है?

    • Speed शायद इनकी first concern नहीं है
    • वे vision-language model से robot actions को token-by-token generate कर रहे हैं। VLM inference bottleneck बन रहा है