Mistral ने सिंगल-कैमरा robot navigation मॉडल Robostral Navigate पेश किया

 (mistral.ai)
1 पॉइंट द्वारा GN⁺ 3 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • यह Mistral का पहला 8B embodied navigation मॉडल है, जिसे रोबोट को सिर्फ एक RGB कैमरा और natural language instructions के आधार पर जटिल environments में चलने के लिए बनाया गया है
  • R2R-CE validation unseen में इसने 76.6% success rate दर्ज किया, जो न सिर्फ single-camera तरीकों से बल्कि depth और multi-camera आधारित शीर्ष systems से भी बेहतर है
  • यह वर्तमान स्क्रीन में लक्ष्य के image coordinates और पहुंचने पर दिशा का अनुमान लगाने वाला pointing तरीका इस्तेमाल करता है; field of view से बाहर के लक्ष्यों के लिए इसे robot local coordinate system में displacement commands से बदलता है
  • यह मौजूदा open source VLM पर निर्भर नहीं है और in-house बनाया गया है; इसे simulation से बने लगभग 4 लाख trajectories और 6,000 scenes पर train किया गया
  • prefix-caching से training tokens को 22 गुना घटाया गया, और बाद में CISPO online reinforcement learning से success rate को और 3.2% बढ़ाया गया

सिंगल-कैमरा आधारित robot navigation

  • Robostral Navigate Mistral का पहला embodied navigation मॉडल है, जो RGB images और natural language instructions को input के रूप में लेकर रोबोट को environment में चलने में सक्षम बनाता है
  • उदाहरण instruction इस तरह की हो सकती है: “लॉबी से बाहर निकलें, corridor से गुजरें, supply room में जाएं, फिर दूसरी shelf की ओर देखकर रुकें”
  • depth sensors, LiDAR और कई cameras को साथ इस्तेमाल करने वाले approaches के विपरीत, यह मॉडल सिर्फ एक सामान्य RGB कैमरा इस्तेमाल करता है
  • R2R-CE(Room-to-Room in Continuous Environments) validation unseen एक benchmark है जिसमें training में शामिल न किए गए environments में instructions का पालन करते हुए navigation किया जाता है
    • Robostral Navigate ने validation unseen में 76.6% success rate दर्ज किया
    • यह सर्वश्रेष्ठ single-camera approach से 9.7 points ज्यादा है
    • यह depth या multi-camera इस्तेमाल करने वाले सर्वश्रेष्ठ systems से 4.5 points ज्यादा है

Benchmark performance और robot compatibility

  • यह मॉडल offices, residential/commercial buildings और outdoor environments जैसी जटिल जगहों में robots को autonomously navigate कराने के लिए design किया गया है
  • यह एक ही instruction से लोगों और obstacles वाली वास्तविक जगहों में पूरा task खुद कर सकता है
  • मुख्य performance और operating conditions इस प्रकार हैं
    • R2R-CE में state-of-the-art performance दर्ज की
    • validation seen success rate 79.4% है
    • validation unseen success rate 76.6% है
    • LiDAR या depth sensors के बिना single RGB camera से काम करता है
    • यह in-house built 8B model है, और training पूरी तरह simulation-based है
    • wheeled, legged और flying robots पर काम करता है और robot size में अंतर के लिए generalize करता है
    • camera intrinsics में अंतर के प्रति robust है
    • prefix-caching के जरिए token-efficient training इस्तेमाल करता है

Pointing-आधारित movement method

  • Robostral Navigate task और observation history के आधार पर यह predict करता है कि robot को अगली बार किस स्थान पर जाना चाहिए, और इसके लिए pointing method इस्तेमाल करता है
  • prediction target वर्तमान camera view में लक्ष्य स्थान के image coordinates और वहां पहुंचने पर जरूरी direction है
  • metric displacement पर निर्भर commands के विपरीत, pointing camera intrinsics और real-world scale में बदलावों के प्रति naturally robust है
  • अगर target location वर्तमान field of view से बाहर है, तो सिर्फ pointing से इसे handle करना मुश्किल होता है
    • ऐसे में इसे robot के local coordinate system में displacement command से replace किया जाता है
    • उदाहरण: “2 meters आगे जाएं, 1.5 meters बाईं ओर जाएं और 25 degrees बाईं ओर rotate करें”

In-house built model और simulation data

  • Robostral Navigate मौजूदा open source VLM पर निर्भर नहीं है और पूरी तरह in-house बनाया गया है
  • initialization के लिए Mistral का vision-language model इस्तेमाल किया गया, जो pointing, counting और object localization जैसे grounding tasks के लिए specialized है
  • navigation objects की position समझने के बाद move करने का तरीका सीखने की प्रक्रिया है, इसलिए यह ऐसी grounding abilities का extension है
  • data generation pipeline पूरी तरह simulation के अंदर बनाई गई
    • data iteration और improvement तेजी से किए जा सके
    • final dataset में लगभग 4 लाख trajectories और 6,000 scenes शामिल हैं

Efficient training और online reinforcement learning

  • supervised learning का मुख्य घटक prefix-caching आधारित efficient training algorithm है
  • tree-based attention masking strategy से पूरे episode को एक sequence में compress किया जाता है
    • सभी time steps को single forward pass में train किया जा सकता है
    • time steps के बीच information leakage रोका जाता है
  • हर time step पर एक sample इस्तेमाल करने वाली training की तुलना में training tokens की संख्या 22 गुना घटाते हुए training signal को preserve किया गया
  • व्यवहार में, महीनों लगने वाली training run को कुछ दिनों में खत्म होने वाली run में बदल दिया गया
  • supervised learning के बाद performance सुधारने के लिए CISPO online reinforcement learning algorithm इस्तेमाल किया गया
    • मॉडल को trial and error से सीखने, failures से recover करने और exploration behavior हासिल करने में सक्षम बनाता है
    • सामान्य behavior cloning की distribution shift समस्या को कम करता है
    • सिर्फ इस चरण से success rate में 3.2% सुधार हुआ
    • अभी plateau नहीं दिख रहा है, इसलिए अधिक training और experiments से संख्या और बढ़ाई जा सकती है

Integrated embodied agent की ओर अगला कदम

  • Robostral Navigate integrated embodied agent की दिशा में पहला कदम है
  • Mistral navigation को general-purpose robotics की foundational capability मानता है
  • यह दिखाता है कि large-scale simulation, efficient training और मजबूत grounding prior को मिलाकर compact model और single RGB camera से state-of-the-art embodied navigation हासिल किया जा सकता है
  • Mistral अपनी robotics team का विस्तार कर रहा है और research scientists तथा engineers की hiring कर रहा है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 3 시간 전
Hacker News की राय

  • “R2R-CE में state-of-the-art performance” कहा गया है, लेकिन यह साफ़ करना चाहिए कि R2R-CE simulation environment से बना benchmark है
    इस benchmark को जीतने का मतलब कुछ वैसा ही है जैसे किसी रोबोट को Minecraft या किसी दूसरे वीडियो गेम में अच्छा बनाना। यह शानदार है, लेकिन रोबोट को digital environment में नहीं, बल्कि भौतिक वास्तविकता में काम करना होता है
    असली दुनिया में robotic system की performance को evaluate करना बहुत मुश्किल है। performance खराब हो तो evaluation पूरा करने के लिए बहुत सारे backup robots भी चाहिए होते हैं
    लेख में चिकने फर्श और लगभग खाली ऑफिस जैसे environment में physical robot के 2x speed पर चलने का अनिवार्य demo video भी है। यह अब इस क्षेत्र का एक प्रतीक-सा scene बन गया है, और अंत में तीन लोगों का robot के path को सावधानी से cross करना bonus points जैसा है
    लेकिन यह कुछ साल पहले Aloha को लेकर बने hype जैसा है। किसी बड़ी tech company को team acquire करवाने या बढ़िया technology पर और research करने के लिए funding पाने के लिहाज़ से अच्छा है, लेकिन घर या ऑफिस में घूमने वाले robot maid/butler की दिशा में वास्तविक प्रगति की उम्मीद करने के लिए काफी नहीं है

  • इशारे से तो, और उम्मीद है कि सच भी हो, यह mapless navigation लगता है। अगर ऐसा है तो impressive है
    environment का पहले से capture किया हुआ map हो तो यह काम बहुत आसान हो जाता है। लेकिन बिना map के किया जा रहा है तो कमाल है
    पहले “kidnapped robot” problem हमेशा रहती थी, जिसमें robot अगर अपनी position न जानता हो तो ज़रा भी move नहीं कर पाता था। यहां ऐसा लगता है कि जब तक निर्देश current view से interpret किए जा सकते हैं या dead reckoning से follow किए जा सकते हैं, robot उन्हें execute कर देता है

    • मैं Mistral robotics team में काम करता/करती हूं, और यह वाकई mapless तरीका है। input सिर्फ text prompt और front RGB camera image है
    • modern SLAM या VSLAM से वह problem solve नहीं हो जाती?
    • अगर sensors बिल्कुल इस्तेमाल नहीं हो रहे, actual geometry भी नहीं है, और बस हाल के forward-pass tokens जैसी state है, तो क्या आप समझा सकते हैं कि पहले से capture किया हुआ map होने पर यह इतना आसान क्यों हो जाता है?
    • किसी तरह के exploration node बनाना बहुत दिलचस्प होगा। यानी चलते-चलते semantic SLAM problem solve करना
      अगर निर्देश हो “इस floor पर elevator ढूंढो”, तो क्या यह घूमकर map बना सकता है और किसी इंसान की तरह elevator खोजने वाला व्यवहार कर सकता है?
      फिलहाल ऐसे navigation models मानते हैं कि निर्देश लिखने वाले को उपयोगी visual movement landmarks बहुत अच्छी तरह पता हैं, जो अधिकांश use cases में realistic नहीं है

  • इसे सच में hands-on आज़माने का realistic रास्ता क्या होगा, यह जानने की उत्सुकता है। hobby experiments के लिए इसे OpenClaw से जोड़कर देखना चाहूंगा
    सपना है OpenClaw को farm robot में लगाना। steep hill weeding के लिए tracked RC lawnmower को modify करके उससे ऐसे काम करवाना चाहता हूं: “fence line explore करो और पौधों की तस्वीरें लो, poison ivy और invasive honeysuckle सब ढूंढकर Roundup sprayer से spray करो, हर हफ्ते repeat करो, फिर species distribution map report करो, और battery low हो तो barn में लौटकर charge हो जाओ”
    OpenClaw को robot body में लगाना मुश्किल नहीं है। YouTube पर भी ऐसे बहुत videos हैं। लेकिन जब लोगों की बनाई चीज़ों को सच में खंगालते हैं, तो movement वाला हिस्सा हमेशा सबसे crude होता है, और मेरे experiments में भी यही रहा
    ऐसा 8B model path-setting और navigation problem solve करने के लिए बिल्कुल सही लगता है
    अगर कोई Mistral या similar companies से ज्यादा परिचित है, तो जानना चाहूंगा कि क्या उन्हें ऐसे hobby maker experiments में भी रुचि है। या वे मुख्यतः commercial partners ही ढूंढते हैं? मैं experiments के लिए license fee देने को तैयार हूं, लेकिन अकेला individual होने पर शायद वे commercialization न होने तक collaboration न करें

    • इससे OpenClaw जैसा robot बनाना शानदार होगा, लेकिन अभी model text के ज़रिए walking/environment understanding पर focused लगता है। robot को दुनिया से interact करवाने के लिए क्या इस्तेमाल किया जा सकता है?
    • जो लोग मेरी तरह curious हों, उनके लिए अब तक जो पता चला है वह share कर रहा हूं। Mistral Discord पर जाकर Miscord bot से पूछा, तो उसने जवाब दिया कि current official announcements और docs मुख्यतः Airbus, BMW जैसे enterprise/industrial partnerships पर focused हैं
      फिर भी Robostral Navigate को hardware-independent design किया गया है, इसलिए यह किसी भी robot platform से जोड़ा जा सकता है, और LiDAR या depth sensor के बिना सिर्फ एक RGB camera चाहिए, इसलिए theory में hobby hardware के लिए भी ठीक बैठता है
      अभी public hobby/non-commercial license या open-source release नहीं है, और personal pricing या license tiers भी announced नहीं हुए हैं। अभी जो किया जा सकता है वह है Mistral AI से सीधे contact करके साफ़ पूछना कि “मैं OpenClaw + Robostral Navigate के साथ personal experiments करने वाला hobby maker हूं और non-commercial license पर चर्चा करना चाहता हूं”
      Mistral Discord या forums पर नज़र रखना भी अच्छा है, और response न मिले तो ROS या Habitat जैसे open-source robotics projects में similar functionality implement होने की direction का इंतज़ार किया जा सकता है

  • लगता नहीं कि यह public model है, लेकिन अगर public होता है तो single-camera navigation आसानी से इस्तेमाल किया जा सकेगा और बहुत सारे शानदार hobby robot projects possible हो जाएंगे

  • बहुत शानदार। Mistral team को बधाई। outdoor mapless navigation काफी समय से मौजूद है, लेकिन buildings के अंदर mapless navigation अपेक्षाकृत नया है
    Stanford researchers ने PIGEON नाम का visual model train किया था, जो arbitrary images से geographic location guess करता था। stalking जैसे privacy abuse की संभावना बहुत ज्यादा होने के कारण इसे release नहीं किया गया था, और लगता है इस robot के पीछे भी वैसी ही किसी तरह की technology है। अगर किसी को ज्यादा पता हो तो correction करना अच्छा होगा
    PIGEON paper link: https://lukashaas.github.io/PIGEON-CVPR24/

  • Mistral लगता है wide भी जा रहा है और niches को target भी कर रहा है। आगे चलकर यह smart strategy हो सकती है

    • वे industrial partners के लिए custom automation में काफी invest कर रहे हैं, इसलिए यह उनके toolbox में एक welcome addition होगा
    • यह काफी अच्छी strategy हो सकती है। pure compute power में Anthropic या OpenAI को follow करना मुश्किल है, लेकिन बहुत सारे applications ऐसे हैं जिन्हें उतनी power की जरूरत नहीं होती, और अक्सर speed और energy efficiency के लिए optimize करना बेहतर होता है
    • क्योंकि ये profit motive के बजाय मेरे taxes पर चल रहे हैं

  • बेहद minimal होने की वजह से प्रभावशाली है
    एक तरफ़, इससे मुझे 2010 के आसपास academic researchers और Willow Garage द्वारा अपलोड किए जाने वाले robot demo videos याद आते हैं
    Robotics की समस्या यह है कि भरोसेमंद दिखने वाला demo बनाना आसान है, लेकिन उसे सामान्य परिस्थितियों में ठीक से काम करवाना वाकई मुश्किल है। Autonomous driving इसका अच्छा उदाहरण है

    • Robotics में आखिरकार सब कुछ edge cases ही हैं। ऐसे कई applications हैं जिनमें काम का 95% हिस्सा perfect करने वाला robot पहले से संभव है, लेकिन फिर भी वह पर्याप्त नहीं है। आख़िरी 5% इतना विशाल है कि उसे भरना लगभग असंभव है

  • मैं dinner बनाने, बर्तन धोने और कचरा बाहर फेंकने वाले घरेलू helper robot का इंतज़ार करने के लिए तैयार हूँ
    बस डर तब लगता है जब ऐसे helpers को मेरे लिए या मेरे खिलाफ़ युद्ध में लगाया जाएगा

    • सच कहूँ तो कई functions ठीक हैं, लेकिन mainstream robots भारी होते हैं और डर रहता है कि वे बच्चों पर गिर न पड़ें। बच्चे मशीनों के नज़रिए से unpredictable होते हैं, लेकिन ज़्यादातर parents के लिए कुछ हद तक predictable होते हैं
      हमारे sensor sampling की speed और intelligence की reasoning speed मौजूदा top-tier robots से कई orders of magnitude आगे है। अभी इंसान कहीं ज़्यादा refined और capable हैं
      उम्मीद है कि पर्याप्त हल्की devices संभव होंगी, लेकिन battery weight requirements को देखते हुए यह कैसे होगा, यह समझ नहीं आता
    • लगता है दूसरा वाला पहले वाले से बहुत पहले आ जाएगा
    • अगर drone से उड़ाए जाने के लिए इंसान के बजाय robot भेजे जाएँ, तो शायद हमें उल्टा राहत महसूस करनी चाहिए
    • पहले वाले के लिए शायद काफ़ी लंबा इंतज़ार करना पड़ेगा। हाँ, अगर robot के confused होने पर हर बार कोई अनजान इंसान remote operation से आपके घर के अंदर घूमे, तो आपको ठीक लगे—तो अलग बात है
    • हर घर में एक intelligent humanoid robot—भला इसमें क्या गड़बड़ हो सकती है। शायद यह सबसे खराब ideas में से एक हो सकता है

  • “R2R-CE(Room-to-Room in Continuous Environments) में 76.6% हासिल किया” कहा गया है, लेकिन जिज्ञासा है कि बाकी 23.4% समय में उसने क्या किया

    • सबसे बड़ी समस्या शायद ऐसी रही होगी कि “अगले कमरे में जाओ” कहा और वहाँ दो दरवाज़े हों, या “water dispenser से मुड़ो” कहा और वहाँ sink हो। बेशक, हमेशा की तरह आख़िरी 1% भी एक और 99% जितना कठिन होता है
      results graph वाले page पर navigation errors देखें तो इस सवाल से सबसे संबंधित metric मिलती है। वह model “गलत दिशा में न जाने” में अच्छा है, इसलिए failure rate संभवतः रास्ता समझ न पाने के cases रहे होंगे
    • शायद वह दूसरे कमरे तक पहुँचा ही नहीं होगा

  • यह सच में शानदार है। Robot का उंगली से इशारा की गई दिशा का इस्तेमाल करके तय कर पाना कि कहाँ जाना है, एक बेहतरीन design decision है, और robotics सचमुच अगला frontier है। Mistral को पक्का support करने का मन करता है