Google DeepMind ने "जनरेटिव इंटरैक्टिव एनवायरनमेंट्स" Genie पेश किया

xguru · 2024-03-04T10:02:01+09:00

"Generative Interactive Environments" यह इंटरनेट वीडियो पर प्रशिक्षित एक foundation world model है, जो synthetic images/फोटो/स्केच से अनंत विविधता वाले playable worlds बना सकता है इसे 2D platformer games और robotics के इंटरनेट वीडियो के बड़े datasets पर प्रशिक्षित किया गया है, यह किसी भी domain पर लागू हो सकता है और इंटरनेट datasets तक स्केल किया जा सकता है action labels के बिना control सीखना इसमें केवल इंटरनेट वीडियो से fine-grained control सीखने की क्षमता है, जो उन इंटरनेट वीडियो में चुनौतीपूर्ण है जिनमें actions या control किए जाने वाले image parts के labels नहीं होते Genie यह infer कर सकता है कि देखे जा सकने वाले हिस्सों में कौन से हिस्से आम तौर पर controllable हैं, और generated environments में एकसमान विभिन्न latent actions का अनुमान लगा सकता है creators की नई पीढ़ी को सक्षम बनाना केवल एक image से नया interactive environment बनाया जा सकता है, जिससे virtual worlds को बनाने और उनमें प्रवेश करने का नया तरीका मिलता है state-of-the-art text-to-image generation models का उपयोग करके शुरुआती frame बनाया जा सकता है, फिर Genie से उसमें जान डालकर virtual world बनाया जा सकता है sketch या real-world images से भी virtual environments बनाए जा सकते हैं generalist agents के लिए आधार game environments, AI agent development के लिए प्रभावी testbed हो सकते हैं, लेकिन वे उपलब्ध games की संख्या से सीमित रहते हैं Genie का उपयोग करके AI agents को नए बनाए गए अनंत environments में प्रशिक्षित किया जा सकता है, और यह दिखाया गया है कि Genie द्वारा सीखे गए latent actions वास्तविक मानव-डिज़ाइन किए गए environments में transfer हो सकते हैं generated virtual worlds का भविष्य इस वेबसाइट में platformer results पर फ़ोकस किया गया है, लेकिन Genie एक general methodology है जिसे कई domains में लागू किया जा सकता है Genie deformable objects को भी simulate कर सकता है, जो data से सीखने वाले human-designed simulators के लिए एक चुनौतीपूर्ण काम है उम्मीद है कि Genie उस युग की शुरुआत करेगा जिसमें images या text से पूरी तरह interactive worlds generate किए जा सकेंगे, और यह भविष्य के generalist AI agents को प्रशिक्षित करने के लिए catalyst बनेगा

(sites.google.com)

12 पॉइंट द्वारा xguru 2024-03-04 | 1 टिप्पणियां | WhatsApp पर शेयर करें

"Generative Interactive Environments"

यह इंटरनेट वीडियो पर प्रशिक्षित एक foundation world model है, जो synthetic images/फोटो/स्केच से अनंत विविधता वाले playable worlds बना सकता है
इसे 2D platformer games और robotics के इंटरनेट वीडियो के बड़े datasets पर प्रशिक्षित किया गया है, यह किसी भी domain पर लागू हो सकता है और इंटरनेट datasets तक स्केल किया जा सकता है

action labels के बिना control सीखना

इसमें केवल इंटरनेट वीडियो से fine-grained control सीखने की क्षमता है, जो उन इंटरनेट वीडियो में चुनौतीपूर्ण है जिनमें actions या control किए जाने वाले image parts के labels नहीं होते
Genie यह infer कर सकता है कि देखे जा सकने वाले हिस्सों में कौन से हिस्से आम तौर पर controllable हैं, और generated environments में एकसमान विभिन्न latent actions का अनुमान लगा सकता है

creators की नई पीढ़ी को सक्षम बनाना

केवल एक image से नया interactive environment बनाया जा सकता है, जिससे virtual worlds को बनाने और उनमें प्रवेश करने का नया तरीका मिलता है
state-of-the-art text-to-image generation models का उपयोग करके शुरुआती frame बनाया जा सकता है, फिर Genie से उसमें जान डालकर virtual world बनाया जा सकता है
sketch या real-world images से भी virtual environments बनाए जा सकते हैं

generalist agents के लिए आधार

game environments, AI agent development के लिए प्रभावी testbed हो सकते हैं, लेकिन वे उपलब्ध games की संख्या से सीमित रहते हैं
Genie का उपयोग करके AI agents को नए बनाए गए अनंत environments में प्रशिक्षित किया जा सकता है, और यह दिखाया गया है कि Genie द्वारा सीखे गए latent actions वास्तविक मानव-डिज़ाइन किए गए environments में transfer हो सकते हैं

generated virtual worlds का भविष्य

इस वेबसाइट में platformer results पर फ़ोकस किया गया है, लेकिन Genie एक general methodology है जिसे कई domains में लागू किया जा सकता है
Genie deformable objects को भी simulate कर सकता है, जो data से सीखने वाले human-designed simulators के लिए एक चुनौतीपूर्ण काम है
उम्मीद है कि Genie उस युग की शुरुआत करेगा जिसमें images या text से पूरी तरह interactive worlds generate किए जा सकेंगे, और यह भविष्य के generalist AI agents को प्रशिक्षित करने के लिए catalyst बनेगा

1 टिप्पणियां

stdcarrot 2024-03-04

छोटू Gemini
वो Gemma
वही Genie