Transformer के भीतर का ब्रह्मांड, Oasis

Oasis: Transformer के भीतर का ब्रह्मांड

• Oasis परिचय

  • Oasis एक AI-जनित रियल-टाइम ओपन वर्ल्ड वीडियो गेम है.
  • यह उपयोगकर्ता के कीबोर्ड इनपुट को लेकर physics, game rules और graphics को रियल-टाइम में जनरेट करता है.
  • यह game engine के बिना केवल foundation model पर काम करता है.
  • यह दिखाता है कि Decart के inference engine का उपयोग करके रियल-टाइम वीडियो संभव है.

• गेमप्ले परिणाम

  • Oasis जटिल game mechanics को समझता है.
  • इसमें विभिन्न settings, places और objects जनरेट करने की क्षमता है.
  • यह गेम के भीतर building, lighting physics और inventory management जैसी चीजें कर सकता है.

• आर्किटेक्चर

  • मॉडल spatial autoencoder और latent diffusion backbone से बना है.
  • यह Transformer-आधारित है और ViT तथा DiT पर आधारित है.
  • यह autoregressive तरीके से frames जनरेट करता है, जिससे रियल-टाइम interaction संभव होता है.

• प्रदर्शन

  • Oasis प्रति सेकंड 20 frames का रियल-टाइम आउटपुट जनरेट करता है.
  • यह Decart के inference stack के माध्यम से खेलने योग्य frame rate हासिल करता है.
  • यह Etched के Transformer ASIC, Sohu के लिए optimized है.

• भविष्य की खोज

  • मॉडल और dataset के विस्तार के जरिए कुछ समस्याओं का समाधान किया जा सकता है.
  • बड़े पैमाने पर training को कुशलतापूर्वक चलाने के लिए अतिरिक्त optimization techniques विकसित की जा रही हैं.

GN⁺ की संक्षिप्त प्रस्तुति

• Oasis एक AI-जनित रियल-टाइम ओपन वर्ल्ड गेम है, जो Transformer-आधारित अभिनव तकनीक दिखाता है.
• इसकी खासियत तेज inference speed है, जो रियल-टाइम interaction को संभव बनाती है.
• यह Sohu जैसे नए hardware के साथ मिलकर बड़े पैमाने के models को support करने की संभावना दिखाता है.
• इस तकनीक में गेमिंग के अलावा विभिन्न consumer products में लागू होने की क्षमता है.
• समान क्षमताओं वाले प्रोजेक्ट्स में OpenAI का Sora और Genmo का Mochi-1 शामिल हैं.