World Labs: एकल इमेज से 3D दुनिया बनाने की तकनीक

 (worldlabs.ai)
1 पॉइंट द्वारा GN⁺ 2024-12-03 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • 3D दुनिया बनाने वाला AI सिस्टम

    • World Labs ने एक ऐसी AI सिस्टम विकसित की है जो एकल इमेज से 3D दुनिया बना सकती है.
    • यह तकनीक फ़िल्म, गेम, सिम्युलेटर आदि जैसे विभिन्न डिजिटल कंटेंट बनाने के तरीकों में क्रांतिकारी बदलाव ला सकती है.

  • दुनिया का अन्वेषण

    • उपयोगकर्ता बनाई गई 3D दुनिया का अन्वेषण कर सकते हैं, और arrow keys या WASD keys का उपयोग करके चल सकते हैं तथा माउस से दृश्य कोण नियंत्रित कर सकते हैं.

  • कैमरा इफ़ेक्ट्स

    • virtual camera के जरिए दृश्य को real time में render किया जाता है, और shallow depth of field या dolly zoom जैसे फ़ोटोग्राफ़िक इफ़ेक्ट्स लागू किए जा सकते हैं.

  • 3D इफ़ेक्ट्स

    • 3D scene prediction लगातार यथार्थपूर्ण अनुभव, real time control, और सही geometric structure प्रदान करती है.
    • depth map के माध्यम से हर pixel की camera से दूरी को visualise किया जा सकता है.

  • चित्र के भीतर प्रवेश

    • यह सिस्टम प्रसिद्ध कलाकृतियों को नए तरीके से अनुभव करने के लिए दुनिया तैयार करती है.
    • मूल चित्र में जो हिस्से नहीं हैं, उन्हें मॉडल स्वयं generate करता है.

  • रचनात्मक workflow

    • 3D दुनिया बनाना अन्य AI tools के साथ स्वाभाविक रूप से जुड़कर नए अनुभव पैदा करता है.
    • text-to-image model का उपयोग करके टेक्स्ट से इमेज बनाई जाती है, और उसके आधार पर 3D दुनिया निर्मित की जाती है.

  • भविष्य की दिशा

    • World Labs 3D दुनिया के आकार और fidelity को बेहतर बना रहा है, और उपयोगकर्ताओं के साथ interaction के तरीकों पर प्रयोग कर रहा है.
    • आने वाले releases की जानकारी waitlist के जरिए देखी जा सकती है, और इच्छुक लोगों को इसमें शामिल होने की सलाह दी जाती है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-12-03
Hacker News की राय

  • डेमो आज़माने पर लगता है कि animated image भ्रामक है। कुछ कदम चलने के बाद अदृश्य दीवार से टकराना पड़ता है, इसलिए निराशा काफ़ी होती है। समझ में आता है कि यह शुरुआती चरण में है, लेकिन फिर भी थोड़ा overhyped लगता है

  • VR headset में 3D फ़िल्म देखते समय सिर हिलाने पर 3D illusion टूट जाता है। 3D game में सिर हिलाने पर स्पेस को explore किया जा सकता है। अगर इसे फ़िल्म के हर frame पर लागू किया जाए, तो थोड़ी movement और viewpoint change बनाए रखे जा सकते हैं। लेकिन इससे director और cinematographer की मंशा प्रभावित हो सकती है

  • छोटे क्षेत्र को लेकर शिकायत है, लेकिन image को 3D world में बदल देना हैरान कर देने वाली तकनीक है। AI अब ज़्यादा सामान्य होता जा रहा है, फिर भी यह अब भी एक चौंकाने वाली उपलब्धि है

  • Depth Anywhere का इस्तेमाल करके 360º image को virtual depth map में बदला जा सकता है, फिर उसे point cloud पर लागू करके render किया जा सकता है। World Lab के example के विपरीत, इसमें point cloud की सीमा से आगे जाकर approach की कमियाँ देखी जा सकती हैं। इसमें अभी भी सुधार की ज़रूरत है

  • यह तकनीक शानदार है, लेकिन cat-4d.github.io जितनी प्रभावशाली नहीं है

  • शायद बहुत सारे AI demo देखने की वजह से अब थोड़ा सुन्न-सा हो गया हूँ; लगता है कि अब असली चुनौती यह सोचने की है कि इस तकनीक को वास्तव में उपयोगी कैसे बनाया जाए। "Step into Paintings" section मज़ेदार था, लेकिन source material से बाहर जाते ही model की सीमाएँ सामने आ जाती हैं। कला कृतियों को नए तरीके से अनुभव किया जा सकता है, लेकिन अनुभव अच्छा नहीं है

  • उम्मीद है कि XYZ Unreal और NVIDIA Isaac recordings को generalize कर पाएगा। जिज्ञासा है कि XYZ diffusion-transformers है, Chameleon है, या फिर कोई नई architecture है। model development में समय लगता है और इसकी लागत भी बहुत हो सकती है। यह टीम बहुत प्रतिभाशाली है, लेकिन हो सकता है कि इनके पास पर्याप्त funding न हो

  • ऐसे projects की अच्छी बातें अक्सर बढ़ा-चढ़ाकर किए गए दावों की वजह से धुंधली पड़ जाती हैं

  • base image rendered लगती है, जिसमें lighting, shadows वगैरह शामिल हैं। दूसरे tools के साथ देखने पर यह सिर्फ example images पर अच्छा काम करता है, जबकि दूसरी images देने पर काले और सपाट shapes मिलते हैं। इसलिए headline यह होनी चाहिए: "हमारे train किए गए model से single image से 3D world generation"

  • पहली बार आज़माने पर "Out of bounds" message देखकर हैरानी हुई। "Looking Ahead" section देखने पर पता चलता है कि वे size और accuracy में सुधार कर रहे हैं