- Google के शोधकर्ताओं द्वारा विकसित दृश्य गतिशीलता के लिए image-space-first modeling के एक नए दृष्टिकोण पर लेख
- मॉडल को प्राकृतिक कंपन गति वाले वास्तविक video sequence से निकाली गई motion trajectory का उपयोग करके प्रशिक्षित किया गया
- मॉडल frequency-tuned diffusion sampling प्रक्रिया का उपयोग करके Fourier domain में प्रति-pixel दीर्घकालिक motion representation का पूर्वानुमान करता है, जिसे neural stochastic motion texture कहा जाता है
- इस representation को पूरे video में फैली dense motion trajectory में बदला जा सकता है
- मॉडल का उपयोग static image को सहज रूप से दोहराए जाने वाले dynamic video में बदलने या उपयोगकर्ताओं को वास्तविक फ़ोटो में मौजूद objects के साथ यथार्थवादी तरीके से इंटरैक्ट करने देने जैसे विभिन्न applications में किया जा सकता है
- मॉडल interacting user की उत्तेजना पर object dynamics की प्रतिक्रिया का simulation कर सकता है
- motion texture के amplitude को समायोजित करके चलती हुई क्रिया को कम या बढ़ाया जा सकता है
- पूर्वानुमानित motion texture को interpolate करके slow-motion video बनाया जा सकता है
- शोधकर्ताओं ने Rick Szeliski, Andrew Liu, Qianqian Wang, Boyang Deng, Xuan Luo, और Lucy Chai के proofreading, comments, और discussions में योगदान के लिए आभार व्यक्त किया
- डेमो में उपयोग की गई वेबसाइट nerfies से ली गई थी, और Keunhong को धन्यवाद दिया गया
अभी कोई टिप्पणी नहीं है.