📝 TL;DR
- LTX-2 = ओपन सोर्स मल्टीमॉडल वीडियो जनरेशन मॉडल के लिए एक नया मानक
- 4K+ऑडियो को consumer-grade hardware पर रियल-टाइम में जनरेट करता है
- नवंबर के आखिर में मॉडल weights + code + benchmark पूरी तरह सार्वजनिक किए जाएंगे
- Lightricks द्वारा निर्मित, arXiv पेपर प्रकाशित
🔑 Key Highlights
-
ओपन सोर्स में पहला ऑडियो-वीडियो सिंक्रोनाइज़्ड जनरेशन मॉडल
- Sora 2, Movie Gen व्यावसायिक/बंद हैं, जबकि LTX-2 नवंबर के आखिर में पूरी तरह ओपन सोर्स जारी होगा
- 4K 50fps, अधिकतम 10 सेकंड का वीडियो + सिंक्रोनाइज़्ड ऑडियो जनरेट कर सकता है
-
रियल-टाइम से भी तेज जनरेशन स्पीड
- H100: 768x512 resolution पर 5 सेकंड 24fps वीडियो सिर्फ 2 सेकंड में जनरेट
- मौजूदा मॉडलों की तुलना में compute cost में 50% कमी
- consumer-grade GPU (RTX 4090 आदि) पर भी चल सकता है
-
hybrid DiT architecture में नवाचार
- Video-VAE: 1:192 compression ratio (32x32x8 downscaling)
- VAE decoder अंतिम denoising तक संभालता है → अलग upsampling के बिना सूक्ष्म detail बनी रहती है
- multi-GPU inference stack के जरिए रियल-टाइम performance
-
सूक्ष्म creative control
- multi-keyframe conditioning, 3D camera logic
- LoRA fine-tuning से brand style/IP consistency बनाए रखी जा सकती है
- Fast/Pro/Ultra तीन मोड में speed-quality control
-
तुरंत उपयोग के लिए तैयार ecosystem
- Fal.ai, Replicate, ComfyUI integration पूरा
- API Playground में टेस्ट किया जा सकता है
- editing tools, VFX stack, game engine के साथ direct integration support
अभी कोई टिप्पणी नहीं है.