Seedance 1.0 - Bytedance का मल्टी-शॉट वीडियो जनरेशन मॉडल

• यह टेक्स्ट और इमेज आधारित मल्टी-शॉट वीडियो जनरेशन मॉडल है, जो अर्थ समझने और प्रॉम्प्ट की व्याख्या करने में मौजूदा मॉडलों की तुलना में ज़्यादा सटीक और लचीला प्रदर्शन दिखाता है
• 1080p की उच्च रिज़ॉल्यूशन के साथ स्मूद सीन ट्रांज़िशन, समृद्ध डिटेल, और सिनेमैटिक एहसास वाले परिणाम प्रदान करता है
• सूक्ष्म फाइन-ट्यूनिंग और वीडियो-विशेष RLHF रिवॉर्ड मेकैनिज़्म के जरिए समग्र प्रदर्शन में सुधार
• टेक्स्ट विवरण या इमेज के आधार पर, आवश्यक शर्तों को पूरा करने वाली डायनामिक और इमर्सिव विज़ुअल कंटेंट तैयार की जा सकती है
• कुशल आर्किटेक्चर और नए लर्निंग पैराडाइम के साथ मल्टी-शॉट जनरेशन तथा टेक्स्ट-टू-वीडियो/इमेज-टू-वीडियो दोनों कार्यों को सपोर्ट करता है

Seedance 1.0 परिचय

• हाल के diffusion model नवाचारों के कारण वीडियो जनरेशन तकनीक तेज़ी से आगे बढ़ रही है
• लेकिन अधिकांश मौजूदा मॉडल अब भी निर्देश (प्रॉम्प्ट) पालन, मूवमेंट की नैचुरलनेस, और विज़ुअल क्वालिटी के बीच संतुलन बनाने में कठिनाई महसूस करते हैं
• Seedance 1.0 एक वीडियो जनरेशन आधारित मॉडल है, जिसमें नीचे दिए गए प्रमुख तकनीकी सुधार लागू किए गए हैं
  • (i) सटीक वीडियो कैप्शन के साथ मल्टी-सोर्स डेटा कलेक्शन, जिससे कई परिदृश्यों में व्यापक लर्निंग संभव होती है
  • (ii) कुशल आर्किटेक्चर और लर्निंग पैराडाइम के जरिए मल्टी-शॉट जनरेशन, टेक्स्ट→वीडियो, और इमेज→वीडियो कार्यों को एक साथ सपोर्ट करता है
  • (iii) सूक्ष्म रूप से ऑप्टिमाइज़्ड पोस्ट-प्रोसेसिंग: परिष्कृत सुपरवाइज़्ड फाइन-ट्यूनिंग, वीडियो-विशेष RLHF, और बहु-आयामी रिवॉर्ड मेकैनिज़्म के माध्यम से समग्र प्रदर्शन में बड़ा सुधार
  • (iv) मॉडल एक्सेलरेशन: मल्टी-स्टेज डिस्टिलेशन और सिस्टम-लेवल ऑप्टिमाइज़ेशन के जरिए 10 गुना तेज़ इन्फरेंस स्पीड
• NVIDIA-L20 GPU के आधार पर 41.4 सेकंड में 5 सेकंड का 1080p वीडियो जनरेट किया जा सकता है
• नवीनतम वीडियो जनरेशन मॉडलों की तुलना में, स्पैशियो-टेम्पोरल लचीलापन, स्ट्रक्चरल स्थिरता, जटिल बहु-स्थितियों में निर्देश पालन, तथा मल्टी-शॉट और स्टोरीटेलिंग संगति में यह बेहतर है

[GN⁺]

Hacker News राय

• मैं उस भविष्य का इंतज़ार कर रहा/रही हूँ जब ऐसी क्षमताएँ इतनी सामान्य और साधारण लगेंगी कि कोई खास बात ही नहीं रहेंगी
  • कल्पना होती है कि मैं अपने फ़ोन पर मज़े-मज़े में दोस्तों के ग्रुप चैट में तुरंत 24-एपिसोड वाली full voice animation बना सकूँगा/सकूँगी
  • अभी भी हम यक़ीन से परे बहुत कुछ कर सकते हैं, लेकिन जल्द ही इस पर कोई ध्यान भी नहीं देगा — यह बात भी अजीब तरह से दिलचस्प है
  • यह भी कहा गया कि चाहे कितने ही आसान prompt से 24-एपिसोड की series बना ली जाए, अंत में किसी को उसकी परवाह नहीं होगी
    • लगता है AI content की value बढ़ा नहीं रहा, बल्कि scarcity को नष्ट करके उसके meaning को ही मिटा रहा है
    • Tea. Earl Grey. Hot. की तरह, बस मशीन से यांत्रिक ढंग से निकल आने वाली चीज़ जैसा एक रूपक भी दिया गया
  • अगर content बनाना इतना आसान हो जाए, तो कौन लंबे समय लगाकर वीडियो देखेगा — इस पर भी सवाल है
    • अनुमान है कि अंत में हर कोई अपनी-अपनी generative content का मज़ा लेने में व्यस्त होगा
  • मैं भी इस तकनीक का बहुत इंतज़ार कर रहा/रही हूँ
    • उदाहरण के लिए, Shadowrun फ़िल्म जैसी चीज़ें खुद बनाकर देखने की उत्सुकता है
  • अनुमान है कि एक महीने में बनने वाले content की मात्रा अब तक मानव इतिहास में बने कुल content से भी ज़्यादा हो जाएगी
    • Disney, Marvel, Star Wars जैसे mass media के एकरूप प्रभुत्व के बजाय, हर व्यक्ति अपने interest के हिसाब से बिल्कुल फिट long-tail media का आनंद ले सकेगा — इस बात को लेकर उत्साह है
    • अगर आपको Egypt और Atlantis में दिलचस्पी है, तो दोनों सभ्यताओं के बीच लड़ाई पर आधारित steampunk series, The Wire जैसी गंभीर टोन में, तुरंत देखने वाली दुनिया भी कल्पना की जा सकती है
    • ऐसे ideas भी साकार हो सकेंगे जिन्हें पहले कभी बनाया ही नहीं जाता
    • अच्छे creators सामने आएँगे, और अब indie music, indie comics, indie games की तरह अलग-अलग creators उभर पाएँगे
    • असली समस्या आखिरकार discoverability होगी
    • यह भी ज़ोर देकर कहा गया कि पुरानी industry structure, जहाँ साल में सिर्फ़ 500 सीमित जगहों में ही किसी तरह घुसना पड़ता था, टूट जाएगी और अपनी-अपनी vision वाले बहुत से प्रतिभाशाली लोग बड़े प्रयास कर पाएँगे
    • VivziePop(Vivienne Medrano wiki), PsychicPebbles(Zach Hadel wiki) की तरह YouTube से शुरू होकर विशाल IP बनने वाला मॉडल भविष्य का standard बन सकता है
    • उम्मीद है कि creative world में innovation सिर्फ़ 2~10 गुना नहीं, बल्कि लगभग 1000 गुना बेहतर होगी
    • अभी ज़्यादातर फ़िल्में/ड्रामा मेरी पसंद के नहीं होते, इसलिए मैं उन्हें पसंद नहीं करता/करती, लेकिन media नाम के माध्यम से मुझे हमेशा लगाव रहा है
    • अब ऐसा लगता है कि एक ऐसी दुनिया खुलने वाली है जहाँ मुझे मेरी पसंद और मेरे interests के बिल्कुल अनुरूप content मिल सकेगा
• भविष्य में यह TikTok algorithm जैसा हो सकता है: मैं जो देख रहा/रही हूँ, उसी समय मेरी पसंद समझकर उसी क्षण नए वीडियो बनाकर दिखाने वाला सिस्टम
  • हर scroll के साथ user को क्या पसंद है यह सीखा जाएगा, और अपने-आप और वीडियो generate करके दिखाए जाएँगे
  • अगर model को पर्याप्त context दे दिया जाए, तो वह जिस content पर व्यक्ति react करता है, वह इतना सम्मोहक हो सकता है कि नज़र स्क्रीन से हटाना मुश्किल हो जाए — एक तरह की लत जैसा
    • यह डरावनी कल्पना है, लेकिन लंबे समय में शायद अपरिहार्य भी
  • अफ़सोस की बात यह है कि सिर्फ़ user की पसंद के पीछे चलने के बजाय, engagement maximize करने के लिए user की पसंद को ही manipulate करने की कोशिश की जा सकती है — ऐसी चिंता भी है
  • यह राय भी है कि असल में तकनीक की यह दिशा उस कारण से काफ़ी दूर है जिसके लिए लोग social media का इस्तेमाल करते हैं
    • उदाहरण के तौर पर कहा गया कि ChatGPT अनंत comments बना सकता है, फिर भी हम आखिरकार यहाँ Hacker News पर आते हैं
  • आगे चलकर live mode जैसी अवधारणा भी आ सकती है, जिसमें user की आवाज़ के अनुसार real time में तुरंत वीडियो generate हो जाए
    • लगता है Netflix में भी ऐसी सुविधा आ सकती है
  • यह भी जिज्ञासा है कि क्या सिस्टम यह सीखकर सही तरह लागू करेगा कि मुझे ads पसंद नहीं हैं
• sample videos में कुछ दृश्य काफ़ी प्रभावशाली हैं, लेकिन कुछ हिस्सों में unnatural movement बार-बार दिखाई देता है
  • लगता है training data शायद TikTok के सबसे अतिरंजित हिस्सों पर ज़्यादा केंद्रित रहा है, क्योंकि यह 5 सेकंड से ज़्यादा एक ही shot को संभाल नहीं पाता
  • कठिन scenes को यह काफ़ी अच्छी तरह handle करता है, लेकिन उल्टा आसान दिखने वाले हिस्सों में ज़्यादा ग़लतियाँ दिखती हैं
    • opening piano या photographer के कैमरे पर AI text लिखा है, café के बुज़ुर्ग व्यक्ति के हाथ beret के आर-पार निकल जाते हैं, और समुद्र किनारे पीछे मुड़कर देखने वाली लड़की उल्लू की तरह सिर घुमा देती है
    • यूरोपीय शहर में साइकिल चलाते लड़के वाले scene का अंत इस तरह होता है कि चौक में कोई encrypted-सा अस्तित्व unicycle चलाते हुए पेड़ के नीचे खड़ा दिखाई देता है
  • ByteDance कई हफ़्तों से Model Arena में इस model को internally Unicorn नाम से test कर रहा था
    • यह पहले से ही Google Veo 3 से ऊँचा score कर रहा है
    • ArtificialAnalysis: Model Arena ranking
• अनुमान है कि 5 साल बाद ऐसी दुनिया संभव होगी जहाँ हर content real time में generate होगा
  • मैं कुछ कहूँगा/कहूँगी और तुरंत जवाब में 5-सेकंड का वीडियो बन जाएगा
  • अब वीडियो कोई fixed asset नहीं रहेगा, बल्कि मौके पर बना और गायब हो जाने वाला ephemeral response बन जाएगा
  • वीडियो अब upload की जाने वाली passive file नहीं, बल्कि data stream का output बनता जाएगा
  • swipe की जगह लेने वाला भविष्य का UI शायद voice prompt होगा
  • Seedance जो कर रहा है, वह नए format का experiment कम और runtime-generated content system का experiment ज़्यादा है
  • backend में model infra को comet से compress किया जाता है और LLM को सस्ता और तेज़ चलाने के लिए setup किया जाता है
  • अगर यह संयोजन काम कर गया, तो बड़े batch या cache के बिना भी बड़े पैमाने पर content generation serve करना संभव होगा
  • अगर यह वास्तव में स्थापित हो गया, तो feed अब scroll नहीं बल्कि render loop बन जाएगी
  • यह सब अब media service कम और video platform के रूप में दिखने वाला low-latency AI model hosting system ज़्यादा लगता है
• video quality शानदार है, लेकिन आवाज़ कहाँ है — यह सवाल भी उठा
  • यह कहा गया कि VEO3 वीडियो तो अच्छा बनाता है, लेकिन audio की quality में जो अंतर है वही बड़ा differentiator बनता है
  • मैं एक बड़ी video streaming company में AI solutions पर काम करता/करती हूँ
    • VEO3 की समस्या यह है कि prompts के बीच consistency कमज़ोर है
    • उदाहरण के लिए, अगर character reference image upload की जाए, तो बूढ़ी दुल्हन झुकती है और बूढ़ी दुल्हन सिक्का उठाती है को अलग-अलग generate करने पर हर बार पात्र अलग दिखता है
    • बेशक VEO3 image-to-video feature देता है, लेकिन वास्तविक scenes बनाने के लिए अभी भी यह काफ़ी अधूरा है
    • समय के साथ यह बेहतर होगा, लेकिन अभी के चरण में व्यक्तिगत रूप से मुझे Seedance का shorts के बीच consistency पर फ़ोकस करना पसंद है
    • उम्मीद है कि इससे VEO3 पर भी दबाव बनेगा और यह feature जल्दी सुधरेगा
• यह सवाल उठा कि हर example video में बड़ा-सा circle क्यों दिखाई देता है
• Seedance कहाँ इस्तेमाल किया जा सकता है — यह सवाल भी पूछा गया
  • Seedance 1.0 को June 2025 से Doubao और Jimeng सहित कई platforms में integrate किया जाना है
    • Doubao वीडियो generation
    • Jimeng वीडियो generation tool
    • paper PDF
  • लगता है यह feature जल्दी ही सीधे TikTok तक पहुँचेगा
    • कहा गया कि TikTok platform पर generative content की बाढ़ आ जाएगी, और platform यह खोज लेगा कि हर कोई creator बनना चाहता है — इसे monetize कैसे किया जाए
    • यह भी अनुमान है कि platform policy content को free में upload किया जा सकता है से बदलकर AI gateway से होकर ही upload किया जा सकता है, और उसके लिए शुल्क भी देना होगा जैसी हो जाएगी
• कुछ लोगों ने कहा कि ज़्यादा motion वाले वीडियो देखते समय मिचली या चक्कर जैसा महसूस होता है
  • Sora के पहले public demo के समय भी ऐसा ही अनुभव हुआ था, लेकिन Seedance में यह थोड़ा कम लगा
  • Veo 3 demo में ऐसा नहीं हुआ था; इसलिए पूछा गया कि क्या और लोगों को भी Seedance के high-motion samples में ऐसा ही महसूस हुआ
• यह जिज्ञासा भी व्यक्त की गई कि क्या AI-generated वीडियो का realism अब पारंपरिक CGI animation फ़िल्मों के स्तर के करीब पहुँच गया है
  • उम्मीद है कि कोई expert मौजूदा results में स्पष्ट कमियाँ आसानी से बता देगा
  • फिर भी यह आशा है कि आगे चलकर सिर्फ़ किसी खास हिस्से को prompt के ज़रिए बारीकी से edit किया जा सकेगा
  • साथ ही यह भी जिज्ञासा है कि Hollywood के high-budget CGI की प्रति-सेकंड लागत की तुलना में वास्तव में कितने compute resources/पैसे लगते हैं
  • आजकल Hollywood में दिखने वाला सामान्य (non-animated) CGI भी कई बार कम quality का लगता है, इसलिए expectations बहुत ऊँची नहीं हैं
    • वास्तव में CGI results पर बदलाव लागू/प्रबंधित करने की प्रक्रिया (change management) भी काफ़ी दिलचस्प लगती है
• Old man उतना बूढ़ा नहीं दिखता, इसलिए यह थोड़ा अजीब लगा (शायद इसलिए कि मैं खुद बूढ़ा/बूढ़ी हो रहा/रही हूँ — ऐसी मज़ाकिया स्वीकारोक्ति भी थी)