AniSora: ओपन सोर्स एनीमेशन वीडियो जनरेशन मॉडल

 (komiko.app)
17 पॉइंट द्वारा GN⁺ 2025-05-19 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • AniSora Bilibili द्वारा विकसित एक ओपन सोर्स AI वीडियो जनरेशन मॉडल है, जो animation, manga, VTuber आदि कई स्टाइल को सपोर्ट करता है
  • इमेज या टेक्स्ट प्रॉम्प्ट से आसानी से उच्च-गुणवत्ता वाले हाई-डेफिनिशन एनीमेशन वीडियो बनाए जा सकते हैं
  • manga और animation के लिए विशेषीकृत algorithm और बड़े dataset के आधार पर यह वास्तविक मूवमेंट और अभिव्यंजक परिणाम देता है
  • गैर-विशेषज्ञ भी आसानी से उपयोग कर सकें, इसके लिए intuitive interface और community-आधारित collaboration environment इसकी बड़ी ताकत है
  • शॉर्ट episode, PV, VTuber, concept art आदि विविध उपयोग मामलों के लिए उपयुक्त है

AniSora क्या है

  • AniSora, Bilibili द्वारा विकसित सबसे शक्तिशाली ओपन सोर्स एनीमेशन वीडियो जनरेशन मॉडल है
  • एक क्लिक में animation series, Chinese animation, manga adaptation, VTuber, animation PV जैसी कई स्टाइल के वीडियो बनाए जा सकते हैं
  • केवल इमेज या टेक्स्ट प्रॉम्प्ट से स्थिर दृश्यों को डायनेमिक और डिटेल्ड animation में बदला जा सकता है
  • AniSora का आधारभूत शोध IJCAI’25 में स्वीकृत नवीनतम technical paper पर आधारित है

AniSora उदाहरण परिचय

  • AniSora से बने उदाहरण वीडियो इसकी स्थिर इमेज को स्वाभाविक रूप से चलती हुई animation में बदलने की क्षमता दिखाते हैं
    • उदाहरण) कार के अंदर हवा में लहराते बालों वाला दृश्य, कई लड़कियों का हाथ उठाकर नाचना, तेज़ी से दौड़ते character का motion blur आदि
  • यह मॉडल पात्रों की भावनात्मक अभिव्यक्ति, गतिशीलता, scene transition जैसे manga और animation में आवश्यक कई cinematic effects को वास्तविक रूप में प्रस्तुत करता है

AniSora के प्रमुख फायदे

animation/manga स्टाइल के लिए विशेषीकृत algorithm

  • यह बड़े पैमाने के animation और manga dataset पर प्रशिक्षित विशेष मॉडल architecture का उपयोग करता है
  • यह विशिष्ट visual style और direction को सटीक रूप से पुन:निर्मित करता है
  • नवीनतम manga adaptations और trends को दर्शाने वाला high-quality output संभव है

intuitive interface

  • इसे इस तरह डिज़ाइन किया गया है कि तकनीक से परिचित न होने वाले उपयोगकर्ता भी सीधे वीडियो जनरेट कर सकें
  • एक क्लिक में कोई भी आसानी से manga और VTuber वीडियो निर्माण का अनुभव कर सकता है

उच्च-गुणवत्ता एनीमेशन वीडियो सपोर्ट

  • AniSora डिफॉल्ट रूप से 1080p high-definition video output प्रदान करता है
  • विभिन्न platforms के लिए optimized होने के कारण इसे project, SNS, PV जैसे कई channels में उपयोग किया जा सकता है

AniSora FAQ सारांश

AniSora क्या है?

  • AniSora, Project Index-AniSora का एक हिस्सा है और Bilibili द्वारा जारी किया गया ओपन सोर्स animation video generation model है
  • केवल इमेज या टेक्स्ट प्रॉम्प्ट से high-resolution, animation-style video अपने-आप बनाए जा सकते हैं
  • इसमें motion consistency और expressiveness पर केंद्रित नवीनतम शोध परिणाम शामिल हैं

अन्य AI वीडियो जनरेशन टूल्स से अंतर

  • AniSora की फोकस animation और manga style के लिए विशेष प्रदर्शन पर है
  • Bilibili की विशेषज्ञता और community-केंद्रित ओपन सोर्स प्रोजेक्ट होने के कारण यह anime series, manga adaptation, VTuber जैसे विशेष उद्देश्य वाले वीडियो निर्माण के लिए optimized है

वीडियो और ऑडियो सपोर्ट

  • फिलहाल AniSora मुख्य रूप से video generation पर केंद्रित मॉडल है
  • audio synthesis जैसी अतिरिक्त सुविधाओं की उपलब्धता के लिए नवीनतम documentation देखना होगा

क्या यह animation/manga creators के लिए उपयुक्त है?

  • AniSora character consistency और अभिव्यंजक motion लागू करने के लिए optimized है, इसलिए creators, खासकर animation, PV, manga और VTuber क्षेत्र के लिए यह आदर्श टूल है

प्रमुख उपयोग मामले

  • animation shorts, SNS video, PV, manga panel animation, VTuber, concept art, storyboard आदि में व्यापक उपयोग संभव है

वीडियो क्वालिटी और लंबाई

  • AniSora की ताकत high-resolution (1080p) आधारित शॉर्ट वीडियो जनरेशन में है
  • आम तौर पर short clip format सबसे उपयुक्त है, और विशिष्ट सीमाओं के लिए आधिकारिक documentation में नवीनतम जानकारी देखी जा सकती है

स्टाइल और motion control के तरीके

  • इमेज या टेक्स्ट प्रॉम्प्ट इनपुट के जरिए उपयोगकर्ता इच्छित visual style और motion को निर्देशित कर सकता है
  • animation domain data के आधार पर motion customization, character consistency, detailed style application जैसी उन्नत control capabilities उपलब्ध हैं
  • version या interface के अनुसार operational scope अलग-अलग हो सकता है

निष्कर्ष

  • AniSora, animation तथा manga/VTuber वीडियो निर्माण के लिए विशेषीकृत, शीर्ष-स्तरीय ओपन सोर्स AI वीडियो जनरेशन मॉडल है
  • अलग पहचान वाली style reproduction, intuitive usability, और high-definition video generation इसके मुख्य लाभ हैं
  • community open source culture और creator support पर ज़ोर देने के कारण जापानी animation और Chinese animation दोनों क्षेत्रों में इसका उपयोगी मूल्य काफ़ी अधिक है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-05-19
Hacker News राय

  • लगता है कि कुछ नतीजे साफ़ तौर पर webtoon, manga, शायद pixiv वगैरह से ट्रेन किए गए हैं। CG इमारतों या तरह-तरह के अन्य artifacts में उसके सबूत आसानी से दिख जाते हैं। आख़िरकार निष्कर्ष यही निकलता है कि इसे copyrighted material पर train किया गया है। क्योंकि कला ऐसा क्षेत्र नहीं है जिसे text की तरह synthetic तरीके से generate किया जा सके, इसलिए human artists हमेशा महत्वपूर्ण बने रहेंगे, वरना बस अजीब artifacts ही आते रहेंगे। इसलिए लगता है कि आगे चलकर artists को "AI" training के लिए एक job category तक घटा दिया जाएगा। लेकिन दूसरी ओर, अगर लोग अपनी पसंद की चीज़ें खुद बनाएं और उन्हीं का इस्तेमाल model training में हो, तो वह बुरा भी नहीं लगता। मैं copyright और trademark के मामले में काफ़ी pro-AI हूँ, लेकिन जो बहुत से लोग हमें मनोरंजन देते रहे हैं, उनके साथ क्या होगा यह सवाल बना रहता है। quality लगातार बेहतर होगी, या फिर "AI के लिए बहुत मुश्किल" कहकर challenging styles ग़ायब हो जाएँगे और सब कुछ एक जैसा हो जाएगा—इसी पर सोचता रहता हूँ। यह PC और मशीनों द्वारा इंसानों की जगह लेने जैसा नहीं लगता, बल्कि किसी अलग किस्म का एहसास है, जैसे हम किसी अंतिम पड़ाव पर पहुँच गए हों.

    • illustrators और artists के लिए सहानुभूति होती है। लेकिन training data चाहे novels हों, paintings, songs, code, या यहाँ तक कि legal documents, मुझे कोई बहुत बड़ा फ़र्क नहीं दिखता। मेरी माँ भी typewriter दौर की translator से machine translation corpus-database environment वाली दुनिया में आ गईं, और काम कम होता गया, वेतन भी गिरता गया। आख़िरकार mechanical और repetitive काम तो सस्ते robots के हिस्से में ही जाने वाले हैं.
    • 30 साल से ज़्यादा समय से चित्र बनाने वाले एक artist के नज़रिए से: AI training-assistant job तक घटा दिए जाने की बात बेतुकी है। artist सिर्फ़ पैसे कमाने के लिए नहीं बनाते, बहुत लोग "मज़े" के लिए भी बनाते हैं। पिछले 3 साल की AI चर्चाओं में यह बुनियादी बात लगभग हमेशा ग़ायब रही है, और यह बात खलती है.
    • artists को "AI training" job category में गिरा देना इतना भी बुरा नहीं? मुझे तो यह किसी dystopian novel जैसी स्थिति लगती है। ज़्यादातर artists इस बात से नफ़रत करेंगे कि उनका काम models में ठूँसकर तोड़ा-मरोड़ा जाए। वह फिर कला नहीं रह जाती, बस मशीन का एक पुर्जा बन जाती है। कला का मतलब यूँ ही random कुछ तस्वीरें बना देना नहीं है। ऐसी दुनिया में artists जीविका कैसे चलाएँगे, कौन "जो चाहो बनाओ" वाली चीज़ें बनवाकर उन्हें models को देने की लागत उठाएगा, और इसके लिए कितने लोगों को नौकरी देगा—ये बुनियादी सवाल हैं। इंटरनेट पहले से ही failed images से भरा पड़ा है, और मुझे यक़ीन है कि इनसे लोगों को धोखा देने वाले spam और scam का बाज़ार अब असली creators से भी बड़ा हो चुका होगा। आगे यह और बदतर होगा.
    • AI और copyright की बहस में मुझे सबसे बड़ी समस्या यह लगती है कि फ़ायदा सिर्फ़ बड़ी कंपनियाँ उठा रही हैं। ChatGPT वगैरह में मशहूर copyrighted works अपने-आप block हो जाते हैं, लेकिन छोटे artists के काम के साथ ऐसा नहीं होता। या तो यह सबके लिए खुला होना चाहिए, या फिर किसी के लिए भी नहीं.
    • artists के copyright का बचाव करने वाली सोच से सहमति रखते हुए, साथ ही copyright के मामले में AI का मज़बूती से समर्थन करना—यह काफ़ी दिलचस्प है। यह ऐसा विषय है जहाँ बहुत लोग भावनात्मक और चरम विचार रखते हैं, इसलिए दोनों पक्षों को साथ देखकर बात करना दुर्लभ है। AI युग में copyright की भूमिका पर आपका क्या विचार है, यह जानने की उत्सुकता है.

  • अब क्या सच में वह दौर आने वाला है जब हम अपनी मनचाही Haruhi season 3 बना पाएँगे? सोचकर ही उत्साह होता है। सच में जीने के लिए शानदार समय लगता है.

    • 5 या 10 साल बाद फिर बात करते हैं। अभी तो यह उतना क़रीब आता नहीं दिख रहा। आगे की दिशा को लेकर जिज्ञासा है.
    • animation में (movies या DBZ जैसी चीज़ों को छोड़कर) मैंने पहली बार जिस series को सच में ढंग से देखा था, वह यही थी। उसकी यादें आज भी ताज़ा हैं। director की वजह से उसका रुक जाना सच में अफ़सोस की बात थी। अगर कोई भी इस series को पूरा कर दे या reboot करके समाप्त कर दे, तो वह सच में सबसे बड़ा तोहफ़ा होगा.
    • या फिर Neon Genesis Evangelion का remake भी हो जाए, ऐसी भी इच्छा है.
    • अरे... क्या यह अभी तक ख़त्म ही नहीं हुई? मैं तो अभी season 1 पहली बार देख रहा हूँ...
    • इस anime को 10 साल से ज़्यादा समय तक लगभग भूल चुका था, फिर इसका नाम सुनते ही ज़बरदस्त nostalgia महसूस हुआ.

  • मैंने <i>Neon Genesis Evangelion</i> के promotional illustration से इसे test किया। नतीजा ठीक-ठाक है, लेकिन जब सिर घूमता है तो बालों की animation में temporal artifacts आ जाते हैं। examples का एक page वगैरह भी है जिसे देखा जा सकता है.

    • लिंक काम नहीं कर रहा.

  • paper के अंश का सार: "variable-length training approach अपनाया गया, 2 सेकंड से 8 सेकंड के segments पर training हुई। इस strategy से 2–8 सेकंड लंबे 720p videos generate किए जा सकते हैं।" इसे FramePack के साथ benchmark करके देखना चाहूँगा। सच कहूँ तो 2d animation में frame duration की पाबंदी लगभग न होने का फ़ायदा यहाँ काफ़ी हो सकता है.

  • अगर AI animation content में रुचि है तो AniGen प्रतियोगिता में भाग लेने की सलाह दूँगा।

    • deadline 20 मई है, तो शायद जल्दी करनी चाहिए.

  • यह अलग-अलग scenes और viewpoints में एक ही character को कितनी consistency से दिखा सकता है, यह जानना चाहता हूँ। मुझे लगता है अब तक image generation की यही सबसे बड़ी सीमा रही है.

  • पहले example से ही काफ़ी ग़लतियाँ दिख रही हैं। shirt की sleeve टूट जाती है, और हिलते बाल ग़ायब होकर फिर वापस आ जाते हैं। आख़िर में ज़्यादातर movement बस arms और clouds में ही दिखती है.

  • account और inputs बदलने पर भी हर बार अजीब errors आते हैं, इसलिए यह ठीक से काम ही नहीं करता.

  • ऐसे service से बने videos की copyright status क्या होगी, यह जानना चाहता हूँ। क्या उन्हें copyright protection मिलेगी? अभी US Copyright Office का रुख़ यह है कि "generative AI outputs तभी copyright protection के दायरे में आते हैं जब human author ने पर्याप्त creative elements को तय या inject किया हो।" अगर सुरक्षा न मिले, तो इस तरह की service से फ़िल्म वगैरह बनाने पर उसे सीधा copy या plagiarize किए जाने का ख़तरा रहेगा। वैसे इस tool को किस data पर train किया गया, वह यहाँ अलग मुद्दा है.

  • मैं देखना चाहता हूँ कि <i>The Beginning After the End</i> के fight scenes इस tool से गुज़रने पर कितने बदलेंगे। सच में आगे की दिशा को लेकर जिज्ञासा है। क्या लोग visual glitches और artifacts कुछ ज़्यादा होने पर भी अपनी पसंदीदा franchise का नया season आने पर उसे स्वीकार कर लेंगे, या फिर 3D models के भद्दे इस्तेमाल की तरह उसे नापसंद करेंगे?

    • Toei Animation के पास कई क्षेत्रों में AI लागू करने की योजना है। उदाहरण के लिए storyboard production (simple layouts और camera angles generate करना), color designation और auto color correction, douga (line drawings और in-between frames का auto generation), और backgrounds (photos से auto generation) में इसका उपयोग करने की नीति है। अंतिम quality की ज़िम्मेदारी director पर ही रहेगी, इसलिए मुझे लगता है कि यह बिना artifacts के अच्छी तरह निकल सकता है, और indie creators भी भले पूर्ण न हों, अपनी खुद की रचनाएँ बना सकेंगे, इसलिए मैं इसे सकारात्मक मानता हूँ.
    • जब नए प्रयास या प्रगति इस स्तर पर नहीं दिखती, तो क्या इसमें अर्थपूर्ण चर्चा की कोई कीमत भी है? मैंने खुद इस्तेमाल किया है, और video generation AI की पुरानी कमियाँ ज्यों की त्यों बनी हुई हैं। sequential या dynamic action scenes को संभालने में यह सबसे कमज़ोर है, ख़ासकर anime में जहाँ ऐसे action scenes बहुत होते हैं। यह tool भी संतोषजनक नहीं, और ज़्यादातर closed-source commercial models भी ख़ास नहीं हैं.
    • मैं ऐसे भविष्य की कल्पना करता हूँ जहाँ AI आगे चलकर douga में इस्तेमाल हो सके.