नमस्ते, मैंने एक मॉडल बनाया है और उसे open source के रूप में जारी किया है, इसलिए साझा कर रहा हूँ.
क्या आपको कभी वीडियो या गेम बनाने के लिए किसी खास sound की ज़रूरत पड़ी है?
दिमाग में यह बिल्कुल साफ़ होता है कि कैसी आवाज़ चाहिए, लेकिन उसे कैसे व्यक्त करें और कैसे खोजें, इसका कोई तरीका नहीं होता.
इसी वजह से जब आप game studios की sound-संबंधित मीटिंग्स में जाते हैं, तो बातचीत से ज़्यादा ऐसी आवाज़ें सुनाई देती हैं.
“फ्यूफ्यू- से ज़्यादा पियु↘︎पियु↘︎ बेहतर होगा”
इसीलिए मैंने इसे बनाया!
मैंने जो मॉडल बनाया है, उसमें आप अपनी आवाज़ से मनचाही sound की नकल करके उसे text के साथ मॉडल में input के रूप में देते हैं, और वह उसी sound effect को generate कर देता है. (इसमें काफ़ी समय और data का उपयोग हुआ है)
repo: https://github.com/thxxx/VTS
demo: https://spicy-pufferfish-699.notion.site/VTS-347cf95761f480f19dc0eb790…
(demo लिंक में जाकर सुनेंगे तो इसका मतलब कहीं ज़्यादा अच्छी तरह समझ आएगाhaha)
12 टिप्पणियां
वाकई कमाल का प्रोजेक्ट है!
"मैं जो चाहता हूँ, उसे AI agent को आसानी से कैसे समझाऊँ"
मुझे लगता है कि आजकल यह सच में बहुत महत्वपूर्ण बिंदु है और ऐसा क्षेत्र है जिस पर बहुत गहराई से सोचने की ज़रूरत है।
जिस तरह हमने IT services के UI/UX क्षेत्र को विकसित होते देखा है, उसी तरह AI के लिए user experience भी अब बनता और विकसित होता जाएगा, और क्या प्रभावी है और क्या महत्वपूर्ण है, इस पर बहुत चर्चा होगी—यह सोचकर उत्साह होता है।
यह फ़िल्म SFX काम में उपयोग के लिए अच्छा लग रहा है।
यह सच में बहुत मज़ेदार है haha
धन्यवादhaha
मज़ेदार है haha यह सच में काम कर रहा है। जानना चाहूँगा कि आपने model training कैसे की।
लेकिन डेमो में मुंह से बनाई गई आवाज़ ही sound effect के तौर पर ज़्यादा शानदार लग रही है।
इतनी टेस्टिंग करते-करते अब इसमें महारत हो गई है।
काफ़ी दिलचस्प है। क्या इनपुट के तौर पर आवाज़ के अलावा थोड़ा Pokémon? R2D2? जैसी आवाज़ें भी संभव होंगी?
नहीं नहीं, ट्रेनिंग खुद आवाज़ से नहीं की गई थी, इसलिए लगता है कि हर तरह का Sound to Sound संभव होगा। हालांकि Pokémon की आवाज़ों से टेस्ट करके नहीं देखा है, haha
ओ, तो फिर अगर LLM किसी फ़ॉर्मूला जैसी चीज़ जनरेट करके dynamics कंट्रोल करने वाला electronic sound बनाए, और उसे टेक्स्ट के साथ input में डालकर sound effect आउटपुट करे, तो लगता है उस समय के हिसाब से फिट बैठने वाले sound effects भी जनरेट हो पाएँगे। बढ़िया है।
यह काफ़ी मज़ेदार है haha
धन्यवादhaha