MusicLM, टेक्स्ट से संगीत बनाने वाला AI
(google-research.github.io)- Google Research द्वारा प्रकाशित पेपर
- टेक्स्ट विवरण के प्रति बेहद वफादार संगीत जनरेट करता है: "distortion लगी guitar riff के साथ शांत violin melody"
- hierarchical sequence-to-sequence modeling कार्य के रूप में कास्ट करके कई मिनट लंबा 24kHz संगीत जनरेट करता है
- मौजूदा सिस्टम्स की तुलना में sound quality और टेक्स्ट विवरण का पालन, दोनों में कहीं बेहतर
- whistle या humming जैसी melody styles को भी रूपांतरित किया जा सकता है
- कई prompts को क्रम से देकर story mode में audio जनरेट किया जा सकता है
- 5.5k music-text pairs से बने MusicCaps dataset को जारी किया गया
2 टिप्पणियां
सिर्फ टेक्स्ट से ही इस स्तर की क्वालिटी निकाल लेना वाकई कमाल है!
हालांकि अभी भी बहुत-सी चीज़ें काफी अटपटी लगती हैं, इसलिए लगता है कि शायद इसका इस्तेमाल क्रिएटर्स ज़्यादा तर आइडिया लेने के लिए ही करेंगे।
Riffusion - संगीत जनरेट करने के लिए fine-tune किया गया Stable Diffusion