YuE: Revolucija u AI generisanju muzike
YuE je open-source AI model sposoban da generiše kompletne pesme sa vokalima i instrumentima na osnovu teksta, podržavajući više jezika i muzičkih žanrova.
YuE je inovativni AI model dizajniran da pretvara napisane stihove u kompletne muzičke kompozicije, proces poznat kao Lyrics2Song. Za razliku od postojećih AI sistema koji uglavnom generišu kratke instrumentalne isečke, YuE može da stvara celovite pesme u trajanju do pet minuta, uz očuvanje muzičke i lirske koherentnosti.
Ključne karakteristike:
Generisanje kompletnih pesama: YuE može da kreira pesme sa usklađenim vokalima i instrumentalima u različitim žanrovima, uključujući pop, metal i džez.
Podrška za više jezika i žanrova: Model razume i obrađuje engleski, mandarinski (uključujući kantonski), japanski i korejski, uz mogućnost kombinovanja više jezika unutar jedne pesme.
Napredne AI tehnike: Koristi semantički audio tokenizer (za bržu obuku), dual-token sistem (za sinhronizaciju vokala i instrumenata) i lyrics-chain-of-thought pristup (za postupno generisanje celokupne pesme).
Optimizovan za skalabilnost: Trofazni proces treniranja poboljšava kvalitet generisanih pesama i omogućava efikasnije generisanje kompleksnih kompozicija.
Open-source i proširiv repertoar: Planovi uključuju dodavanje novih muzičkih stilova poput Pekinške opere i proširenje podrške za još više jezika.
YuE predstavlja veliki iskorak u AI generisanju muzike, omogućavajući stvaranje realističnih vokala, složenih instrumentalnih aranžmana i koherentnih pesama. Kao open-source projekat, postavlja novi standard u oblasti AI muzike, čineći visoko kvalitetnu muzičku produkciju dostupnijom nego ikada.