Siç u nda në postimin e mëparshëm në blog, vizioni ynë për konkursin e këngëve të këtij viti ishte të përdornim mjetet e AI si "partnerë krijues në krim, në krijimin e muzikës". Në vend që të lejonim një model të krijonte të gjithë këngën, ne do të mbanim një njeri në lak (për një pjesë të kufizuar) të modelit të shkrimit të këngëve. Sidoqoftë, në frymën e "Konkursit të Këngës AI", ne ende donim të përdornim sa më shumë AI. Për të qenë në gjendje ta bëjmë këtë, ne krijuam modele të shumta (të akorduara mirë) të cilat ishin të gjitha përgjegjëse për një pjesë të ndryshme të procesit të shkrimit të këngëve. Këto katër modele ishin: DoriVAE, CocoZoë, GPT-Sandy dhe Arhurton. Ky postim në blog do të fokusohet në përshkrimin e CocoZoë. Në procesin e shkrimit të këngëve, CocoZoë u përdor për të harmonizuar mostrat e krijuara nga DoriVAE. Nëse dëshironi më shumë informacion mbi procesin tonë të shkrimit të këngës ose DoriVAE, ju lutemi vizitoni postimin tonë të mëparshëm në blog.
Harmonizimi me Coconet
CocoZoë është, siç tregon emri i saj, modeli Coconet i akorduar mirë në muzikën bashkëkohore. Coconet është modeli që qëndron pas "Doodle Bach të Google". Të luash me shkarravinë e Bach të jep një ndjenjë të mirë të asaj që modeli themelor, Coconet, po përpiqet të arrijë. Duke pasur parasysh një sekuencë notash në një zë, ai mund të gjenerojë tre zëra që tingëllojnë mirë së bashku kur luhen njëkohësisht. Këtë harmonizim do ta quajmë në pjesën e fundit të tekstit. Më konkretisht, Coconet është një rrjet nervor konvolucionist (CNN) i cili përdor kampionimin (të bllokuar) të Gibbs. Modelja fillimisht ishte trajnuar në muzikën Johan Sebastian Bach, në mënyrë që të harmonizonte muzikën në një mënyrë të veçantë.
Coconet është trajnuar në një mënyrë që një kompozitor do të shkruante një pjesë muzikore. Një kompozitor nuk kompozon një pjesë muzikore në mënyrë lineare. Është më tepër një proces përsëritës, ku një pjesë e pjesës muzikore hiqet gjatë çdo përsëritjeje. Coconet trajnohet në një mënyrë të ngjashme. Gjatë stërvitjes, notat e saj fshihen rastësisht dhe ne e trajnojmë pjesën muzikore për të plotësuar notat e duhura. Sipas krijuesve të Coconet, procedura e trajnimit është e barabartë me trajnimin e shumë modeleve të ndryshme në të njëjtën kohë, ku secili model është i zbatueshëm në një skenar të ndryshëm.Më shumë informacion se pse ky proces trajnimi funksionon kaq mirë mund të gjenden në Blogun e Magenta-s mbi modelin Coconet.
Më konkretisht, Coconet është një model mjaft i thjeshtë konvolucional që përmban normalizimin e grupit dhe lidhjet e mbetura. Ai është trajnuar në hartat e veçorive 2D të cilat kanë përmasat e mëposhtme: koha x lartësia x numri i zërave, ku çdo pikë në kohë përfaqësohet si një vektor me një hap të nxehtë. Kjo do të thotë që modeli origjinal është i kufizuar në pranimin e vetëm një note për zë për hapin kohor. Sigurisht që ky kufizim mund të hiqet, megjithatë, pasojë e kësaj do të ishte një rritje e madhe e variablave.
Përshtatje me të dhënat e Lakh
Ne trajnuam Coconet në grupin e të dhënave Lakh që të tingëllojë më bashkëkohor. Grupi i të dhënave Lakh, me muzikë bashkëkohore, përmban 176.000 skedarë midi. Skedarët midi përmbajnë informacion se cilat shënime luhen, kur dhe sa kohë luhen. Ndryshe nga skedarët standard mp3, skedarët midi nuk përmbajnë informacion audio. Skedarët Midi janë kështu të lehta dhe përmbajnë një numër më të vogël dimensionesh. Megjithatë, ata gjithashtu kanë kufizime pasi nuk mund të kapin zërat njerëzorë dhe shumë timbra dhe dinamikë delikate si dhe ekspresivitet në muzikë. Të dhënat e Lakh ka gjithashtu 45.000 skedarë midi të cilët janë të lidhur me grupin e të dhënave të miliona këngëve, i cili është një depo mp3 me muzikë bashkëkohore. Çdo rreshtim përmban gjithashtu një pikë besimi. Për më tepër, grupi i të dhënave Milion Song përmban gjithashtu meta të dhëna si çelësi, artisti, zhanri, vallëzimi…
Të dhënat e midi Lakh u përpunuan paraprakisht në mënyrë që të mund të përdoret për të ritrajnuar Coconet. Për të trajnuar CocoZoë-n ne përdorëm jo më shumë se katër këngë instrumentale: piano, tela, kitarë dhe bas. Për më tepër, ne duhej të siguroheshim që kënga të kishte tempin dhe tastin e duhur dhe të luhej vetëm një notë për çdo këngë në çdo hap kohor.
Pasi CocoZoë u rikualifikua, ne i dhamë meloditë që rezultuan nga DoriVAE, të cilat mund t'i harmonizonte. Përsëri, ne qershi zgjodhëm rezultatet më të mira. Disa nga këto mostra të harmonizuara më pas mund të bashkohen në DAW dhe të kalojnë më tej në hapin e fundit pasurues.
Poshtë këtij paragrafi mund të gjeni melodinë e krijuar me DoriVAE dhe e përdorur si hyrje për modelin Coconet dhe CocoZoë. Rezultatet që rezultojnë mund të gjenden gjithashtu më poshtë këtij paragrafi.
konkluzioni
Coconet është një model i cili jep rezultate mbresëlënëse për sa i përket harmonizimit të një pjese muzikore. Në mënyrë të ngjashme gjeneron Coconet-i i akorduar, rezultate më bashkëkohore të harmonizuara. Tani na duhet vetëm të bashkojmë rezultatet e modeleve të ndryshme dhe të vendosim një ritëm të këndshëm nën të. Dhe sigurisht, nuk mund të kesh një këngë të mrekullueshme pa disa tekste të mira. Qëndroni të sintonizuar për postimin e ardhshëm të blogut mbi këto tema.
Ju gjithashtu mund të pëlqeni
Song of the Machines (1): Mostrimi i seksioneve muzikore — Dorian Van den Heede
"dataroots"
