An evaluation of the impact of body movement data in automatic music generation processes with long short-term memory neural networks
Realitzat a/ambUniversity of Limerick
Tipus de documentTreball Final de Grau
Data2017
Condicions d'accésAccés obert
Llevat que s'hi indiqui el contrari, els
continguts d'aquesta obra estan subjectes a la llicència de Creative Commons
:
Reconeixement-NoComercial-SenseObraDerivada 3.0 Espanya
Abstract
El aprendizaje automático está ganando popularidad en el campo artístico y la generación de música. El uso del aprendizaje profundo para crear canciones subjetivamente convincentes ha sido un área activa de investigación que ha atraído mucha atención últimamente. Trabajos anteriores en la generación de música se han centrado principalmente en la creación de música mediante el aprendizaje sólo de la música en sí. En este proyecto utilizaremos la plataforma Magenta de Google para investigar si la adición de una coreografía en la ecuación mejora el resultado en las piezas generadas. El objetivo es poder generar música con un modelo entrenado con información de música y movimiento y luego evaluar los resultados. La generación de los datos de movimiento y su serialización es una de las partes principales del proyecto, ya que necesitan ser fusionados con los datos de música que ya se están utilizando. Diferentes modelos de Redes Neuronales de gran Memoria de Corto Plazo (LSTM) serán entrenados con estos datos y posteriormente evaluados por explorar la utilidad de este enfoque en el contexto de la generación musical a través del aprendizaje profundo. L'aprenentatge automàtic està guanyant popularitat en el camp artístic i la generació de música. L'ús de l'aprenentatge profund per crear cançons subjectivament convincents ha estat un àrea activa d'investigació que ha atret molta atenció últimament. Treballs anteriors en la generació de música s'han centrat principalment en la creació de música mitjançant l'aprenentatge només a partir de la música en sí. En aquest projecte farem servir la plataforma Magenta de Google per investigar si l'addició d'una coreografia en l'equació millora el resultat en les peces generades. L'objectiu és poder generar música amb un model entrenat amb informació de música i moviment, i després avaluar els resultats. La generació de les dades de moviment i la seva serialització és una de les parts principals del projecte, ja que necessiten ser fusionades amb les dades de música que ja s'estan utilitzant. Diferents models de Xarxes Neuronals de gran Memòria de Curt Termini (LSTM) seran entrenats amb aquestes dades i posteriorment avaluats per explorar la utilitat d'aquest enfocament en el context de la generació musical a través de l'aprenentatge profund. Machine learning is gaining popularity in the artistic field and music generation. Using deep learning to create compelling songs has been an active area of research that has drawn a lot of attention lately. Previous work in music generation has mainly been focused on creating music by learning only from music itself. In this project we will use Google's project Magenta to investigate if the addition of a choreography in the equation actually improves the result on the generated pieces. The goal is to be able to generate music with a model trained with music and movement information and then evaluate the results. Generation of the movement data and its serialization is one of the main parts of the project as it needs to be merged with the music data that is already being used. Different LSTM models will be trained with this data and later evaluated in order to explore the usefulness of this approach in the context of music generation through deep learning.
MatèriesMachine learning, Neural networks (Computer science), Aprenentatge automàtic, Xarxes neuronals (Informàtica)
TitulacióGRAU EN ENGINYERIA DE SISTEMES AUDIOVISUALS (Pla 2009)
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
An Evaluation o ... Long Short-Term Memory Ne | 12,09Mb | Visualitza/Obre |