Alignment of the recording of a violin performance with the corresponding musical score

Abstract

Català: En aquest projecte es pretén estudiar una part de la conducta dels músics, com és la variació del tempo al llarg de la cançó. Per fer-ho, s'ha d'obtenir la durada de les notes durant la interpretació de les peces. Les notes tenen una durada determinada a la partitura, però aquesta varia substancialment respecte la durada de les notes tocades pels músics, ja que aquests toquen sense l'ajut de metrònom. És per això que existeix una variació en el tempo de la cançó respecte el tempo teòric. Obtenint la durada real de les notes, es pot calcular el tempo seguit pel músic. En el nostre cas els músics estudiats són violinistes. El procediment per analitzar els temes musicals enregistrats consisteix en la gravació del so, i en la utilització d'uns sensors per obtenir la posició, el moviment, la força i la velocitat de l'arc durant la peça. Amb tots aquests paràmetres és possible aconseguir un model definit de la interpretació del músic. Per calcular el tempo s?ha implementat un algorisme, anomenat detector de polsos o beat detector, que detecta el tempo seguit pel violinista durant la interpretació. Posteriorment, s?ha implementat un altre algorisme, anomenat alineador o aligner que, aprofitant els resultats de la variació del tempo, crea una partitura amb les duracions reals de cada nota. Actualment, els sistemes existents que detecten el tempo de les cançons utilitzen només les dades de la gravació del so. Per tal de millorar l'eficiència d'aquests algorismes, proposem un nou sistema que, a part d'utilitzar el so, incorpora les dades provinents del moviment de l'arc. Finalment, per tal de millorar els resultats obtinguts, s'ha proposat un sistema que detecta els polsos de les cançons utilitzant les dades provinents d'un duet, trio o quartet com a senyals d'entrada. El fet que hi hagi més d'una veu en una cançó implica que hi hagi una relació implícita entre els tempos que segueixen els violinistes, que és la que utilitza l'algorisme proposat.

Castellano: En este proyecto se pretende estudiar una parte de la conducta de los músicos, como es la variación del tempo a lo largo de la canción. Para hacerlo, se obtiene la duración de las notas durante la interpretación de las piezas. Las notas tienen una duración determinada en la partitura, pero ésta varia sustancialmente respecto la duración de las notas tocadas por los músicos, ya que éstos tocan sin la ayuda de metrónomo. Es por eso que existe una variación en el tempo de la canción respecto al tempo teórico. Obteniendo la duración real de las notas, se puede calcular el tempo seguido por el músico. En nuestro caso los músicos estudiados son violinistas. El procedimiento para analizar los temas musicales grabados consiste en la grabación del sonido y en la utilización de unos sensores para obtener la posición, el movimiento, la fuerza y la velocidad del arco durante la pieza. Con todos estos parámetros es posible conseguir un modelo definido de la interpretación del músico. Actualmente, los sistemas existentes que detectan el tempo de las canciones utilizan sólo los datos de la grabación del sonido. Con tal de mejorar la eficiencia de estos algoritmos, proponemos un nuevo sistema que, a parte de utilizar el sonido, incorpora los datos provenientes del movimiento del arco. Finalmente, con tal de mejorar los resultados obtenidos, se propone un sistema que detecta los pulsos de las canciones utilizando los datos provenientes de un dueto, trío o cuarteto como señales de entrada. El hecho de que haya más de una voz en una canción implica que haya una relación implícita entres los tempos que siguen los violinistas, que es la que utiliza el algoritmo propuesto.

English: This work aims to study some of the behavior of the musicians regarding the change of the tempo throughout the song. In order to do it, the length of the notes during the performance of the pieces has to be computed. Although the notes have a fixed length marked in the score, it varies substantially with the duration of the notes of the song. Because they play without the help of a metronome, this is why there is a variation of the tempo of the songs compared with the theoretical one. The actual tempo followed by the musicians can be computed by calculating the actual duration of the notes. In our case, the musicians studied are violinists. The procedure to analyze the recorded songs consists of using some sensors to obtain the position, the velocity, the movement and the force of the bow used in the performance. With all these parameters it is possible to define an accurate model of the musical performance. Currently, the existing systems that detect the tempo of the songs only use the recording data as an input. In order to improve the efficiency of these algorithms, we propose a new system that not only uses the recording, but also the data of the bow displacement. Finally, in order to improve the obtained results, we propose another system that detects the beats of the songs using the data of a duet, trio or quartet as inputs. In these cases, there is more than one violin playing at the same time, and there is an implicit relation between the tempos followed by the violinists. The proposed algorithm takes advantage of this relation to obtain the actual tempo.