Chord recognition in real time

Abstract

[ANGLÈS] This project is intended to show the viability of doing automatic chord recognition in real time. Actually, a system which acquires audio information and automatically recognizes the underlying musical chords in real time could be useful for online music analysis and music learning. The system uses the chroma features, which are very well fitted to the chord recognition task. Several classifiers have been tested and compared during the system development, especially the ones based on GMM, SVM, Parzen and KNN. After the chord hypothesis is obtained at the segmental level, a post-processing technique is applied, which takes into account the prior chord transition probabilities. Experimental results with three collected datasets consisting of sequences of guitar chords show that the system can achieve a recognition rate higher than 95% for a system latency of about 0.4s, being the achieved audio acquisition latency around 9ms. The online system has been implemented in a standard computer with an USB sound card input, and a GUI was developed for demonstration purposes.

[CASTELLÀ] En este proyecto se pretende demostrar la viabilidad de un sistema de reconocimiento de acordes en tiempo real. Un sistema de estas características, que pueda adquirir la información de audio y automáticamente reconocer los acordes, puede ser útil para análisis musical en línea o para enseñanza musical. Nuestro sistema utiliza características croma, las cuales están perfectamente adaptadas a la tarea de reconocer acordes automáticamente. Durante la fase de desarrollo del sistema, se han probado y comprado varios clasificadores basados en técnicas GMM, SVM, Parzen y KNN. Después de obtener del clasificador la hipótesis de acorde a nivel de segmento, se aplica una técnica de pos-procesado que tiene en cuenta las probabilidades a priori de transición entre acordes. Los resultados obtenidos con tres bases de datos consistentes en secuencias de acordes provenientes de una guitarra muestran que el sistema puede lograr tasas de reconocimiento por encima del 95% para una latencia total de 0.4 segundos, siendo la latencia de adquisición de audio de aproximadamente 9ms. El sistema en tiempo real se ha implementado en un ordenador estándar y una tarjeta de sonido externa que se conecta al PC vía USB, y se ha desarrollado una interfaz gráfica con propósito demostrativo.

[CATALÀ] En aquest projecte es vol demostrar la viabilitat d’un sistema de reconeixement d’acords en temps real. Un sistema d’aquestes característiques, que pugui adquirir la informació de l’àudio i reconèixer automàticament els acords en temps real, pot ser útil per a l’anàlisi musical en línia o per a l’ensenyament musical. El sistema utilitza característiques croma, les quals estan perfectament adaptades a la tasca de reconèixer acords automàticament. Durant la fase de desenvolupament del sistema, s'ha provat i comparat diversos classificadors basats en tècniques GMM, SVM, Parzen i KNN. Després d’obtenir del classificador la hipòtesi d’acord a nivell de segment, s’aplica una tècnica de post-processament que té en compte les probabilitats a-priori de transició entre acords. Els resultats obtinguts amb tres bases de dades consistents en seqüències d’acords provinents d’una guitarra mostren que el sistema pot aconseguir taxes de reconeixement per sobre del 95% per a una latència total aproximadament de 0.4 segons, sent la latència d’adquisició d’àudio aproximadament de 9ms. El sistema en temps real s’ha implementat en un ordinador estàndard i una targeta de so externa que es connecta al PC via USB, i s’ha desenvolupat una interfície gràfica a efectes demostratius.