Midi loop-station

Abstract

English: this master thesis was triggered by a very ambitious idea: the creation of a system capable of (1) recording and processing an input audio signal generated by a clarinet, transform it into a MIDI output signal and (2) eventually send it to a robot that plays the initial melody on a bass clarinet. Thereby the aimed result is a "musician-robot" that behaves similarly to the loop-stations available in the market. Typical loop-stations allow musicians to record a sequence and repeat it in loop-mode. The recorded sequence is then used as a base while the musician has total freedom to play on top of it. In most common loop-stations, the recording time is determined by a pedal that is controlled by the musician. This thesis focuses on the signal-processing module that transforms the original audio input into a MIDI output signal. First of all, the system records and processes a short melody played by the user on a clarinet or similar instrument. Then the input signal is transformed and reproduced in loop-mode. The output is a series of MIDI instructions that can be reproduced by any virtual instrument (e.g. electric guitar, didgeridoo or harpsichord). From a technical standpoint, the signal processing algorithm has been developed over Matlab. Sequentially, the audio signal is captured by a microphone plugged into the computer's sound card. Then it is processed by the abovementioned algorithm that breaks down the melody into individual notes and extracts its basic musical properties: pitch, volume and vibration. Eventually, using complementary modules developed aside from this project, the signal is sent out keeping all the original musical properties. Eventually, the thesis outlines the way forward to complete the original ambitious idea of creating a "musician-robot" that would play the original melody on a bass-clarinet. It is suggested to integrate the signal processing module in a DSP. It would then become the brain of the robot that would send the MIDI signals to a second controller responsible for the mechanical system that would manipulate the bass clarinet. The mechanical system is also briefly described. It also proposes the implementation of a Nonlinear Blind Source Separation algorithm, in order to obtain an original sequence when two or more sources are simultaneously recorded by several microphones. The original sequence will be basically contaminated by the sound of the other source, by the bounce of the walls and by the echo and the characteristics of the room.

Castellano: este proyecto final de carrera partió de una idea muy ambiciosa: el desarrollo de un sistema capaz de (1) registrar y procesar una señal de audio proveniente de un clarinete y transformarla en una señal MIDI que (2) fuera enviada a un robot que, mediante un sistema mecánico, manipulara un clarinete bajo y reprodujera la melodía inicial. El resultado sería la creación de un robot-músico que emulara el comportamiento de los Loop-Station existentes en el mercado. Un aparato Loop-Station típico repite una secuencia previamente interpretada, de tal forma que una persona se puede grabar a sí misma y luego tocar encima de lo grabado. Estos sistemas captan la señal de audio durante un cierto tiempo, que viene determinado normalmente por un sistema de pedales, y luego la reproducen en forma de bucle. Este proyecto se centra en el módulo de procesamiento de señal que permite la transformación audio-MIDI de la secuencia original (interpretada por un clarinete o instrumento similar). Partiendo de una secuencia musical corta interpretada por el usuario, el sistema la registra, procesa y finalmente envía una señal de salida que se reproduce en forma de bucle. La señal de salida será una serie de instrucciones MIDI (Musical Instrument Digital Interface) que podrán ser reproducidas por cualquiera de los múltiples instrumentos virtuales que existen hoy en día (del clave en la guitarra eléctrica pasando por dijeridoo). Desde un punto de vista técnico, el algoritmo se ha desarrollado sobre el software Matlab. Este permite que la señal inicialmente captada a través de un micrófono conectado a la tarjeta de sonido, sea procesada por el algoritmo. El algoritmo reconoce las notas que componen la secuencia original y extrae las características musicales básicas: nota, volumen y vibrado. Finalmente, utilizando complementos Matlab desarrollados al margen de este proyecto, se envían las señales MIDI de salida conservando las características musicales de la señal original. Por último, se describe la línea a seguir para cerrar el círculo y conseguir el ambicioso objetivo inicial de crear un robot-músico que reprodujera la señal original en un clarinete bajo. Se propone integrar en un DSP (digital signal processor) el módulo de procesamiento antes descrito. Este se convertiría en el cerebro que enviaría las instrucciones MIDI a un segundo controlador responsable del sistema mecánico que manipulaba el instrumento. Aparte de esto, también se propone la implementación de un algoritmo de separación ciega de fuentes, para obtener las secuencias originales cuando dos o más fuentes son registradas simultáneamente por varios micrófonos. La secuencia original extraer estará básicamente contaminada por el sonido de la otra fuente, por rebotes con las paredes y por el eco y las características de la sala.

Català: aquest projecte final de carrera va partir d'una idea molt ambiciosa: el desenvolupament d'un sistema capaç de (1) enregistrar i processar una senyal d'àudio provinent d'un clarinet i transformar-la en una senyal MIDI que (2) fós enviada a un robot que, mitjançant un sistema mecànic, manipulés un clarinet baix i reproduís la melodia inicial. El resultat seria la creació d'un robot-músic que emulés el comportament dels Loop-Station existents al mercat. Un aparell Loop-Station típic repeteix una seqüència prèviament interpretada, de tal manera que una persona es pot gravar a si mateix i després tocar damunt del que s'ha enregistrat. Aquests sistemes capten el senyal d'àudio durant un cert temps, que ve determinat normalment per un sistema de pedals, i després la reprodueixen en forma de bucle. Aquest projecte es centra en el mòdul de processament de senyal que permet la transformació àudio-MIDI de la seqüència original -interpretada per un clarinet o instrument similar-. Partint d'una seqüència musical curta interpretada per l'usuari, el sistema l'enregistra, processa i finalment envia una senyal de sortida que es reprodueix en forma de bucle. EL senyal de sortida serà una sèrie d'instruccions MIDI (Musical Instrument Digital Interface) que podran ser reproduïdes per qualsevol dels múltiples instruments virtuals que existeixen avui en dia -del clave a la guitarra elèctrica passant pel dijeridoo-. Des d'un punt de vista tècnic, l'algorisme s'ha desenvolupat sobre el programari Matlab. Aquest permet que el senyal inicialment captat a través d'un micròfon connectat a la targeta de so, sigui processada per l'algorisme. L'algorisme reconeix les notes que componen la seqüència original i n'extreu les característiques musicals bàsiques: nota, volum i vibrat. Finalment, utilitzant complements Matlab desenvolupats al marge d'aquest projecte, s'envien les senyals MIDI de sortida conservant les característiques musicals de la senyal original. Per últim, es descriu la línia a seguir per tancar el cercle i aconseguir l'ambiciós objectiu inicial de crear un robot-músic que reproduís el senyal original en un clarinet baix. Es proposa integrar en un DSP (digital signal processor) el mòdul de processament abans descrit. Aquest esdevindria el cervell que enviaria les instruccions MIDI a un segon controlador responsable del sistema mecànic que manipularia l'instrument. A part d'això, també es proposa la implementació d'un algorstme de separació cega de fonts, per tal d'obtenir les seqüències originals quan dues o més fonts són enregistrades simultàniament per diversos micròfons. La seqüència original a extreure estarà bàsicament contaminada pel so de l'altra font, pels rebots amb les parets i per l'eco i les característiques de la sala.