Modelling of the audio-visual localization using artificial neural networks

Abstract

Multimedia interaction is an exciting and rapidly growing area aiming to design new technologies such as Virtual Reality systems, home theatres, gaming, teleconferencing and Human Computer Interaction (HCI). Multimedia interfaces aim at making communication with machines more natural, more efficient, and more engaging. In this project, auditory-visual perception effects on sound-source localization such as the ventriloquist effect are going to be studied. To better understand the human audio-visual perception behavior a psychophysical experiment, with 20 participants, is going to be carried out, and the results statistically analyzed. From the results it is proved how the visual perception dominates the auditory perception in the spatial domain. Once analyzed, an Artificial neural network (ANN) will be developed using the data from the experiment to model the human audio-visual interaction behavior. A good score will be achieved with the NN. Machine Learning is applied everywhere nowadays, and Neural Networks are one of the most common and effective computing ML systems.

La interacció multimèdia és una àrea excitant i en ràpid creixement amb l'objectiu de dissenyar noves tecnologies, com ara sistemes de Realitat Virtual, sistema home theater, jocs, teleconferències i Human Computer Interaction (HCI). Les interfícies multimèdia tenen com a objectiu fer que la comunicació amb màquines sigui més natural, més eficient i més atractiva. En aquest projecte, s'estudiaran els efectes de la percepció auditiva-visual en la localització de la font del so com l'efecte ventríloc. Per comprendre millor el comportament de la percepció audiovisual humana, es durà a terme un experiment psicofísic amb 20 participants, i els resultats seran analitzats estadísticament. En aquest es demostrarà com la percepció visual domina la percepció auditiva en el domini espacial. Una vegada analitzat, una xarxa neuronal artificial (ANN) es desenvolupara utilitzant les dades de l'experiment per modelar el comportament d'interacció audiovisual humana. Uns bons resultats seran obtinguts amb la xarxa neuronal. L'aprenentatge automàtic (Machine Learning) s'aplica a tot arreu avui en dia, i les xarxes neuronals són un dels sistemes de computació de ML més comuns i efectius.

La interacción multimedia es un área emocionante y en rápido crecimiento con el objetivo de diseñar nuevas tecnologías tales como sistemas de realidad virtual, sistema home theater, juegos, teleconferencias y Human Computer Interaction (HCI). Las interfaces multimedia tienen como objetivo hacer que la comunicación con las máquinas sea más natural, más eficiente y más atractiva. En este proyecto, se estudiarán los efectos de la percepción auditiva-visual en la localización de la fuente de sonido, como el efecto ventrílocuo. Para comprender mejor el comportamiento de la percepción audiovisual humana, se llevará a cabo un experimento psicofísico con 20 participantes y se analizarán estadísticamente los resultados. Se demuestra como la percepción visual domina la percepción auditiva en el dominio espacial. Una vez analizado, se desarrollará una red neuronal artificial (ANN) utilizando los datos del experimento para modelar el comportamiento de la interacción audiovisual humana. Unos buenos resultados serán obtenidos con la red neuronal. El aprendizaje automático (Machine Learning) se aplica en todos los ámbitos hoy en día, y las redes neuronales son uno de los sistemas de computación ML más comunes y efectivos.