Modelling of the audio-visual localization using artificial neural networks
Visualitza/Obre
thesis.pdf (4,113Mb) (Accés restringit)
Estadístiques de LA Referencia / Recolecta
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/119040
Realitzat a/ambTechnische Universität Dresden
Tipus de documentTreball Final de Grau
Data2018-02
Condicions d'accésAccés restringit per decisió de l'autor
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
Abstract
Multimedia interaction is an exciting and rapidly growing area aiming to design new technologies such as Virtual Reality systems, home theatres, gaming, teleconferencing and Human Computer Interaction (HCI). Multimedia interfaces aim at making communication with machines more natural, more efficient, and more engaging. In this project, auditory-visual perception effects on sound-source localization such as the ventriloquist effect are going to be studied. To better understand the human audio-visual perception behavior a psychophysical experiment, with 20 participants, is going to be carried out, and the results statistically analyzed. From the results it is proved how the visual perception dominates the auditory perception in the spatial domain. Once analyzed, an Artificial neural network (ANN) will be developed using the data from the experiment to model the human audio-visual interaction behavior. A good score will be achieved with the NN. Machine Learning is applied everywhere nowadays, and Neural Networks are one of the most common and effective computing ML systems. La interacció multimèdia és una àrea excitant i en ràpid creixement amb l'objectiu de dissenyar noves tecnologies, com ara sistemes de Realitat Virtual, sistema home theater, jocs, teleconferències i Human Computer Interaction (HCI). Les interfícies multimèdia tenen com a objectiu fer que la comunicació amb màquines sigui més natural, més eficient i més atractiva. En aquest projecte, s'estudiaran els efectes de la percepció auditiva-visual en la localització de la font del so com l'efecte ventríloc. Per comprendre millor el comportament de la percepció audiovisual humana, es durà a terme un experiment psicofísic amb 20 participants, i els resultats seran analitzats estadísticament. En aquest es demostrarà com la percepció visual domina la percepció auditiva en el domini espacial. Una vegada analitzat, una xarxa neuronal artificial (ANN) es desenvolupara utilitzant les dades de l'experiment per modelar el comportament d'interacció audiovisual humana. Uns bons resultats seran obtinguts amb la xarxa neuronal. L'aprenentatge automàtic (Machine Learning) s'aplica a tot arreu avui en dia, i les xarxes neuronals són un dels sistemes de computació de ML més comuns i efectius. La interacción multimedia es un área emocionante y en rápido crecimiento con el objetivo de diseñar nuevas tecnologías tales como sistemas de realidad virtual, sistema home theater, juegos, teleconferencias y Human Computer Interaction (HCI). Las interfaces multimedia tienen como objetivo hacer que la comunicación con las máquinas sea más natural, más eficiente y más atractiva. En este proyecto, se estudiarán los efectos de la percepción auditiva-visual en la localización de la fuente de sonido, como el efecto ventrílocuo. Para comprender mejor el comportamiento de la percepción audiovisual humana, se llevará a cabo un experimento psicofísico con 20 participantes y se analizarán estadísticamente los resultados. Se demuestra como la percepción visual domina la percepción auditiva en el dominio espacial. Una vez analizado, se desarrollará una red neuronal artificial (ANN) utilizando los datos del experimento para modelar el comportamiento de la interacción audiovisual humana. Unos buenos resultados serán obtenidos con la red neuronal. El aprendizaje automático (Machine Learning) se aplica en todos los ámbitos hoy en día, y las redes neuronales son uno de los sistemas de computación ML más comunes y efectivos.
MatèriesMachine learning, Multimedia systems, Neural networks (Computer science), Aprenentatge automàtic, Sistemes multimèdia, Xarxes neuronals (Informàtica)
TitulacióGRAU EN ENGINYERIA DE SISTEMES AUDIOVISUALS (Pla 2009)
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
thesis.pdf | 4,113Mb | Accés restringit |