A unity based validation model for rendering algorithms of motion tracked binaural recordings

Abstract

In 2004, motion-tracked binaural (MTB) sound was introduced as a new method for capturing, recording and reproducing spatial sound. In November 2010, the Technische Universität Berlin (TUB) started to evaluate MTB recordings and developed a C rendering application. One of the most direct applications of such technology is to create computer games. For this purpose, the goal of this project is to use Unity, which is one of the most known game development framework, to apply this new concepts in a practical situation. The project is based on the synchronization between a 2D game and a real-time rendered sound using several of the MTB algorithms. The main challenges were to develop a C++ based dll that implements the MTB logic, to create a Unity executable game and to integrate both technologies to produce the three-dimensional sound effect. The C code takes into account several input music mono channels and a rotation angle controlled by the game itself. As a final result, a complete Windows application is developed.

En 2004, el sonido Motion-Tracked Binaural (MTB) fue introducido como un nuevo método para capturar, grabar y reproducir sonido espacial. En noviembre de 2010, la Technische Universität Berlin (TUB) comenzó a evaluar las grabaciones MTB y desarrolló una aplicación de renderización en C. Una de las aplicaciones más directas de tal tecnología es crear juegos de computadora. Para ello, el objetivo de este proyecto es utilizar Unity, que es uno de los programas más conocidos para el desarrollo de juegos, para aplicar estos nuevos conceptos en una situación práctica. El proyecto se basa en la sincronización entre un juego 2D y un sonido renderizado a tiempo real utilizando varios algoritmos de MTB. Los principales retos fueron desarrollar una dll basada en C++ que implemente la lógica MTB, crear el juego ejecutable de Unity e integrar ambas tecnologías para producir el efecto sonoro tridimensional. El código C tiene en cuenta varios canales de entrada mono de música y un ángulo de rotación controlado por el juego en sí. Como resultado final, se ha desarrollado una aplicación completa de Windows.

El 2004, el so Motion-Tracked Binaural (MTB) es va introduir com un nou mètode per capturar, enregistrar i reproduir el so espacial. El novembre de 2010 la Technische Universität Berlin (TUB) va començar a avaluar enregistraments de MTB i va desenvolupar una aplicació de renderització en C. Una de les aplicacions més directes d'aquest tipus de tecnologia és la creació de jocs d'ordinador. Per aquest motiu, l'objectiu d'aquest projecte és utilitzar el Unity, un dels programes de desenvolupament de jocs més coneguts, per aplicar aquests nous conceptes en una situació pràctica. El projecte es basa en la sincronització d'un joc en 2D i un so renderitzat a temps real utilitzant diversos dels algoritmes de MTB. Els principals reptes del projecte van ser desenvolupar una dll en C++ que implementa la lògica de MTB, crear el joc executable de Unity i integrar ambdues tecnologies per produir l'efecte de so tridimensional. El codi implementat en C té en compte diversos canals d'entrada mono de música i un angle de rotació controlat pel joc en si. Com a resultat final s'ha desenvolupat una aplicació completa de Windows.