Accelerating a mixed reality applicationon the edge using a Jetson TX2

Abstract

Mixed reality (MR) applications or Augmented Reality (AR) applications, as their names imply, are meant to unify the virtual world within the real world. This type of applications demands high computer capability and also high power demand, which occurs to confront with the devices where they are usually ran, the smartphones. Edge computing brings a solution to it. Offloading the high demanding parts to an external device seems to solve the issue, but it carries another problem: a high end-to-end latency. This thesis is focused on reducing the end-to-end latency of an existing MR application. In order to achieve it, the actual edge device, which is a computer, will be swapped to a Jetson TX device. Two main capabilities of the Jetson were used: Dedicated hardware was used to encode and decode the video and also, offloading work from the CPU to the GPU using the Compute Unified Device Architecture (CUDA). This changes lead to reduce the end-to-end latency to half of the initial and also boosted the overall performance of the application. Which almost doubled the initial frames per second.

Las aplicaciones de Realidad Mixta (MR) o Realidad Aumentada (AR), como sus nombres indican, tienen como objetivo unificar el mundo virtual con el mundo real. Este tipo de aplicaciones exigen una gran capacidad de computación y también una gran demanda de energía, lo cual difiere con los dispositivos donde suelen funcionar, los smartphones. El Edge Computing aporta una solución a ello. Traspasar las partes más exigentes de la aplicación a un dispositivo externo parece resolver este problema, pero añade otro: una alta latencia de extremo a extremo. En esta tesis nos centramos en reducir la latencia de extremo a extremo a una aplicació de MR existente. Para conseguirlo, el edge device existente, el cual es un ordenador, será sustituido por una Jetson TX. Se utilizan dos principales características de los Jetson para conseguirlo: utilizaremos hardware específico para codificar y descodificar el vídeo y, también, mitigar la Carga de la CPU a la GPU a través la Arquitectura de Dispositivos Unificados de Computación (CUDA). Estos cambios han permitido reducir la latencia de extremo a extremo a la mitad de la inicial y también aumentar el rendimiento de la aplicación. Lo cual casi duplicó los frames por segundo iniciales de la aplicación.

Les aplicacions de Realitat Mixta (MR) o Realitat Augmentada (AR), com els seus noms indiquen, tenen com a objectiu unificar el món virtual amb el món real. Aquest tipus d'aplicacions exigeixen una gran capacitat de computació i també una gran demanda d'energia, la qual cosa difereix amb els dispositius on acostumen a funcionar, els smartphones. El Edge Computing aporta una solució. Traspassant les parts més exigents de l'aplicació a un dispositiu extern sembla resoldre wel problema, però afegeix un de nou: una alta latència d'extrem a extrem. En aquesta tesi ens centrem a reduir aquesta latència d'extrem a extrem a una aplicació de ja MR existent. Per aconseguir-ho, l'edge device existent, el qual és un ordinador, serà substituït per una Jetson TX. S'utilitzen dues principals característiques dels Jetson per a aconseguir-ho: utilitzarem hardware específic per codificar i descodificar el vídeo i, també, mitigarem la càrrega de la CPU a la GPU mitjnçant l'Arquitectura de Dispositius Unificats de Computació (CUDA). Aquests canvis han permès reduir la latència d'extrem a extrem a la meitat de la inicial i també augmentar el rendiment de l'aplicació. Amb el qual, gairebé s'han duplicat els frames per segon inicials de l'aplicació.