Detección robusta de la orientación de la cabeza del usuario a partir de una cámara RGBZ

Abstract

La localización de caras es una característica ampliamente utilizada actualmente en diferentes productos software. Además, con la aparición de sensores RGBZ (como la Kinect o la RealSense) se ha añadido la capacidad no sólo detectar dónde hay una cabeza, si no de obtener información tridimensional sobre la misma. En este proyecto se diseña, desarrolla y analiza un software que permita obtener, mediante el uso de las cámaras RGBZ anteriormente mencionadas, la orientación 3D de la cabeza del usuario que esté delante de ellas, es decir, los ángulos que determinan hacia qué dirección está mirando el usuario. Para ello se ha diseñado un algoritmo basado en el método Iterative Closest Point, de forma que por cada imagen capturada por la cámara se detecte qué ángulos presenta la cabeza. También se ha desarrollado una plataforma externa utilizando un servomotor y un microcontrolador Arduino, permitiendo realizar pruebas de los diferentes parámetros del algoritmo para validar sus resultados, mediante una plataforma giratoria sobre la que se puede orientar con precisión una reproducción a escala de una cabeza 3D.

La localització de cares es una característica àmpliament utilitzada en diferents productes software actualment. A més, amb l’aparició de sensors RGBZ (com la Kinect o la RealSense) s’ha afegit la capacitat de, no només detectar a on hi ha una cara, si no d’obtenir la informació tridimensional d’aquesta. En aquest projecte es dissenya, desenvolupa i s’analitza un software que permeti obtenir, mitjançant l’ús de les càmeres RGBZ anteriorment nombrades, la orientació del cap de l’usuari que es trobi davant d’elles, és a dir, dels angles que defineixen cap a quina direcció està mirant l’usuari. Per aconseguir-ho s’ha dissenyat un algoritme basat en el mètode Iterative Closest Point, de manera que per cada imatge capturada per la càmera es detecti quins angles presenta el cap. També s’ha desenvolupat una plataforma externa utilitzant un motor i un microcontrolador Arduino, a on es poden realitzar proves dels diferents paràmetres de l’algoritme per validar els resultats mitjançant una plataforma giratòria sobre la qual s’ha col·locat una reproducció a escala d’un cap en tres dimensions que es pot orientar amb precisió.

Face localization has become a hugely demanded feature in many different sofware products. In addition, with the appearence of RGBZ sensors (such as the Kinect and the RealSense) the capacity of not only detecting where the face is located but also obtaining the 3D orientation of the face has been added. In this project we aim to design, develop and test a software able to, using the RGBZ sensors, detect the pose of the head of a user in front of the camera, that is, extract the three angles that define the direction of the head. To do that, we developed an algorithm based on the Iterative Closest Point family. For each image provided by the camera, the angles are detected. An external platform was also developed using a servomotor and an Arduino microcontroller, able to perform tests of the different parameters of the algorithm to validate the results using a rotating base that can turn precisely a reproduction of a real-size 3D printed head.