3D Partial scans models for people recognition with a RGB-D sensor

Abstract

Research developed in this thesis is motivated by a vision of a future where social activities and personalized services are delivered in intelligent environments, entering a new era of more natural and wholesome human-machine interactions. While people are moving freely within these environments, individuals should be recognized by an artificial agent through a wide range of diverse tasks: detection, identification, re-identification and tracking. In this context, facial features are not enough and thus a need appears about finding new sources of descriptive human information to support those actions.Novel approaches in people recognition using human bodies as the main target are introduced throughout this dissertation. Our proposals intend to take full advantage of the powerful capabilities of one device only, regardless of whether the technology exploited is 2D (simple camera) or 3D (RGB-D sensor), favoring the effective use of minimum resources and combining less intensive measures. Applications start with the automatic landmarking of human shapes by learning a small dataset, upgraded by on-line 3D body shape contour tracking with an RGB-D sensor; next, groups of people are categorized and tracked in a public space and studied as a cognitive emulation of human behavior towards relationships generated through spatial and motion interactions; finally, a natural user interface is created with a RGB-D sensor for the identification and re-identification of individuals on the scene in real-time.By employing practical computer vision and machine learning techniques, experimental evaluation will show fair and adequate performance of the introduced systems, comparable to other more complex ones. All this implementation is carried out with due respect for human perception and the quality of their interaction with the intelligent agents. Always bearing in mind that their application goes hand in hand with the idea of eventually incorporating them in smart environments and robotic platforms.

La investigación desarrollada en esta tesis está motivada por una visión de futuro donde las actividades sociales y los servicios personalizados se realizan en entornos inteligentes, entrando en una nueva era de interacciones humano-máquina más naturales e íntegras. Cuando las personas se mueven libremente dentro de estos entornos, éstas deben ser reconocidas por un agente artificial a través de una amplia gama de tareas diversas: detección, identificación, re-identificación y seguimiento. En este contexto, el uso de características faciales no es suficiente y, por lo tanto, aparece la necesidad de encontrar nuevas fuentes de información humana descriptiva para respaldar esas acciones. En esta memoria se presentan nuevos enfoques en el reconocimiento de personas que utilizan la forma del cuerpo humano como elemento principal de obtención de información. Nuestras propuestas pretenden explotar al máximo las capacidades que permiten el uso de un único dispositivo, independientemente de si la tecnología explotada es 2D (cámara simple) o 3D (sensor RGB-D). Este enfoque favorece el uso efectivo de recursos mínimos y combina formas de procesado menos intensivas. Las aplicaciones desarrolladas inicialmente refieren al etiquetado automático de la forma del cuerpo humano mediante el aprendizaje de un pequeño conjunto de datos, actualizado mediante seguimiento de contorno en forma de cuerpo 3D en línea con un sensor RGB-D; luego, se exponen los desarrollos realizados sobre categorización y rastreo de grupos de personas en un espacio público, los cuales son estudiados como una emulación cognitiva del comportamiento humano hacia las relaciones generadas a través de interacciones espaciales y de movimiento; finalmente, se crea una interfaz de usuario natural con un sensor RGB-D para la identificación y re-identificación de individuos en la escena en tiempo real. Mediante el empleo de técnicas prácticas de visión por computador y aprendizaje automático, la evaluación experimental mostrará un rendimiento equilibrado y adecuado de los sistemas presentados, comparable a otros más complejos. Toda esta implementación se lleva a cabo con el debido respeto por la percepción humana y la calidad de su interacción con los agentes inteligentes, siempre teniendo en cuenta que su aplicación va de la mano con la idea de eventualmente incorporarlos en entornos inteligentes y plataformas robóticas.