Improvement of Arm Tracking using Body Part Detectors

Abstract

This Ms thesis presents a new particle filtering approach for the human body pose estimation using video sequences. Although Particle Filters are suitable for non-linear and non-Gaussian processes, such as the estimation of the human pose, they are not able to efficiently explore the high-dimensional pose space. Hierarchical Particle Filter copes with such pose spaces by estimating subparts of the body independently. Typically, these systems are sensitive to fast motions or occlusions, since they strongly rely on the previously estimated pose. We reduce these weaknesses by introducing body part detections, produced by a novel detection framework based on multiple views, in the Hierarchical Particle Filter. Our method, termed Detector-Driven Hierarchical Particle Filter, introduces body part detections as cues in both particle generation and observation model. We focus our approach on the improvement of arm tracking, since arm motion estimation is usually the most challenging and common in natural scenes. Our system is evaluated in the publicly available IXMAS dataset. Comparative results between the proposed strategy and standard Hierarchical Particle Filter show the effectiveness of our algorithm.

Este proyecto presenta un método basado en el filtro de partículas para el seguimiento del cuerpo humano utilizando secuencias de vídeo. Varios algoritmos, entre ellos el Hierarchical Particle Filter, han sido propuestos para solucionar los problemas de eficiencia que tienen los filtros de partículas en espacios de alta dimensionalidad, tales como el generado por la configuración de un esqueleto del cuerpo humano. Estos métodos, sin embargo, son sensibles a movimientos rápidos o a oclusiones, ya que dependen de la pose humana estimada anteriormente. Nuestro método reduce estas debilidades introduciendo detecciones de partes del cuerpo humano, obtenidas por un novedoso detector basado en múltiples vistas, en el modelo de observación y de generación de partículas del Hierarchical Particle Filter. En concreto, centramos nuestro método (llamado Detector-Driven Hierarchical Particle Filter) en la mejora del seguimiento de brazos, ya que los movimientos de estas partes son los comunes y, al mismo tiempo, los más difíciles de estimar. Finalmente, mostramos mediante resultados experimentales, en base de datos IXMAS, el incremento en la robustez del seguimiento.

Aquest projecte presenta un mètode basat en el filtre de partícules per al seguiment del cos humà utilitzant seqüències de video. Alguns algoritmes, com el Hierarchical Particle Filter, han estat proposats per a solucionar els problemes d'eficència que tenen els filtres de partícules en espais d'alta dimensionalitat, com el produït per la configuració d'un esquelet del cos humà. Aquests métodes, però, són sensibles a moviments ràpids o a oclusions, ja que depenen de la postura humana estimada prèviament. El nostre mètode redueix aquestes debilitats introduïnt deteccions de parts del cos humà, obtingudes gràcies a un novel detector basat en múltiples vistes, en el model d'observació i de generació de partícules del Hierarchical Particle Filter. En concret, centrem el nostre mètode (anomenat Detector-Driven Hierarchical Particle Filter) en la millora del seguiment de braços, degut a que els moviements d'aquestes parts són els més comuns i, alhora, els més difícils d'estimar. Finalment, mostrem mitjançant resultats experimentals, en base de dades IXMAS, l'increment en la robustesa del seguiment.