Arm and hand gesture recognition through online learning

Abstract

[ANGLÈS] The aim of this project is to develop a system capable to move a robot by recognizing the gestures performed by a user. The system has been already implemented by the LIRIS laboratory, and the objective has been to improve its performance and to add more functionalities. For improving the performance, a restructuring of the already existing feature vectors is proposed. That proposal implies taking into account the kinematic information of the actions when we construct the feature vectors. And as a new functionality, an online learning has been carried out. It allows the client to update the gesture recognizer and improve its performance in real time. That would allow the client to ameliorate immediately the detection of gestures that have been misclassified.

[CASTELLÀ] El objetivo de este proyecto es desarrollar un sistema capaz de mover un robot mediante el reconocimiento de gestos realizados por el usuario. El sistema ya ha sido implementado por el laboratorio LIRIS, y el objetivo ha sido mejorar sus prestaciones y añadir nuevas funcionalidades. Para mejorar el rendimiento, se propone una reestructuración de los vectores de características ya existentes. Esta propuesta implica tener en cuenta la información cinemática de las acciones a la hora de construir los vectores de características. Y como nueva funcionalidad, se ha llevado a cabo el aprendizaje en línea, que permite al cliente actualizar el clasificador de movimientos y mejorar su rendimiento en tiempo real. Esto permitiría al usuario mejorar inmediatamente la detección de gestos que han sido mal clasificados.

[CATALÀ] L'objectiu d'aquest projecte és desenvolupar un sistema capaç de moure un robot mitjançant el reconeixement de gestos realitzats per l'usuari. El sistema ja ha estat implementat pel laboratori LIRIS, i l'objectiu ha estat millorar les seves prestacions i afegir noves funcionalitats. Per millorar el rendiment, es proposa una reestructuració dels vectors de característiques ja existents. Aquesta proposta implica tenir en compte la informació cinemàtica de les accions a l'hora de construir els vectors de característiques. I com a nova funcionalitat, s'ha dut a terme l'aprenentatge en línia, que permet al client actualitzar el classificador de moviments i millorar el seu rendiment en temps real. Això permetria a l'usuari millorar immediatament la detecció de gestos que han estat mal classificats.