Robots domésticos: reconocimiento de estancias mediante detección de objetos

Abstract

This project come up from the idea of giving to the current and future domestic robots a tool that allows them to place properly inside a home and adapt their behaviour, adjusting it to the activities and requirements of each different room of a home. Nowadays the Smartphones availability ?that have a powerful multicore processors and multiple sensors, one or two cameras included? can allow to integrate this kind of devices as an integrated part of a domestic robotic assistant. Given the above, it has been decided to use, among others, these integrated cameras as an essential part of the robot perception system. In agreement with these aims, it has been developed a program able to identify the room type where the user stays through the detection of different key objects. After that, an extensive database with images of objects and multiple scenarios to be identified has been created, from the images collected for the training and testing of the detectors and room identification program as well. In addition, to reduce the complexity of the process to generate detectors using Open CV tools, a program that automatizes this process has been made, providing assistance and reducing the steps to take, as well as avoiding the most common mistakes, supervising the format compatibility and creating the necessary files for training detectors. For proper room identification, a method of decision from the previous key objects detection has been created, as well as a method that would allow the robot to calibrate and adjust automatically, autonomously and in real time, the parameters of the detectors according to the results. At last, both the testing program for the detectors and the final identification rooms program made for PC have been also applied to an Android application, thus taking up the initial idea of giving this tool to the personal assistant that nowadays everyone has: the Smartphone.

Este proyecto surge de la idea de dar, a los actuales y futuros robots domésticos, una herramienta con la que puedan ubicarse correctamente dentro del hogar y poder así adaptar su comportamiento, adecuándolo a las actividades y requerimientos de cada una de las distintas habitaciones de una casa. Hoy en día la disponibilidad de los Smartphones ?que disponen de un potente procesador multi-núcleo, además de múltiples sensores, incluyendo una o dos cámaras? puede permitir integrar este tipo de dispositivos como parte integral de un asistente robótico doméstico. Es por esto que se ha decidido utilizar, entre otros, su cámara integrada como parte esencial del sistema de percepción del robot. De acuerdo con estos objetivos, se ha realizado en primer lugar un programa capaz de identificar el tipo de estancia en la que se encuentra el usuario, a partir de la previa detección de ciertos objetos clave. Posteriormente, se ha creado una amplia base de datos con imágenes de los objetos y de los múltiples escenarios a identificar, a partir de las imágenes recopiladas para el entrenamiento y el testeo, tanto de los detectores como del programa de identificación de estancias. Además, para reducir la complejidad del proceso de generación de detectores, mediante las herramientas de OpenCV, se ha realizado un programa que automatiza el proceso, dando asistencia y reduciendo los pasos a realizar, evitando los errores más comunes y supervisando la compatibilidad de formatos y la creación de los archivos necesarios para realizar el entrenamiento de los detectores. Para la correcta identificación de estancias, se ha diseñado un método de decisión, a partir de la detección previa de los objetos clave, además de un método que permitiría al mismo robot calibrar y reajustar, de forma automática, autónoma y a tiempo real, los parámetros de los detectores según los resultados obtenidos. Por último, tanto el programa de testeo de los detectores como el programa final de identificación de estancias, realizados para PC, se han trasladado a una aplicación Android, retomando así la idea inicial de dar esta herramienta al asistente personal que ya todo el mundo tiene, el Smartphone.

Aquest projecte sorgeix de la idea de donar, als actuals i futurs robots domèstics, una eina a partir de la qual es puguin ubicar correctament en una llar i poder, així, adaptar el seu comportament, adequant-lo a les activitats i requeriments de cada una de les habitacions d'una casa. Avui en dia la disponibilitat dels Smartphones ?que disposen d'un potent processador multi-nucli, a més de múltiples sensors, incloent una o dues càmeres- pot permetre integrar aquests tipus de dispositius com a part integral d?un assistent robòtic domèstic. És per això que s'ha decidit emprar, entre d?altres, la seva càmera integrada com a part essencial del sistema de percepció del robot. D?acord amb aquests objectius, s'ha realitzat en primer lloc un programa capaç d'identificar el tipus d'estança en la que es troba l'usuari, a partir de la prèvia detecció de certs objectes clau. Posteriorment, s'ha creat una amplia base de dades amb imatges dels objectes i dels múltiples escenaris a identificar, a partir de las imatges recopilades per l'entrenament i el test, tant dels detectors com del programa d'identificació d'estances. A més, per reduir la complexitat del procés de generació de detectors, mitjançant les eines de OpenCV, s'ha realitzat un programa que automatitza el procés, donant assistència i reduint els passos a realitzar, evitant els errors més comuns i supervisant la compatibilitat de formats i la creació dels arxius necessaris per a realitzar el entrenament dels detectors. Per a la correcta identificació d'estances, s'ha dissenyat un mètode de decisió, a partir de la detecció prèvia dels objectes claus, a més d'un mètode que permetrà al propi robot calibrar i reajustar, de forma automàtica, autònoma i en temps real, els paràmetres dels detectors segons els resultats obtinguts. Per últim, tant el programa de test dels detectors com el programa final d'identificació d'estances, realitzats per a PC, s'han traslladat a una aplicació Android, reprenent així la idea inicial de donar aquesta eina a l?assistent personal que tothom ja té, l'Smartphone.