A smart and flexible perception framework for robotic manipulation

Abstract

Aquesta tesi presenta la implementació d’un marc de percepció robòtica avançada destinat a millorar la capacitat d’un robot per interpretar i interactuar amb el seu entorn. Donada la creixent presència de la robòtica en diversos sectors, hi ha una demanda cada vegada major de sistemes de percepció més intel·ligents i flexibles. Aquest treball satisfà aquesta demanda combinant les dades provinents de càmeres, implementant tècniques de detecció d’objectes i d’estimació de posició i orientació, i introduint capacitats de raonament intel·ligent. Utilitzant el “Robot Operating System” (ROS), el marc de percepció proposat combina mètodes basats en marcadors fiducials i en aprenentatge profund per a la detecció d’objectes i l’estimació de posicions i orientacions. Un aspecte original d’aquesta contribució resideix en la incorporació d’ontologies per estructurar i raonar sobre les dades percebudes. El resultat és un sistema de percepció robust i intel·ligent capaç de manejar escenaris complexos simulats i en el món real. Aquest mòdul de percepció proporciona funcionalitats que milloren la comprensió de l’entorn per part d’un robot, centrant-se principalment en tasques de manip- ulació robòtica. El treball presentat proporciona una base sòlida per a futures investigacions i ampliacions.

Esta tesis presenta la implementación de un marco de percepción robótica avanzada destinado a mejorar la capacidad de un robot para interpretar su entorno e interactuar con él. Dada la creciente presencia de la robótica en diversos sectores, hay una demanda cada vez mayor de sistemas de percepción más inteligentes y flexibles. Este trabajo satisface dicha demanda com- binando los datos proveninentes de cameras, implementando técnicas de detección de obje- tos y estimación de posición y orientación, e introduciendo capacidades de razonamiento in- teligente. Utilizando el ’Robot Operating System’ (ROS), el marco de percepción propuesto combina métodos basados en marcadores fiduciales y en aprendizaje profundo para la detec- ción de objetos y la estimación de posiciones y orientaciones. Un aspecto original de esta con- tribución reside en la incorporación de ontologías para estructurar y razonar sobre los datos percibidos. El resultado es un sistema de percepción robusto e inteligente capaz de manejar escenarios com- plejos simulados y en el mundo real. Este módulo de percepción proporciona funcionalidades que mejoran la comprensión del entorno por parte de un robot, centrándose principalmente en tareas de manipulación robótica. El trabajo presentado proporciona una base sólida para futuras investigaciones y ampliaciones

This thesis presents the implementation of an advanced robotic perception framework intended to enhance a robot’s ability to interpret and interact with its environment. Given the increased prevalence of robotics across various industries, there is a growing demand for more intelligent and flexible perception systems. This work meets that demand by combining visual sensor data, implementing object detection and pose estimation techniques, and introducing smart reason- ing capabilities. Utilizing the Robot Operating System (ROS), the proposed perception frame- work combines fiducial marker-based and deep learning-based methods for object detection and pose estimation. A unique aspect of this contribution lies in the incorporation of ontologies to structure and reason over the perceived data. The result is a robust, intelligent perception system capable of handling complex simulated and real-world scenarios. This perception module provides functionalities that enhance a robot’s understanding of its surroundings, with a primary focus on robotic manipulation tasks. The developments presented provide a solid foundation for further research and expansion