Features for 3D Object Retrieval

Abstract

This project is focused on the object retrieval challenging field, a critical area for robotics and computer vision systems. Specifically, this project is trying to address some issues in the object recognition area, which is a key during the object retrieval process. Recently, low cost RGB-D sensors able to capture not only color information but also depth data, have emerged. This is a great opportunity to increment efficiency and robustness of object retrieval applications by taking advantage of this additional depth information. In this project I implemented an evaluation system of 3D feature descriptors by using the Point Cloud Library (PCL) , and used it to perform an specific assessment for two of the most widely used descriptors for object recognition: SHOTColor and PFHColor. They were tested in two different datasets containing data extracted with the Kinnect RGB-D sensor. The first dataset consist of 3D point clouds of individual objects and synthetically built scenes, the second one has 3D point clouds corresponding to individual model objects and scenes from the real world. The evaluation process was done considering the following three properties: descriptiveness, robustness to Gaussian noise impact and support radius variation, and efficiency. As a final result, the outcome of this evaluation process is the performance assessment on those descriptors depending on the different scenarios. SHOTColor descriptors performed better in terms of descriptiveness, robustness to Gaussian noise impact and support radius variations, and efficiency as well. But, they required higher storage capacity than PFHColor descriptors. SHOTColor descriptors seems to be more sensitive to clutter and occlussion effects, since the performance for the real scenes dataset is worsening faster than the PFHColor one. Given those considerations, SHOTColor descriptors are recommended as the best option for time-crucial applications and also for those ones requiring a strong descriptiveness power. On the other hand, PFHColor descriptors are better for spacial-crucial applications.

Este proyecto se centra en el campo del reconocimiento de objetos, un área crítica para la robótica y los sistemas de visión por ordenador. Recientemente, han surgido sensores RGB-D de bajo coste capaces de capturar no sólo la información de color, sino también los datos de profundidad. Esta es una gran oportunidad para incrementar la eficiencia y la robustez de las aplicaciones de reconocimiento de objetos mediante el aprovechamiento de esta información de profundidad adicional. En este proyecto he implementado un sistema de evaluación de los descriptores 3D mediante el uso de la librería Point Cloud Library (PCL). Concretamente he hecho una evaluación específica para dos de los descriptores más utilizados en el reconocimiento de objetos: SHOTColor y PFHColor. Éstos se pusieron a prueba en dos bases de datos diferentes que contienen datos extraídos con el sensor RGB Kinnect-D. El primer conjunto de datos consta de nubes de puntos 3D de objetos y escenas individuales construidas sintéticamente, el segundo tiene nubes de puntos 3D que corresponden a objetos de modelo individuales y escenas del mundo real. El proceso de evaluación se llevó a cabo teniendo en cuenta los siguientes tres propiedades: descriptivo, robustez al impacto del ruido Gaussiano y la variación de radio de apoyo, y la eficiencia. El resultado final es la evaluación del desempeño de los descriptores en función de los diferentes escenarios. Los descriptores SHOTColor obtuvieron mejores resultados en términos de carácter descriptivo, robustez al impacto de Gauss ruido, variaciones del radio de apoyo y la eficiencia también. Sin embargo, requieren una capacidad mayor de almacenamiento que los descriptores PFHColor. Además, los descriptores SHOTColor son más sensibles a los efectos de desorden y oclusión, ya que su rendimiento en el dataset que contiene escenas reales empeora más rápido que el rendimiento de los descriptores PFHColor. Teniendo en cuenta estas consideraciones, los descriptores SHOTColor se recomiendan como la mejor opción para aplicaciones donde el tiempo es crucial y también para aquellas que requieren un fuerte poder descriptivo. Por otra parte, los descriptores PFHColor son mejores para aplicaciones donde reducir el espacio de almacenamiento es crucial.

Aquest projecte se centra en el camp del reconeixement d'objectes, una àrea crítica per a la robòtica i els sistemes de visió per ordinador. Recentment, han sorgit sensors RGB-D de baix cost capaços de capturar no només la informació de color, sinó també les dades de profunditat. Aquesta és una gran oportunitat per incrementar l'eficiència i la robustesa de les aplicacions de reconeixement d'objectes mitjançant l'aprofitament d'aquesta informació de profunditat adicional. En aquest projecte he implementat un sistema d'avaluació dels descriptors 3D mitjançant l'ús de la llibreria Point Cloud Library (PCL). Concretament he fet una avaluació de dos dels descriptors més utilitzats en el reconeixement d'objectes: SHOTColor i PFHColor. Aquests es van posar a prova en dues bases de dades diferents, que contenen dades extretes amb el sensor RGB-D Kinnect. El primer conjunt de dades consta de núvols de punts 3D d'objectes i escenes individuals construïdes sintèticament, el segon conté núvols de punts 3D que corresponen a models individuals i escenes del món real. El procés d'avaluació es va dur a terme tenint en compte les 3 propietats següents: la descriptivitat, la robustesa a l'impacte del soroll Gaussià, la variació de ràdio de suport, i l'eficiència. El resultat final és l'avaluació de l'acompliment dels descriptors en funció dels diferents escenaris. Els descriptors SHOTColor van obtenir millors resultats en termes de caràcter descriptiu, robustesa a l'impacte de Gauss soroll, variacions del radi de suport i l'eficiència també. No obstant això, requereixen una capacitat més gran d'emmagatzematge que els descriptors PFHColor. A més, els descriptors SHOTColor són més sensibles a l'efecte de desordre i la oclusió, ja que el seu rendiment en el dataset que conté escenes reals empitjora més ràpid que el rendiment dels descriptors PFHColor. Tenint en compte aquestes consideracions, els descriptors SHOTColor es recomanen com la millor opció per a aplicacions on el temps és crucial i també per a aquells que requereixen un fort poder descriptiu. D'altra banda, els descriptors PFHColor són millors per a aplicacions on reduir l'espai d'emmagatzematge és crucial.