Image-Based Floor Segmentation in Visual Inertial Navigation

Abstract

[ANGLÈS] Floor segmentation is a challenging problem in image processing. It has a wide range of applications in the engineering field. In mobile robot navigation systems, detecting which pixels belong to the floor is crucial for guiding the robot within an environment, defining the geometry of the scene, or avoiding obstacles. This report presents a floor segmentation algorithm for indoor scenarios that works with single grey-scale images. The portion of the floor closest to the camera is segmented by judiciously joining a set of horizontal and vertical lines, previously detected. Unlike similar methods in the literature, it does not rely on computing the vanishing point and, thus, it adapts faster to changes in camera motion and is not restricted to typical corridor scenes. A second contribution of this thesis project is the moving features detection for points within the segmented floor area. Based on the camera ego-motion, the expected motion of the points on the ground plane is computed and used for rejecting feature points that belong to movable obstacles. A key point of the designed method is its ability to deal with general motion of the camera. The implemented techniques are to be integrated in a visual-aided inertial navigation system (INS) that combines visual and inertial information. This INS requires a certain number of feature point correspondences on the ground plane to correct data from an inertial measurement unit (IMU) and estimate the ego-motion of the camera. Hence, segmenting the floor region and detecting movable features become relevant tasks in order to ensure that the considered features do belong to the ground.

[CASTELLÀ] Segmentar el suelo es un problema desafiante en procesado de imagen y tiene una gran variedad de aplicaciones. Detectar qué píxeles pertenecen al suelo es crucial en sistemas de navegación robot para guiar el robot en el entorno, definir la geometría de la escena o eludir obstáculos. Este trabajo presenta un algoritmo para segmentar el suelo en escenas de interiores que trabaja con imágenes en escala de grises. La parte del suelo más cercana a la cámara es segmentada a partir de unir juiciosamente líneas verticales y horizontales, previamente detectadas. A diferencia de otros métodos similares que se pueden encontrar en la literatura, la técnica propuesta no se basa en calcular el punto de fuga y consecuentemente, se adapta más rápidamente a los cambios en el movimiento de la cámara y no está restringida a escenas típicas de pasillos. Una segunda contribución de esta tesis es la detección de puntos característicos en movimiento que quedan dentro del área definida como suelo. A partir del movimiento propio de la cámara, se calcula el movimiento esperado de los puntos en el plano de tierra, lo que se utiliza para descartar puntos característicos pertenecientes a objetos en movimiento. Un punto clave del método diseñado es la habilidad de trabajar para cualquier tipo de movimiento de la cámara. Las técnicas implementadas han sido diseñadas a fin de ser integradas en un sistema de navegación basado en imagen que combina información visual y inercial. Este sistema de navegación requiere un cierto número de puntos característicos situados sobre el plano de tierra para corregir datos de una unidad de medida de inercia y estimar el movimiento propio de la cámara. Por lo tanto, segmentar la región del suelo y detectar puntos característicos en movimiento son tareas importantes para asegurar que los puntos característicos seleccionados pertenecen realmente al suelo.

[CATALÀ] Segmentar el terra és un problema desafiant en processament d'imatge i té una gran varietat d'aplicacions. Detectar quins píxels pertanyen al terra és crucial en sistemes de navegació robot per a guiar el robot en l'entorn, definir la geometria de l'escena o eludir obstacles. Aquest treball presenta un algorisme per a segmentar el terra en escenes d'interiors que treballa amb imatges en escala de grisos. La part del terra que està més a prop de la càmera és segmentada a partir d'unir judiciosament línies verticals i horitzontals, prèviament detectades. A diferència d'altres mètodes similars que es poden trobar en la literatura, la tècnica proposada no es basa en calcular el punt de fuga i conseqüentment, s'adapta més ràpidament als canvis en el moviment de la càmera i no està restringida a escenes típiques de passadissos. Una segona contribució d'aquesta tesi és la detecció de punts característics en moviment que queden dins de l'àrea definida com a terra. A partir del moviment propi de la càmera, es calcula el moviment esperat dels punts en el pla de terra, el qual s'utilitza per a descartar punts característics que formen part d'objectes en moviment. Un punt clau del mètode dissenyat és l'habilitat de treballar per a qualsevol tipus de moviment de la càmera. Les tècniques implementades han estat dissenyades a fi de ser integrades en un sistema de navegació basat en imatge que combina informació visual i inercial. Aquest sistema de navegació requereix un cert número de punts característics situats al pla de terra per a corregir dades d'una unitat de mesura d'inèrcia i estimar el moviment propi de la càmera. Per tant, segmentar la regió del terra i detectar punts característics en moviment són tasques importants per a assegurar-se que els punts característics seleccionats pertanyen realment al terra.