Real-time image stitching for automotive 360º vision systems

Abstract

[ANGLÈS] This document presents the development of a 360º system adapted to buses. From four cameras located around the vehicle, a bird's eye top view is created to get the driver the vehicle's surroundings information. The development has been focused on implementing a warping algorithm that produces the best alignment between camera images. This project analyses the state-of-the-art warping algorithms. Based on the results obtained, an adapted method to the specific 360º vision system is designed and implemented. In addition, this project also has tested different calibration patterns -both in 3D virtual and real environments- and a calibration pattern for the final application is proposed. This project has been carried out in a multidisciplinary UPC team. The developments included in this project are part of the work done in the GPI (Image Processing Group) team. This team has been working in a 1-year project commissioned by the Arcol company. This project main goal is to develop a camera-and-display based guidance system for the bus driver.

[CASTELLÀ] Este documento presenta el desenvolupamiento de un sistema de visión 360º adaptado a autobuses. A partir de cuatro cámaras situadas alrededor del vehículo se crea una imagen a vista de pájaro, para dar al conductor la información de lo que está sucediendo alrededor del vehículo.El desenvolupamiento se ha centrado en la implementación de un algoritmo de deormación que produzca el mejor alineamiento posible entre cámaras. Este proyecto analiza los algoritmos aplicados actualmente en deformación de imágenes. Basándose en los resultados obtenidos, un método adaptado a este sistema de visión 360º es diseñado e implementado. Además, en este proyecto también se analizan diferentes patrones de calibración (tanto en entornos virtuales 3D como reales), y se propone un patrón de calibración para la aplicación final. Este proyecto se ha desarrollado en un equipo multidisciplinar de la UPC. Los desarrollos incluidos en este proyecto son una parte del trabajo hecho dentro del GPI (Grupo de Procesado de Imagen). Este equipo ha estado trabajando en un proyecto de un año encargado por la empresa Arcol, el objetivo principal del cual es desarrollar un sistema de guiado para los conductores de autobuses basado en una pantalla y una serie de cámaras.

[CATALÀ] Aquest document presenta el desenvolupament d'un sistema de visió 360º adaptat a autobusos. A partir de quatre càmeres situades al voltant del vehicle es crea una image a vista d'ocell, per donar al conductor la informació del que està succeïnt al voltant del vehicle.El desenvolupament s'ha centrat en la implementació d'un algoritme de deormació que produeixi el millor alineament possible entre càmeres. Aquest projecte analitza els algoritmes aplicats actualment en deformació d'imatges. Basant-se en els resultats obtinguts, un mètode adaptat a aquest sistema de visió 360º és dissenyat i implementat. A més a més, en aquest projecte també s'analitzen diferents patrons de calibració (tant en entorns virtuals 3D com reals), i es proposa un patró de calibració per a l'aplicació final. Aquest projecte s'ha desevolupat en un equip multidisciplinar de la UPC. Els desenvolupaments inclosos en aquest projecte són una part de la feina feta dins del GPI (Grup de Procesat d'Imatge). Aquest equip ha estat treballant en un projecte d'un any encarregat per l'empresa Arcol, l'objectiu principal del qual és desenvolupar un sistema de guiatge per als conductors d'autobusos basat en una pantalla i un seguit de càmeres.