Object Recognition using FPGA

Abstract

English: Computer vision is the field concerned with the automated processing of images from the real world to extract and interpret information on a real time basis. There are a wide range of tasks such as controlling the production processes in a factory or implementing artificial intelligence into a robot which can interpret the world around it. One of the branches included in the computer vision is the object recognition which is a technique that has been widely developed during the last years. Object recognition is the task of finding an object in a picture. Humans are able to recognize objects, even if when they are not totally visible or if some characteristics are missing. This is still a challenge for the computer vision in general and for the object recognition in particular. In this project a pattern recognition technique has been developed in order to detect a pattern that is firstly inserted in the system. Some different languages and systems have been tried, for instance, computer vision software such as RoboRealm, general software such as MatlabTM as well as programming languages such as C in the CMUCam3 before the final version in VHDL has been developed. The procedure follows the next steps: Firstly the pattern is inserted into the system. Secondly this pattern is filtered with a Sobel filter. Thirdly, the screen is divided into 64, whereby each rectangle is filtered with a Sobel filter. Fourthly, the pattern is cross-correlated with one of the rectangles. Finally the rectangle that is most cross-correlated with the pattern is displayed in the LCD. In order to visualize the result, the raw image captured by the camera is broadcasted to a computer screen.

Castellano: La visión artificial es el campo encargado de procesar imágenes automáticamente con el fin de extraer información e interpretarla en tiempo real. Las aplicaciones son tan variadas que pueden ir desde el control de la producción en una fábrica mediante cámaras hasta la implementación de inteligencia artificial en un robot, el cual debe ser capaz de interpretar el espacio en el que se encuentra. Una de las ramas de la visión artificial es el reconocimiento de imágenes, que es una técnica que ha sido fuertemente desarrollada en los últimos años. El reconocimiento de imágenes es la técnica mediante la cual se puede reconocer un objeto dentro de una imagen. El ser humano es capaz de reconocer objetos a pesar de encontrarse parcialmente tapados o incluso si alguna característica principal del mismo está ausente. Actualmente este es uno de los grandes desafíos para la visión artificial en general y para el reconocimiento de imágenes en particular. En este proyecto se ha desarrollado un software de reconocimiento de patrones con el objetivo de detectar un patrón que ha sido previamente introducido. Se han utilizado diferentes plataformas de desarrollo tales como RoboRealm (software dedicado a la visión artificial), MatlabTM, (software general) y diferentes tipos de lenguaje tales como C en la cámara CMUCam3 antes de desarrollar la última versión en VHDL. El procedimiento que sigue el programa es el siguiente: En primer lugar se introduce el patrón que queremos que sea detectado. A continuación se le aplica un filtro Sobel. Seguidamente la pantalla es dividida en 64 rectángulos y a cada rectángulo se le aplica un filtro Sobel. Finalmente se realiza una correlación entre los 64 nuevos rectángulos y el patrón anteriormente introducido en el sistema. El rectángulo con un mayor valor de correlación aparece escrito en el display LCD. Para poder observar la imagen que está viendo la cámara se utiliza una pantalla a la cual se le envían los datos provenientes de la cámara sin analizar.

Català: La visió artificial és el camp encarregat de processar imatges automàticament amb la finalitat d'extreure informació i interpretar-la en temps real. Les aplicacions són tan variades que poden anar des del control de la producció en una fàbrica mitjançant càmeres fins la implementació d'intel·ligència artificial en un robot, per a que sigui capaç de poder interpretar l'espai en el que es troba. Una de les branques que estudia la visió artificial és el reconeixement d'imatges, que és una tècnica que ha estat fortament desenvolupada als darrers anys. El reconeixement d'imatges és la tècnica mitjançant la qual es pot reconèixer un objecte dins d'una imatge. El ser humà és capaç de reconèixer objectes encara que se'ls trobi parcialment tapats o fins i tot si alguna característica principal del mateix està absent. Actualment aquest fet és un dels grans reptes per la visió artificial en general i per al reconeixement d'imatges en particular. En aquest projecte hem desenvolupat un programari de reconeixement de patrons amb l'objectiu de detectar patrons que ha estat prèviament introduïts. S'han estudiat diferents plataformes de desenvolupament com ara RoboRealm (programari dedicat a la visió artificial) i MatlabTM, (programari general) i diferents tipus de llenguatge com C en la càmera CMUCam3 abans de desenvolupar la última versió en VHDL. El procediment que segueix el programa és el següent: En primer lloc s'introdueix el patró que volem que sigui detectat i se li aplica un filtre Sobel. Seguidament la pantalla es divideix en 64 rectangles i a cada rectangle se li aplica un filtre Sobel. Finalment es realitza una correlació entre els 64 nous rectangles i el patró anteriorment introduït en el sistema i el rectangle amb major valor de correlació apareix escrit en el display LCD. Per poder observar la imatge que està veient la càmera s'utilitza una pantalla a la qual s'envien les dades provinents de la càmera sense analitzar.