Multiview Landmark Detection for Identity-preserving Alignment

Abstract

[ANGLÈS] Face recognition is a fundamental task in computer vision and has been an important field of study for many years. This report presents a unified process for automatically extract a set of face landmarks and remove all differences related to pose, expression and environment by bringing faces to a neutral pose-centered state. Landmark detection is based on a multiple viewpoint Pictorial Structure model. In this project we address both the problem of how to find a set of landmarks from a model and the problem of training such a model from a set of labelled examples. We show how such a model successfully captures a great range of deformations needing far less training examples than common commercial face detectors. The alignment process basically aims to remove differences between multiple faces so they all can be analysed under the same criteria. It is carried out with Thin-plate Splines to adjust the detected set of landmarks to the desired configuration. We present results of our algorithms both in a constrained environment and in the challenging LFPW face database. Successful outcomes are shown that prove our method to be a solid process for unitedly recognise and warp faces in the wild and to be on a par with other state-of-the-art procedures.

[CASTELLÀ] El reconocimiento y clasificación de caras representa uno de los campos de estudio más importantes dentro la visión artificial por computadora y el procesado de imagen. En este proyecto se presenta un proceso unificado que extrae automáticamente, a partir de imágenes, un conjunto de puntos faciales característicos, eliminando al mismo tiempo las diferencias relacionadas con la orientación, expresión e iluminación. En una primera fase, se utiliza un modelo de Estructuras Pictográficas Multivista para la detección de puntos característicos. En este informe, se atienden con detalle tanto el problema de extraer puntos con este modelo, como el proceso de aprendizaje a partir de imágenes anotadas. En una segunda fase, se eliminan las diferencias entre caras mediante el uso de Thin-Plate Splines, para que todas las imágenes puedan ser analizadas bajo el mismo criterio en posibles aplicaciones futuras. Los algoritmos implementados, representan hasta la fecha, el primer sistema desarrollado, que simultáneamente extrae y alinea caras, y demuestran un comportamiento muy fiable y preciso tanto en entornos controlados como libres (base de datos LFPW).

[CATALÀ] reconeixement i classificació de cares és un dels camps d'estudi més importants dintre la visió artificial per computadora i el processament d'imatge. En aquest projecte es presenta un procés unificat que extreu automàticament, a partir d'imatges, un conjunt de punts facials característics eliminant al mateix temps les diferències relacionades amb l'orientació, expressió i il·luminació. En una primera fase, s'utilitza un model d'Estructures Pictogràfiques Multivista per a la detecció de punts característics. En aquest informe, s'adreça amb detall tant el problema d'extreure punts amb aquest model com el procés d'aprenentatge a partir d'imatges anotades. En una segona fase, s'eliminen les diferències entre cares mitjançant Thin-Plate Splines, per tal que totes les imatges puguin ser analitzades sota el mateix criteri en possibles aplicacions futures. Els algoritmes implementats, representen fins al moment, el primer sistema desenvolupat que unificadament extreu i alinea cares, i demostren un comportament molt fiable i acurat tant en entorns controlats com lliures (base de dades LFPW).