Reconstrucción de la forma del rostro a partir de contornos

Abstract

The reconstruction and modelling of 3D faces have become, in the last few years, a very active field of research due to their use in a great number of applications such as those involved in 3D facial recognition, face modelling in videogames, surgery, etc. During the last decades, various and many computer techniques of 3D facial reconstruction have been developed. One of the most widely-used technologies is based on 2D images and statistical methods (3D Morphable Models). Estimating the shape of the face by means of statistical models has as its main objective finding a set of facial parameters that best suit and fit an image or set of images. For this project, a statistical model is available which is capable of estimating the 3D facial shape when a face or a set of 2D contours are available from a various range of angles. This model directly estimates the 3D structure of the face by using a regression matrix built by means of PLS (Partial Least Squares). After the validation of the model and the good results obtained in the prediction of synthetic individuals, this project proposes a new approach training the model with real individuals from a video sequence. In this way, one obtains reconstructions of the shape of the 3D face from real data. Therefore, this project’s objective is the definition, the software implementation and the analysis of a method that allows us to adjust a generic three-dimensional facial statistical model to the specific facial characteristics of an individual, based on the contours of his / her face.

La reconstrucción y el modelado de caras 3D se han convertido en los últimos años en una línea de investigación muy activa debido a su utilización en gran número de aplicaciones como son el reconocimiento facial en 3D, modelado de caras en videojuegos, cirugía estética, etc. Durante las últimas décadas se han desarrollado múltiples técnicas computacionales de reconstrucción facial 3D. Una de las tecnologías más utilizadas está basada en imágenes 2D y métodos estadísticos (3D Morphable Models). La estimación de la forma del rostro abordada con modelos estadísticos, tiene como objetivo principal encontrar un conjunto de parámetros del rostro que mejor se ajustan a una imagen o un conjunto de imágenes. Para este proyecto se dispone de un modelo estadístico capaz de estimar la forma 3D del rostro cuando una cara o un conjunto de contornos 2D está disponible desde múltiples puntos de vista. Este modelo estima directamente la estructura de la cara 3D mediante el uso de una matriz de regresión construida a través de PLS (Partial Least Squares). Tras la validación del modelo y los buenos resultados obtenidos en la predicción de sujetos sintéticos, este trabajo propone un nuevo enfoque, entrenar el modelo con sujetos reales a partir de una secuencia de vídeo. De esta forma se obtiene reconstrucciones de la forma de la cara 3D con datos reales. Por lo tanto, el objetivo de este proyecto es la definición, la implementación software y el análisis de un procedimiento que nos permita ajustar un modelo estadístico facial tridimensional genérico a las características faciales específicas de un individuo a partir de los contornos de su rostro.

La reconstrucció i el modelatge de cares 3D s'han convertit en els últims anys en una línia d'investigació molt activa a causa de la seva utilització en gran nombre d'aplicacions com són el reconeixement facial en 3D, modelatge de cares en videojocs, cirurgia estètica, etc. Durant les últimes dècades s'han desenvolupat múltiples tècniques computacionals de reconstrucció facial 3D. Una de les tecnologies més utilitzades està basada en imatges 2D i mètodes estadístics (3D Morphable Models). L'estimació de la forma de la cara abordada amb models estadístics, té com a objectiu principal trobar un conjunt de paràmetres de la cara que millor s'ajusten a una imatge o un conjunt d'imatges. Per a aquest projecte es disposa d'un model estadístic capaç d'estimar la forma 3D del rostre quan una cara o un conjunt de contorns 2D està disponible des de múltiples punts de vista. Aquest model estima directament l'estructura de la cara 3D mitjançant l'ús d'una matriu de regressió construïda a través de PLS (Partial Least Squares). Després de la validació del model i els bons resultats obtinguts en la predicció de subjectes sintètics, aquest treball proposa un nou enfoc, entrenar el model amb subjectes reals a partir d'una seqüència de vídeo. D'aquesta forma s'obtenen reconstruccions de la forma de la cara 3D amb dades reals. Per tant, l'objectiu d'aquest projecte és la definició, la implementació software i l'anàlisi d'un procediment que ens permeti ajustar un model estadístic facial tridimensional genèric a les característiques facials específiques d'un individu a partir dels contorns del seu rostre.