Age & Gender Recognition in The Wild

Abstract

L'estimació de grups demogràfics a partir d'imatges, i en particular pel que fa a l'estimació d'edat i sexe, és un sector amb un ampli ventall d'aplicacions. Tanmateix, l'estat de l'art actual està poc encarat a escenaris realistes que no contemplen cap mena de restriccions, la qual cosa fa que els seus mètodes siguin inservibles per certs tipus de dades de la vida real. Aquesta tesi analitza la qüestió de la predicció robusta per sexe i edat, i proposa un nou paradigma per construir un marc de treball alternatiu des d'on desenvolupar mètodes més capaços d'actuar en situacions realistes. En concret, es demostra empíricament com l'estat de l'art basat en trets facials no és capaç d'actuar al nostre conjunt de dades que representen aquestes situacions realistes, i presentem un mètode basat en Xarxes Neuronals Profundes (DNNs, per la seva abreviació en anglès) que actua com un model de predicció conjunta, incloent-hi prediccions fetes a partir de característiques extretes de tot el cos a més a més de les aconseguides a través del rostre. Això permet al model actuar quan les cares són poc visibles o estan obstruïdes, i aprofitar-se de la informació addicional quan aquestes són visibles. El sistema presentat combina diversos models aplicats en fred, com per exemple RetinaFace i ShuffleNet per tasques facials, i una Faster R-CNN pre-entrenada amb COCO amb una ResNet com a model vertebral per detecció humana. Per la meva part, també s'ha entrenat un mòdul per predir sexe i edat a partir de deteccions corporals, on es fa servir EfficientNet com a vertebral. Consegüentment, s'ha demostrat que els models basats en cos tenen la capacitat de ser més resilients.

The estimation of demographics from image data, and in particular of gender and age, is a subject with an extensive amount of applications. However, current state-of-the-art is not entirely focused on realistic and unconstrained scenarios, which makes those approaches unusable for certain real-life settings. This thesis analyzes the issue of robust age and gender prediction, and proposes a new paradigm to build upon an alternative framework from which methods that are more capable in realistic situations can be developed. Namely, we present a method based on Deep Neural Networks (DNNs) that acts as an ensemble model, including predictions from both corporal and facial features. Thus, our model can act both when faces are not very visible or are occluded, and can take advantage of the extra information when they are visible. The system presented combines multiple off-the-shelf models such as RetinaFace and ShuffleNet for facial tasks, and Faster R-CNN with ResNet backbone pre-trained on COCO for human detection. From my side, a module was trained to predict gender and age based on body detections, where EfficientNet is used as backbone. Consequently, it was demonstrated that body-based models have the capacity to be more resilient.