Spatio-temporal Gaze Estimation for Human-Machine and Human-Human Interaction
Visualitza/Obre
Estadístiques de LA Referencia / Recolecta
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/335288
Tipus de documentProjecte Final de Màster Oficial
Data2020-01-31
Condicions d'accésAccés obert
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
Abstract
Eye gaze is an important non-verbal cue in human-human and human-machine interactions.
In this master thesis, we explore optical
ow as a new feature of temporal information added to
face and eyes to perform 3D gaze estimation from remote cameras in a mid-distance scenario. We
propose new models that combine face, optical
ow from the face between the last two frames,
eyes, and face landmarks as individual streams in a CNN to estimate gaze using the last two
images. We also develop a recurrent model that exploits the dynamic nature of gaze by feeding
the learned features of all the frames in a sequence to a many-to-one recurrent module that
predicts the 3D gaze vector of the last frame. Our experiments show that, with the addition
of the temporal information of optical
ow, static models can perform just as well as recurring
models, while maintaining lower complexity and faster inference than recurrent ones.
MatèriesDeep learning, Human-computer interaction, Aprenentatge profund, Interacció persona-ordinador
TitulacióMÀSTER UNIVERSITARI EN INTEL·LIGÈNCIA ARTIFICIAL (Pla 2017)
Col·leccions
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
148096.pdf | 6,290Mb | Visualitza/Obre |