Animació facial a través de computer vision

Abstract

Aquest treball de fi de grau afronta el problema de la poca oferta d'assets d’Unreal Engine per realitzar animació facial amb una webcam i aconsegueix crear un asset que assenta les bases d'aquesta tecnologia. L'objectiu principal del treball és dissenyar i programar un asset per Unreal Engine 4.19.2 que tingui opcions de personalització com escollir quins ossos es mouen i funcioni el més ràpid possible per assegurar la màxima quantitat de fotogrames per segon possibles. El treball fa servir OpenCV2 per llegir les imatges de la webcam i DLib per fer el reconeixement facial, amb aquests dos elements l'asset es centra en ajuntar i gestionar la informació per acabar calculant i movent la cara. El treball s'ha dut a terme en tres fases, una primera on es va preparar l'entorn de treball dintre d'Unreal, afegint i provant les llibreries OpenCV2 i DLib, un segon on es va desenvolupar tot el nucli de l'asset, aconseguint que comencés a funcionar i finalment es va tancar el desenvolupament millorant l'asset i netejant codi. Al final s'ha aconseguit crear l'asset que es volia, aconseguint moure la cara d'un avatar dintre d'Unreal Engine a través d'una webcam, sense la necessitat de que l'usuari tingui cap marcador a la cara. L'asset té limitacions donades per la pròpia llibreria de reconeixement facial i per el propi sistema que s'ha desenvolupat entorn a la llibreria, ja que s'han anat agafant dreceres per aconseguir tenir resultats.