Video understanding through the disentanglement of appearance and motion

Abstract

Understanding the inner workings of deep learning algorithms is key to efficiently exploit the large number of videos that are generated every day. For the self-supervised learning of the spatio-temporal information contained within these videos, there are several types of algorithms based on convolutional neural networks (CNNs) following an auto-encoder style architecture. However, we have checked that this type of models, trained for the frame prediction task, learn jointly these spatio-temporal information, so the model is not able to recognize appearance-motion combinations not seen during training. Our proposed model, called DisNet, can learn separately the appearance and motion through disentanglement, so that it solves the generalization and scalability problems. To demonstrate this, we conducted numerous experiments under highly controlled conditions, generating specific datasets that make the "conventional" model fails for the appearance and motion classification tasks, and analyzing how well our proposal behaves under the same conditions.

Entender el funcionamiento de los algoritmos de aprendizaje profundo es clave para poder explotar de manera eficiente la gran cantidad de vídeos que se generan cada día. Para el aprendizaje auto-supervisado de la información espacio-temporal contenida en los vídeos se emplean diversos tipos de algoritmos basados en redes neuronales convolucionales (CNNs) siguiendo una arquitectura de tipo auto-encoder. Sin embargo, hemos comprobado que este tipo de modelos, entrenados para la tarea de predicción de frames, aprenden de forma combinada esta información espacio-temporal, de modo que el modelo no es capaz de reconocer combinaciones apariencia-movimiento no vistas durante el entrenamiento. Nuestro modelo propuesto, denominado DisNet, es capaz de aprender de forma separada la apariencia y el movimiento mediante disentanglement, de modo que resuelve el problema de generalización y escalabilidad. Para demostrarlo, realizamos numerosos experimentos bajo condiciones muy controladas, generando bases de datos específicas que hagan fallar al modelo "convencional" para la tarea de clasificación de apariencia y movimiento, y analizando cómo de bien se comporta nuestra propuesta bajo las mismas condiciones.