Show simple item record

dc.contributorPalacio, Sebastian
dc.contributorGiró Nieto, Xavier
dc.contributorCampos, Víctor
dc.contributor.authorArenas Gallego, Carlos
dc.contributor.otherUniversitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions
dc.date.accessioned2019-01-17T11:20:19Z
dc.date.available2019-01-17T11:20:19Z
dc.date.issued2018-10
dc.identifier.urihttp://hdl.handle.net/2117/127080
dc.descriptionSelf-supervised feature learning from video.
dc.description.abstractUnderstanding the inner workings of deep learning algorithms is key to efficiently exploit the large number of videos that are generated every day. For the self-supervised learning of the spatio-temporal information contained within these videos, there are several types of algorithms based on convolutional neural networks (CNNs) following an auto-encoder style architecture. However, we have checked that this type of models, trained for the frame prediction task, learn jointly these spatio-temporal information, so the model is not able to recognize appearance-motion combinations not seen during training. Our proposed model, called DisNet, can learn separately the appearance and motion through disentanglement, so that it solves the generalization and scalability problems. To demonstrate this, we conducted numerous experiments under highly controlled conditions, generating specific datasets that make the "conventional" model fails for the appearance and motion classification tasks, and analyzing how well our proposal behaves under the same conditions.
dc.description.abstractEntender el funcionamiento de los algoritmos de aprendizaje profundo es clave para poder explotar de manera eficiente la gran cantidad de vídeos que se generan cada día. Para el aprendizaje auto-supervisado de la información espacio-temporal contenida en los vídeos se emplean diversos tipos de algoritmos basados en redes neuronales convolucionales (CNNs) siguiendo una arquitectura de tipo auto-encoder. Sin embargo, hemos comprobado que este tipo de modelos, entrenados para la tarea de predicción de frames, aprenden de forma combinada esta información espacio-temporal, de modo que el modelo no es capaz de reconocer combinaciones apariencia-movimiento no vistas durante el entrenamiento. Nuestro modelo propuesto, denominado DisNet, es capaz de aprender de forma separada la apariencia y el movimiento mediante disentanglement, de modo que resuelve el problema de generalización y escalabilidad. Para demostrarlo, realizamos numerosos experimentos bajo condiciones muy controladas, generando bases de datos específicas que hagan fallar al modelo "convencional" para la tarea de clasificación de apariencia y movimiento, y analizando cómo de bien se comporta nuestra propuesta bajo las mismas condiciones.
dc.language.isoeng
dc.publisherUniversitat Politècnica de Catalunya
dc.rightsS'autoritza la difusió de l'obra mitjançant la llicència Creative Commons o similar 'Reconeixement-NoComercial- SenseObraDerivada'
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/es/
dc.subjectÀrees temàtiques de la UPC::Enginyeria de la telecomunicació
dc.subject.lcshNeural networks (Computer science)
dc.subject.lcshMachine learning
dc.subject.otherdeep learning
dc.subject.otherconvolutional neural networks
dc.subject.otherauto-encoders
dc.subject.othermotion
dc.subject.otheraprendizaje profundo
dc.subject.otherredes neuronales convolucionales
dc.subject.otherdisentanglement
dc.subject.othermovimiento
dc.subject.otherappearance
dc.subject.otherapariencia
dc.titleVideo understanding through the disentanglement of appearance and motion
dc.title.alternativeComprensión de vídeo a través del desenredo de apariencia y movimiento
dc.typeMaster thesis
dc.subject.lemacXarxes neuronals (Informàtica)
dc.subject.lemacAprenentatge automàtic
dc.identifier.slugETSETB-230.135871
dc.rights.accessOpen Access
dc.date.updated2018-10-26T05:50:30Z
dc.audience.educationlevelMàster
dc.audience.mediatorEscola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record

Except where otherwise noted, content on this work is licensed under a Creative Commons license: Attribution-NonCommercial-NoDerivs 3.0 Spain