Show simple item record

dc.contributorGiró Nieto, Xavier
dc.contributor.authorFojo Alvarez, Daniel
dc.contributor.otherUniversitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions
dc.date.accessioned2018-05-16T11:21:09Z
dc.date.available2018-05-16T11:21:09Z
dc.date.issued2018-02-06
dc.identifier.urihttp://hdl.handle.net/2117/117277
dc.descriptionA first goal of this work is to explore the extension of the work Adaptive Computation Time when combined with Highway Networks. After this, the student will develop a novel approach and test it in a benchmark for machine learning. Graves, Alex. "Adaptive computation time for recurrent neural networks." arXiv preprint arXiv:1603.08983 (2016). Ha, David, Andrew Dai, and Quoc V. Le. "HyperNetworks." arXiv preprint arXiv:1609.09106 (2016).
dc.description.abstractThe complexity of solving a problem can differ greatly to the complexity of posing that problem. Building a Neural Network capable of dynamically adapting to the complexity of the inputs would be a great feat for the machine learning community. One of the most promising approaches is Adaptive Computation Time for Recurrent Neural Network (ACT). In this thesis, we implement ACT in two of the most used deep learning frameworks, PyTorch and TensorFlow. Both are open source and publicly available. We use this implementations to evaluate the capability of ACT to learn algorithms from examples. We compare ACT with a proposed baseline where each input data sample of the sequence is read a fixed amount of times, learned as a hyperparameter during training. Surprisingly, we do not observe any benefit from ACT when compared with this baseline solution, which opens new and unexpected directions for future research.
dc.description.abstractLa complejidad de resolver un problema puede diferir mucho de la complejidad de exponerlo. Diseñar una redneuronal capaz de adaptar se dinámicamente a la complejidad de las entradas seria un gran éxito para la comunidad del aprendizaje automático. Uno de los artículos más prometedores es Adaptive Computation Time para redes neuronales recurrentes (ACT). En este trabajo implementamos ACT en las dos librerías de aprendizaje profundo más usadas, PyTorch y TensorFlow. Ambas implementaciones son código abierto y públicas. Usamos estas implementaciones para evaluar la capacidad del ACT de aprender algoritmos a partir de ejemplos. Comparamos ACT con una nueva referencia donde cada elemento de la secuencia de entrada es leído una cantidad fija de iteraciones aprendida como un hiperparámetro durante el entrenamiento. Sorprendentemente, no observamos ningún beneficio del ACT comparado con esta nueva referencia, cosa que abre nuevas e inesperadas líneas para futura investigación.
dc.description.abstractLa complexitat de resoldre un problema pot diferir molt de la complexitat de exposar-lo. Dissenyar una xarxa neuronal capaç d'adaptar-se dinàmicament a la complexitat de les entrades seria un gran èxit per a la comunitat de l'aprenentatge automàtic. Un dels artícles més prometedors és Adaptive Computation Time per a xarxes neuronals recurrents (ACT). En aquest treball implementem ACT en les dues llibreries d'aprenentatge profund més usades, PyTorch i TensorFlow. Ambdues implementacions són codi obert i públiques. Usem aquestes implementacions per avaluar la capacitat de l'ACT d'aprendre algoritmes a partir d'exemples. Comparem ACT amb una nova referència cada element de la seqüència d'entrada és llegit una quantitat fixa d'iteracions, apresa com a hiperparàmetre durant l'entrenament. Sorprenentment, no observem cap benefici de l'ACT comparat amb aquesta nova referència, cosa que obre noves i inesperades línies per a futura investigació.
dc.language.isoeng
dc.publisherUniversitat Politècnica de Catalunya
dc.relation.urihttp://infoteleco.upc.edu/incoming/pfc/130769/Poster_TFG_Dani_Fojo_diSeKT.pdf
dc.rightsS'autoritza la difusió de l'obra mitjançant la llicència Creative Commons o similar 'Reconeixement-NoComercial- SenseObraDerivada'
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/es/
dc.subjectÀrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàtic
dc.subject.lcshMachine learning
dc.subject.lcshDeep learning
dc.subject.otherrecurrent neural networks
dc.subject.othersequence modeling
dc.subject.otherconditional computation
dc.subject.otheraprendizaje automático
dc.subject.otheraprendizaje profundo
dc.subject.otherredes neuronales recurrentes
dc.subject.othermodelado de secuencias
dc.subject.othercomputación condicional
dc.titleReproducing and analyzing adaptive computation time in PyTorch and TensorFlow
dc.title.alternativeReproducción y análisis de Adaptive Computation Time en PyTorch y en TensorFlow
dc.title.alternativeReproducció i anàlisi d'Adaptive Computation Time en PyTorch i en TensorFlow
dc.typeBachelor thesis
dc.subject.lemacAprenentatge automàtic
dc.subject.lemacAprenentatge profund
dc.identifier.slugETSETB-230.130769
dc.rights.accessOpen Access
dc.date.updated2018-02-12T06:51:17Z
dc.audience.educationlevelGrau
dc.audience.mediatorEscola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record

Attribution-NonCommercial-NoDerivs 3.0 Spain
Except where otherwise noted, content on this work is licensed under a Creative Commons license : Attribution-NonCommercial-NoDerivs 3.0 Spain