Mostra el registre d'ítem simple

dc.contributorGarcia Gasulla, Dario
dc.contributorCortés García, Claudio Ulises
dc.contributor.authorGimenez Abalos, Victor
dc.contributor.otherUniversitat Politècnica de Catalunya. Departament de Ciències de la Computació
dc.date.accessioned2019-09-30T08:08:24Z
dc.date.available2019-09-30T08:08:24Z
dc.date.issued2019-06
dc.identifier.urihttp://hdl.handle.net/2117/168905
dc.description.abstractLa extracción de activaciones neuronales de una red neuronal convolucional permite reutilizar representaciones internas de un modelo pre-entrenado para resolver problemas nuevos, incluso no relacionados con el problema original. Este proceso abre el uso de aprendizaje profundo a problemas préviamente no considerados por falta de datos, así como a personas cuyos recursos computacionales y/o capacidades no les permitían entrenar redes neuronales. Sin embargo, la mayoría de métodos de aprendizaje máquina no pueden entrenarse con la salida de una extracción de todas las capas de la red dado el tamaño de dichas redes. Para ello, se deben realizar procesos adicionales. A lo largo de este trabajo, estudiamos, reimplementamos, evaluamos y mejoramos un método ya existente: el Full-Network Embedding. Basamos nuestros experimentos en resultados empíricos y datasets reales y en comparativas contra el estado del arte previo en métricas como precisión y tiempo de ejecución. Conseguimos mejorar el tiempo de ejecución del proceso completo y simplificar el componente estocástico del método mediante una fórmula matemática. Además, descubrimos alternativas que permiten sustituir partes del proceso. Algunos los basamos en el mismo enfoque que el estado del arte pero con grano diferente, mientras que otros siguen diferentes filosofías como métodos supervisados contra no supervisados. En el proceso, descubrimos propiedades de comportamiento neuronal en redes convolucionales, que pueden ser explotados tanto para el campo de aprendizaje por transferencia como para aprendizaje profundo.
dc.description.abstractThe purpose of feature extraction on convolutional neural networks is to reuse deep representations learnt for a pre-trained model to solve a new, potentially unrelated problem. This process would enable the use of deep learning for tasks with small data size and for people without the skills or access to the computational capabilities required for training nets.However, raw feature extraction from all layers makes training most ML methods unfeasible given the massive size of these networks. As such, extra processes must be performed to facilitate it. In this work, we study, reimplement, evaluate and improve an already existing method for doing so: the Full-Network Embedding. We evaluate our work with empirical tests on real datasets, and in comparisons with the previous state-of-the-art in several metrics, such as the accuracy and execution time. We manage to improve the execution time for the full pipeline and acquire further comprehension on the stochasticity of the method to the point it simplified through a mathematical formula. We also discover different alternatives that can substitute part of this pipeline, based in similar approaches with different granularity, supervised and unsupervised mechanisms and more, achieving accuracies comparable to the state-of-the-art of the original FNE. In the process, we discover properties of neural behaviour in CNNs which may be exploited both for transfer learning and deep learning.
dc.language.isoeng
dc.publisherUniversitat Politècnica de Catalunya
dc.subjectÀrees temàtiques de la UPC::Informàtica
dc.subject.lcshNeural networks (Computer science)
dc.subject.lcshMachine learning
dc.subject.otheraprenentatge per transferència
dc.subject.otheraprenentatge màquina
dc.subject.otherxarxes neuronals convolucionals
dc.subject.otherextracció d'activacions neuronals
dc.subject.otheraprenentatge profund
dc.subject.othertransfer learning
dc.subject.otherconvolutional neural networks
dc.subject.otherfeature extraction
dc.subject.otherdeep learning
dc.titleA study of neural behavioral differences among CNN architectures
dc.typeBachelor thesis
dc.subject.lemacXarxes neuronals (Informàtica)
dc.subject.lemacAprenentatge automàtic
dc.identifier.slug143703
dc.rights.accessOpen Access
dc.date.updated2019-07-11T04:01:14Z
dc.audience.educationlevelGrau
dc.audience.mediatorFacultat d'Informàtica de Barcelona
dc.audience.degreeGRAU EN ENGINYERIA INFORMÀTICA (Pla 2010)


Fitxers d'aquest items

Thumbnail

Aquest ítem apareix a les col·leccions següents

Mostra el registre d'ítem simple