Show simple item record

dc.contributorOrtega, Antonio
dc.contributorRuiz Hidalgo, Javier
dc.contributor.authorBonet Solé, David
dc.contributor.otherUniversitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions
dc.date.accessioned2021-12-13T18:02:19Z
dc.date.available2021-12-13T18:02:19Z
dc.date.issued2021-06
dc.identifier.urihttp://hdl.handle.net/2117/358306
dc.description.abstractState-of-the-art neural network architectures continue to scale in size and deliver impressive results on unseen data points at the expense of poor interpretability. In the deep layers of these models we often encounter very high dimensional feature spaces, where constructing graphs from intermediate data representations can lead to the well-known curse of dimensionality. We propose a channel-wise graph construction method that works on lower dimensional subspaces and provides a new channel-based perspective that leads to better interpretability of the data and relationship between channels. In addition, we introduce a novel generalization estimate based on the proposed graph construction method with which we perform local polytope interpolation. We show its potential to replace the standard generalization estimate based on validation set performance to perform progressive channel-wise early stopping without requiring a validation set.
dc.description.abstractLas arquitecturas de redes neuronales más avanzadas siguen aumentando en tamaño y ofreciendo resultados impresionantes en nuevos datos a costa de una escasa interpretabilidad. En las capas profundas de estos modelos nos encontramos a menudo con espacios de características de muy alta dimensión, en los que la construcción de grafos a partir de representaciones de datos intermedias puede llevar al conocido ''curse of dimensionality''. Proponemos un método de construcción de grafos por canal que trabaja en subespacios de menor dimensión y proporciona una nueva perspectiva basada en canales, que lleva a una mejor interpretabilidad de los datos y de la relación entre canales. Además, introducimos un nuevo estimador de generalización basado en el método de construcción de grafos propuesto con el que realizamos interpolación local en politopos. Mostramos su potencial para sustituir el estimador de generalización estándar basado en el rendimiento en un set de validación independiente para realizar ''early stopping'' progresivo por canales y sin necesidad de un set de validación.
dc.description.abstractLes arquitectures de xarxes neuronals més avançades segueixen augmentant la seva mida i oferint resultats impressionants en noves dades a costa d'una escassa interpretabilitat. A les capes profundes d'aquests models ens trobem sovint amb espais de característiques de molt alta dimensió, en què la construcció de grafs a partir de representacions de dades intermèdies pot portar al conegut ''curse of dimensionality''. Proposem un mètode de construcció de grafs per canal que treballa en subespais de menor dimensió i proporciona una nova perspectiva basada en canals, que porta a una millor interpretabilitat de les dades i de la relació entre canals. A més, introduïm un nou estimador de generalització basat en el mètode de construcció de grafs proposat amb el qual realitzem interpolació local en polítops. Mostrem el seu potencial per substituir l'estimador de generalització estàndard basat en el rendiment en un set de validació independent per a realitzar ''early stopping'' progressiu per canals i sense necessitat d'un set de validació.
dc.language.isoeng
dc.publisherUniversitat Politècnica de Catalunya
dc.rightsS'autoritza la difusió de l'obra mitjançant la llicència Creative Commons o similar 'Reconeixement-NoComercial- SenseObraDerivada'
dc.subjectÀrees temàtiques de la UPC::Informàtica::Intel·ligència artificial
dc.subjectÀrees temàtiques de la UPC::Enginyeria de la telecomunicació::Telemàtica i xarxes d'ordinadors
dc.subject.lcshImage processing
dc.subject.lcshGraph theory
dc.subject.lcshNeural networks (Computer science)
dc.subject.lcshArtificial intelligence
dc.subject.othergraph signal processing
dc.subject.otherneural networks
dc.subject.otherconvolutional neural networks
dc.subject.otherimage processing
dc.subject.othergeneralization
dc.subject.otheroverfitting
dc.subject.otherartificial intelligence
dc.subject.otherprocesado de la señal en grafos
dc.subject.otherredes neuronales
dc.subject.otherredes neuronales convolucionales
dc.subject.otherprocesado de imagen
dc.subject.othergeneralización
dc.subject.otherinteligencia artificial
dc.titleImproved neural network generalization using channel-wise NNK graph constructions
dc.typeBachelor thesis
dc.subject.lemacImatges -- Processament
dc.subject.lemacIntel·ligència artificial
dc.subject.lemacXarxes neuronals (Informàtica)
dc.subject.lemacGrafs, Teoria de
dc.identifier.slugETSETB-230.160923
dc.rights.accessOpen Access
dc.date.updated2021-08-03T05:50:43Z
dc.audience.educationlevelGrau
dc.audience.mediatorEscola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona
dc.audience.degreeGRAU EN ENGINYERIA DE TECNOLOGIES I SERVEIS DE TELECOMUNICACIÓ (Pla 2015)
dc.contributor.covenanteeUSC Viterbi School of Engineering


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record