Show simple item record

dc.contributorGiró Nieto, Xavier
dc.contributorBruna, Joan
dc.contributor.authorNowak Vila, Alex
dc.contributor.otherUniversitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions
dc.coverage.spatialeast=-73.99646089999999; north=40.72951339999999; name=Greenwich Village, Nova York, Estats Units d'Amèrica
dc.date.accessioned2017-12-01T10:52:48Z
dc.date.available2017-12-01T10:52:48Z
dc.date.issued2017-05-17
dc.identifier.urihttp://hdl.handle.net/2117/111432
dc.descriptionResearch with Professor Joan Bruna at New York UNiversity.
dc.description.abstractThis work considers the learning of algorithmic tasks by mere observation of input-output pairs. Rather than studying this as a black-box discrete regression problem with no assumption whatsoever on the input-output mapping, we concentrate on tasks that are amenable to the principle of divide and conquer, and study what are its implications in terms of learning. This principle creates a powerful inductive bias that we exploit with neural architectures that are defined recursively and dynamically, by learning two scale-invariant atomic operations: how to split a given input into smaller sets, and how to merge two partially solved tasks into a larger partial solution. The resulting model is naturally divided in two phases: a discrete splitting phase that returns a binary tree over input elements, and a merge phase consisting in a differentiable routing mechanism. Our model can be trained in weakly supervised environments, namely by just observing input-output pairs, and in even weaker environments, using a non-differentiable reward signal. Moreover, thanks to the dynamic aspect of our architecture, we can incorporate the computational complexity as a regularization term that can be optimized by backpropagation. We demonstrate the flexibility and efficiency of the Divide-and-Conquer Network on three combinatorial and geometric tasks: sorting, clustering and convex hulls. Thanks to the dynamic programming nature of our model, we show significant improvements in terms of generalization error and computational complexity.
dc.description.abstractEste trabajo estudia el aprendizaje de algoritmos por mera observación de input-output. En lugar de estudiar esto como un problema de regresión discreta, sin ninguna suposición sobre la función input-output, nos concentramos en tareas que son susceptibles al principio de divide and conquer, y estudiar cuáles son sus implicaciones en términos de aprendizaje. Este principio crea un poderoso sesgo inductivo que explotamos con la arquitectura neuronal. Nuestra arquitectura se define recursivamente y dinámicamente, aprendiendo dos operaciones atómicas: cómo dividir una entrada dada en conjuntos más pequeños, y cómo combinar dos parcialmente las tareas resueltas en una solución parcial más grande. El modelo resultante se divide naturalmente en dos fases: una fase de división discreta que devuelve un árbol binario sobre la entrada , y una fase de fusión que consiste en un mecanismo de permutaciones sobre la entrada diferenciable. Nuestros modelos pueden ser entrenados en ambientes débilmente supervisados, es decir, simplemente observando pares input-output, y en entornos aún más débiles, utilizando un no reward no diferenciable. Además, gracias al aspecto dinámico de nuestra arquitectura, podemos incorporar la complejidad computacional como un término de regularización que puede ser entrenado mediante retropropagacion. Demostramos la flexibilidad y eficiencia de la solución Divide-and-Conquer Networks en tres tareas de combinatoria y geométricas: ordenar escalares, encontrar la envolvente convexa y clustering.
dc.description.abstractAquest treball estudia l'aprenentatge de tasques algorítmiques per simple observació de parells input-output. En lloc d'estudiar això com un problema de regressió discreta sense suposició sobre la funció input-output, ens concentrem en tasques que són susceptibles al principi de divideix i venceràs, i estudien quines són les seves implicacions en termes d'aprenentatge. Aquest principi crea un poderós biaix inductiu que explotem amb arquitectura neuronal que es defineix de forma recursiva i dinàmicament, mitjançant l'aprenentatge de dues operacions atòmiques: Com dividir una entrada donada en conjunts més petits, i la com combinar dues solucions parcials en una solució més gran. El model resultant és divideix naturalment en dues fases: una fase de divisió discreta que retorna un arbre binari sobre l'entrada, i una fase de combinació que consisteix en un mecanisme de permutacions diferenciable. El nostre model pot ser entrenat en entorns dèbilment supervisats, és a dir, amb només observar parells input-output, i en entorns fins i tot més febles, utilitzant un reward no diferenciable. D'altra banda, gràcies a l'aspecte dinàmic de la nostra arquitectura, podem incorporar la complexitat computacional com un terme de regularització que pot ser optimitzat per retropropagació. Demostrem la flexibilitat i l'eficiència de la Divide and Conquer Network en tres tasques combinatories i geomètriques: ordenar escalars, trobar l'envolvent convexa de punts en el pla, i k-means. Gràcies a la naturalesa de programació dinàmica del nostre model, es mostren millores significatives respecte models anteriors.
dc.language.isoeng
dc.publisherUniversitat Politècnica de Catalunya
dc.rightsS'autoritza la difusió de l'obra mitjançant la llicència Creative Commons o similar 'Reconeixement-NoComercial- SenseObraDerivada'
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/es/
dc.subjectÀrees temàtiques de la UPC::Física
dc.subject.lcshNeural networks (Computer science)
dc.subject.lcshAlgorithms
dc.subject.lcshArtificial intelligence
dc.subject.otherneural networks
dc.subject.otherAlgoritmos
dc.subject.otherredes neuronales
dc.subject.otherinteligencia artifical
dc.subject.otherXarxes intel·ligents
dc.titleDivide and Conquer Networks
dc.title.alternativeProgramació dinàmica amb xarxes neuronals
dc.typeBachelor thesis
dc.subject.lemacXarxes neuronals (Informàtica)
dc.subject.lemacAlgorismes
dc.subject.lemacIntel·ligència artificial
dc.identifier.slugETSETB-230.121718
dc.rights.accessOpen Access
dc.date.updated2017-06-15T05:50:51Z
dc.audience.educationlevelGrau
dc.audience.mediatorEscola Tècnica Superior d'Enginyeria de Telecomunicació de Barcelona
dc.audience.degreeGRAU EN ENGINYERIA FÍSICA (Pla 2011)
dc.contributor.covenanteeNew York University. Center for Data Science


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record

Attribution-NonCommercial-NoDerivs 3.0 Spain
Except where otherwise noted, content on this work is licensed under a Creative Commons license : Attribution-NonCommercial-NoDerivs 3.0 Spain