Study and implementation of manifold regularization techniques in neural networks

Abstract

During the last years, semi-supervised learning has become one of the most important topics for research in machine learning. Dealing with the situation where few labeled training points are available, but a large number of unlabeled points are given, it is directly relevant to a multitude of practical problems. Indeed, many situations of life can be explained from that perspective, where the majority of the data is unlabeled. For instance, when babies learn to speak, they do not know the meaning of the words they listen to, but learn that after a subject there always comes an action. Namely, they take profit of the structure of the input data. As for neural networks, unregularized artificial neural networks (ANNs) can be easily overfit with a limited sample size. This is due to the discriminative nature of ANNs which directly model the conditional probability p(yjx) of labels given the input. The ignorance of input distribution p(x) makes ANNs difficult to generalize to unseen data. Recent advances in regularization techniques indicate that modeling input data distribution (either explicitly or implicitly) greatly improves the generalization ability of a ANN. In this work, I explore the manifold hypothesis which assumes that instances within the same class lie in a smooth manifold. This idea is carried out by imposing manifold based locality preserving constraints on the outputs of the network. This thesis basically focuses on the training of a 1-hidden layer NN for a binary classification problem. The basic idea is to take profit of data structure based on the assumption it lies on a submanifold in a high dimensional space. In this thesis, based on previous works related to the topic, I model this idea using the Laplacian graph as a constrain in the objective function of the NN. Experimental results show that, having chosen good hyperparameters for the NN and in the datasets under consideration, there is always an improvement in the algorithm performance when applying manifold regularization, represented in the form of a lower missclassification error. This results can be used as a proof-of-concept for more advanced studies in the field.

En los últimos años, semi-supervised learning se ha convertido en uno de los temas más escogidos en investigaciones sobre machine learning. En multitud de situaciones prácticas solo se conocen etiquetas de un grupo minoritario de datos mientras que, en comparación, el conjunto de datos a entrenar es grande. De hecho, muchas experiencias de la vida pueden explicarse desde esta perspectiva. Por ejemplo, cuando los recién nacidos aprenden a hablar no conocen el significado de las palabras que escuchan pero llegan a aprender que después de un sujeto siempre viene un predicado. Es decir, aprovechan la estructura de los datos. En relación a las NN, las artificial neural networks no regularizadas (ANNs) pueden fácilmente estar overfitted a causa de la condición discriminativa que tienen estas redes por naturaleza, las cuales modelan directamente la probabilidad condicional p(yjx) de los datos a entrenar. Sin embargo, la ignorancia de la distribución de probabilidad de los datos de entrada p(x) hace de las ANNs unos algoritmos difíciles de generalizar para datos no usados en el entrenamiento. Algunas investigaciones recientes indican que el poder modelar esta distribución de probabilidad de los datos de entrada mejora sustancialmente esta generalización del comportamiento del algoritmo para nuevos datos. En este proyecto estudio la hipótesis que asume que los datos de una misma clase se encuentran en un manifold de bajas dimensiones, en comparación con la alta dimensión del espacio en el que se encuentra el conjunto de datos de entrada. Esta idea es llevada a cabo mediante la imposición de unas limitaciones geométricas sobre los resultados de la red neuronal propuesta. La tesis se centra en el entrenamiento de una 1-hidden fully connected layer NN para un problema de clasificación binaria. La idea básica es aprovechar la estructura geométrica de los datos de entrada a partir de la asunción que esta en realidad se encuentra en un manifold de dimensiones bajas. Basándome en trabajos previos sobre el tema, modelo la idea de usar el Laplacian graph como limitación en la objective function que define la red neuronal propuesta. Los resultados de los experimentos demuestran que, con una buena elección de los hyperparámetros de la red y dependiendo del conjunto de datos usado en el entrenamiento, siempre hay una mejora en el comportamiento de la NN cuando se aplica la técnica en cuestión, en términos de un error de clasificación más bajo. Estos resultados pueden ser usados como una prueba de concepto para investigaciones sobre este campo más avanzadas .

En els últims anys, semi-supervised learning s'ha convertit en un dels temes més escollits en investigacions sobre machine learning. En multitut de situacions pràctiques només es coneixen etiquetes d'un grup minoritari de dades mentre que, en comparació, el conjunt de dades a entrenar és gran. De fet, moltes experiències de la vida poden explicar-se des d'aquesta perspectiva. Per exemple, quan els nadons aprenen a parlar no coneixen el significat de les paraules que escolten però acaben aprenent que després d'un subjecte sempre vé un predicat. És a dir, aprofiten l'estructura de les dades. En relació a les xarxes neuronals, les artificial neural networks no regularitzades (ANNs) poden fàcilment estar overfitted a causa de la condició discriminativa que tenen aquestes xarxes per naturalesa, les quals modelen directament la probabilitat condicional p(y|x) de les dades a entrenar. Tot i això, la ignorància de la distribució de probabilitat de les dades d'entrada p(x) fa que les ANNs siguin uns algoritmes difícils de generalitzar per a dades no usades en l'entrenament. Algunes investigacions recents indiquen que el poder modelar aquesta distribució de probabilitat de les dades d'millora substancialment la generalització del comportament de l'algoritme per a noves dades. En aquest projecte estudio la hipòtesis que assumeix que les dades d'una mateixa classe es troben en un manifold de baixes dimensions, en comparació amb l'alta dimensió de l'espai en el que es troba el conjunt de dades d'inicials. Aquesta idea és duta a terme per mitjà de la imposició d'unes limitacions geomètriques sobre els resultats de la xarxa neuronal proposta. La tesi es centra en l'entrenament d'una 1-hidden fully connected layer NN per a un problema de classificació binària. La idea bàsica és aprofitar l'estructura geomètrica de les dades d'entrada a partir de l'assumpció que aquestes en realitat es troben en un manifold de dimensions baixes. Basant-me en estudis previs sobre la matèria, modelo la idea d'usar el Laplacian graph com a limitació en la objective function que defineix la xarxa neuronal proposta. Els resultats dels experiments demostren que, amb una bona el.lecció dels hyperparàmetres de la xarxa i depenent del conjunt de dades usat en l'entrenament, sempre es produeix una millora en el comportament de la NN quan s'aplica la tècnica en qüestió, en termes d'un error de classificació més baix. Aquests resultats poden ser utilitzats com una prova de concepte per a investigacions sobre aquest camp més avançades.