Prediction methods for statistical inference in graph signal processing

Abstract

This thesis studies the problem of inferring topology from signal graphs. For this reason, the Master's Thesis is part of the current of thought, growing in recent years, in which the structure of the network is not assumed to be known. The problem of inferring topology is approached from two angles. The first one, studies how to find the structure of a graph from spectral templates which can be noisy. Thus, from observations of the network, the spectral template of the graph that makes up the network is inferred. In previous works, like my Degree's Thesis, the algorithms for the inference of incomplete spectral templates were studied. In this Master's thesis, we go one step further by demonstrating why the techniques studied do not always work and proposing an algorithm based on LASSO to infer the network topology when the spectral templates are noisy. The proposed algorithm is compared with those previously studied obtaining better results in terms of RMSE and reliability. The second point of view addressed in this thesis is the inference of the network from statistical techniques. It is common to find networks whose nodes have some relation. These techniques are based on, from some observations of the network, trying to find the existing relationships between the different nodes of the graph. These techniques can be used in a more generic way than those based on spectral templates. Statistical methods are studied in more depth in this Master's Thesis. Initially, the Pearson correlation coefficient is explained. After studying it, some limitations are found. Thus, a new approach is proposed based on the conditional covariance. Then, it is assumed that the signals follow a Gaussian distribution which brings us to study the Maximum Likelihood estimator while considering the graph's sparsity. Although, the previous approach was improved, we are interested in finding even a better one. Hence, we study an approach based on linear regression. In this last algorithm, we include a term to promote sparsity when finding the solution. To conclude, the statistical methods studied, are compared by performing some simulations. By performing these simulations, it is observed that the best technique to infer the graph's topology is the one based on linear regression.

Esta tesis estudia el problema de inferir la topología de la red a partir de las señales grafo. Por esta razón, la Tesis Final de Máster se inscribe en la corriente actual de pensamiento, creciente en los últimos años, en la que se supone no conocida la estructura de la red. El problema de la inferencia de la topología se aborda desde dos ángulos. El primero, estudia cómo encontrar la estructura de un grafo a partir de plantillas espectrales que pueden ser ruidosas o no. Así, a partir de las observaciones, se infiere la plantilla espectral del grafo que compone la red. En trabajos anteriores, como mi Tesis de Final de Grado, se estudiaron los algoritmos para la inferencia de plantillas espectrales incompletas. En esta trabajo, vamos un paso más allá demostrando por qué las técnicas estudiadas no siempre funcionan. Seguimos, proponiendo un algoritmo basado en LASSO para inferir la topología de la red cuando las plantillas espectrales son ruidosas. El algoritmo propuesto se compara con los anteriormente estudiados obteniendo mejores resultados en términos de RMSE y fiabilidad. El segundo punto de vista abordado en esta tesis es la inferencia de la red a partir de técnicas estadísticas. Es común encontrar redes cuyos nodos tienen alguna relación entre ellos. Estas técnicas se basan, a partir de algunas observaciones de la red, en tratar de encontrar las relaciones existentes entre los diferentes nodos del grafo. Estas técnicas pueden ser utilizadas de manera más genérica que las basadas en plantillas espectrales. Por ese motivo, los métodos estadísticos se estudian con más profundidad en esta Tesis de Máster. Inicialmente, se explica el coeficiente de correlación de Pearson. Después de estudiarlo, se detecta una limitación. Por ese motivo, se propone un nuevo enfoque basado en la covarianza condicional. Luego, se asume que las señales siguen una distribución Gaussiana, lo que nos lleva a estudiar el estimador de Máxima Verosimilitud, también considerando que la matriz solución es dispersa. Aunque con esta técnica se mejora el enfoque anterior, estamos interesados en encontrar una técnica aún mejor. Por lo tanto, estudiamos un enfoque basado en la regresión lineal. En este último algoritmo, incluimos un término para promover la que la solución sea una matriz dispersa. Para concluir, los métodos estadísticos estudiados, se comparan realizando algunas simulaciones. Al realizarlas, se observa que la mejor técnica para inferir la topología del grafo es la que se basa en la regresión lineal.

Aquesta tesi estudia el problema d'inferir la topologia d'una xarxa a partir dels senyals graf. Per aquesta raó, la Tesi Final de Màster s'inscriu en el corrent actual de pensament, creixent en els darrers anys, en la que se suposa no coneguda l'estructura de la xarxa. El problema d'inferència de la topologia s'aborda des de dos angles. El primer, estudia com trobar l'estructura d'un graf a partir de plantilles espectrals que poden ser sorolloses o no. Així, a partir de les observacions, s'infereix la plantilla espectral del graf que compon la xarxa. En treballs anteriors, com la meva Tesi de Final de Grau, es van estudiar els algoritmes per a la inferència de plantilles espectrals incompletes. En aquest treball, anem un pas més enllà demostrant per què les tècniques estudiades no sempre funcionen. Seguim, proposant un algoritme basat en LASSO per inferir la topologia de la xarxa quan les plantilles espectrals són sorolloses. L'algoritme proposat es compara amb els anteriorment estudiats obtenint millors resultats en termes de RMSE i fiabilitat. El segon punt de vista abordat en aquesta tesi és la inferència de la xarxa a partir de tècniques estadístiques. És comú trobar xarxes on els nodes tenen alguna relació entre ells. Aquestes tècniques es basen, a partir d'algunes observacions de la xarxa, a tractar de trobar les relacions existents entre els diferents nodes del graf. Aquestes tècniques poden ser utilitzades de manera més genèrica que les basades en plantilles espectrals. Per aquest motiu, els mètodes estadístics s'estudien amb més profunditat en aquesta Tesi de Màster. Inicialment, s'explica el coeficient de correlació de Pearson. Després d'estudiar-lo, es detecta una limitació. Per aquest motiu, es proposa un nou enfocament basat en la covariància condicional. Després, s'assumeix que els senyals segueixen una distribució Gaussiana, el que ens porta a estudiar l'estimador de Màxima Versemblança, també considerant que la matriu solució és dispersa. Encara que amb aquesta tècnica es millora l'enfocament anterior, estem interessats a trobar una tècnica encara millor. Per tant, estudiem un enfocament basat en la regressió lineal. En aquest últim algoritme, incloem un terme per promoure que la solució sigui una matriu dispersa. Per concloure, els mètodes estadístics estudiats, es comparen realitzant algunes simulacions. En realitzar-les, s'observa que la millor tècnica per inferir la topologia del graf és la que es basa en la regressió lineal.