Training data analysis for Gaussian process state space models

Abstract

Gaussian Process State Space Models aim at constructing models of nonlinear dynamical systems capable of quantifying the uncertainty in their predictions. By means of sampling in a noisy environment and covariance functions, Gaussian Process regression techniques aim to infer an estimate of the underlying function as well as a probabilistic confidence interval. Optimally choosing sample points is crucial for system identification and control as it conforms, together with the prior knowledge, all the information available to approach the inference problem. The error between the real system and the estimation, as well as its probabilistic confidence interval, directly depend on a measure of the true function complexity, the maximum information gain and the number and distribution of the training data for a given kernel. However, a closed-form solution for the aforementioned parameters hasn't been presented in past literature. In this work, we show proof of exact information confidence bounds for the Linear Kernel and derive a connection between its parameters and the most informative subset of sample points. We derive closed forms for the information maximization problem, thus avoiding a non-linear optimization problem and significantly reducing the computational load. We also compute the true function's norm in its associated Reproducing Kernel Hilbert Space and use it as a measure of complexity of the true function. Finally, we obtain a unique sample point distribution that ensures both minimal sample variance and maximum information gain for the Linear Kernel. Additionally, a similar intuition is developed for the Gaussian Kernel, computing the true function norm in terms of its Fourier transform and deriving a similar connection between the sample point distribution and the tightest confidence bounds.

Los Modelos Espacio-Estado con Procesos Gaussianos tienen como objetivo construir modelos de sistemas dinámicos no lineales capaces de cuantificar la incertidumbre en sus predicciones. Mediante el muestreo de un entorno ruidoso y el uso de funciones de covarianza o kernels, las técnicas de regresión basadas en Procesos Gaussianos buscan inferir una estimación de la función subyacente, así como un intervalo de confianza probabilístico. La óptima elección de los puntos de muestreo es crucial para la identificación de sistemas y control ya que conforma, junto con el conocimiento a priori, toda la información disponible para tratar un problema de inferencia. El error entre el sistema real y la estimación, así como su intervalo de confianza, dependen directamente en la medida de la complejidad de la función objetivo, la máxima ganancia de información, y el número y la distribución de los puntos de muestreo para un cierto kernel. Sin embargo, una solución teórica cerrada que permita el cálculo exacto de dichos parámetros todavía no se encuentra en la literatura . En este estudio, presentamos el cálculo exacto de cotas de confianza para el Kernel Lineal y describimos una relación entre sus parámetros y el subconjunto de puntos de muestreo más informativos. Obtenemos soluciones explícitas para el problema de maximización de la información mutua, evitando por tanto un problema de optimización no lineal y reduciendo su coste computacional significativamente. También calculamos la norma de la función objetivo en su Espacio de Hilbert de Kernel Reproducible y la usamos como una medida de complejidad de la función objetivo. Finalmente, obtenemos una distribución de puntos de muestreo que asegura tanto una mínima varianza de las muestras como la obtención de la máxima ganancia de información para el Kernel Lineal. Adicionalmente, desarrollamos una intuición similar para el Kernel Gaussiano, calculando la norma de la función en su RKHS mediante la Transformada de Fourier y obteniendo una conexión similar entre la distribución de los puntos de muestreo y las cotas de confianza.

Els Models Espai-Estat amb Processos Gaussians tenen com a objectiu construir models de sistemes dinàmics no lineals capaços de quantificar la incertesa de les seves prediccions. Mitjançant el mostreig en un entorn sorollós i l'ús de funcions de covariància o kernels, les tècniques de regressió basades en Processos Gaussians busquen inferir una estimació de la funció subjacent, així com un interval de confiança probabilístic. L'òptima elecció dels punts de mostreig és crucial per a la identificació de sistemes i control, ja que conforma, conjuntament amb el coneixement a priori, tota la informació disponible per tractar un problema d'inferència. L'error entre el sistema real i l'estimació, així com el seu interval de confiança, depenen directament de la mesura de complexitat de la funció objectiu, el màxim guany d'informació i el nombre i distribució dels punts de mostreig per a un cert kernel. Tanmateix, una solució teòrica que permeti el càlcul exacte dels paràmetres encara no és present a literatura. En aquest estudi, presentem el càlcul exacte de cotes de confiança pel Kernel Lineal i descrivim una relació entre els seus paràmetres i el subconjunt de punts de mostreig més informatius. Obtenim expressions tancades per a la maximització de la informació mútua, evitant per tant un problema d'optimització no lineal i reduint el cost computacional significativament. També calculem la norma de la funció objectiu al seu Espai de Hilbert de Kernel Reproduïble i l'utilitzem com a mesura de complexitat de la funció objectiu. Finalment, obtenim una distribució de punts de mostreig que assegura tant una mínima variància de les mostres com l'obtenció del màxim guany d'informació pel Kernel Lineal. Addicionalment, desenvolupem una intuïció similar pel Kernel Gaussià, calculant la norma de la funció al seu RKHS mitjançant la Transformada de Fourier i obtenint una connexió similar entre la distribució dels punts de mostreig i les cotes de confiança.