Graphical models for mixed data with categorical latent variables

Abstract

Aquesta tesi pretén proporcionar una visió general dels models gràfics probabilístics en el context d'altres mètodes d'aprenentatge automàtic àmpliament utilitzats, i com aquests mètodes es poden formalitzar utilitzant models de independència condicionada i estadística algebraica. A base de comparar les Mixtures Gaussianes amb les Xarxes Neuronals interpretades com a models generatius, proposem un model gràfic per a dades mixtes (variables discretes i contítnues) que proporciona una base teòrica sòlida i una manera d'analitzar la Màquina de Boltzmann Restringida Gaussiana-Bernoulli. Això s'utilitza per modelar variables amb una distribució gaussiana condicionada, amb variables latents discretes. A més a més, aquesta tesi es centra en els procediments d'aprenentatge i mostreig, així com en l'ús de tècniques d'estadística algebraica per a descriure la expressivitat del model, fent servir models d'independència i de mixtura per a les varietats semi-algebraiques dels cumulants.

Esta tesis pretende proporcionar una visión general de los modelos gráficos probabilísticos en el contexto de otros métodos de aprendizaje automático ampliamente utilizados, y cómo estos métodos pueden ser formalizados utilizando modelos de independencia condicional y estadística algebraica. Al comparar los populares modelos de Mezclas Gaussianas con las redes neuronales vistas como modelos generativos, proponemos un modelo gráfico para datos mixtos (variables discretas y continuas) que sirve de base teórica sólida a la vez que permite analizar la Máquina de Boltzmann Restringida Gaussiana-Bernoulli. Esto se utiliza para modelar variables con una distribución gaussiana condicionada, con variables latentes discretas. Además, esta tesis se explaya sobre los procedimientos de aprendizaje y muestreo del modelo, así como en el uso de técnicas de estadística algebraica para describir la expresividad del mismo, utilizando modelos de independencia y mezcla para las variedades semi-algebraicas de los cumulantes.

This thesis aims to provide an overview of probabilistic graphical models in the context of other widely used machine learning methods, and how these methods can be formalised using conditional independence models and algebraic statistics. By comparing the extremely popular Gaussian Mixture Models and Neural Networks as generative graphical models, we are able to propose a graphical model for mixed data (discrete and continuous components) that provides a solid theoretical background and a way to analyse the Gaussian-Bernoulli Restricted Boltzmann Machine. This is used to model variables with a Gaussian conditional distribution, with discrete latent variables. On top of that, this thesis then goes into learning and sampling procedures as well as using techniques from algebraic statistics to further depict the expressibility of the model, making use of independence and mixture models for cumulant semi-algebraic varieties.