Restricted Boltzmann Machines with Three-Body Weights

Abstract

Las Máquinas de Boltzmann Restringidas son un tipo de red neuronal capaz de aprender la distribución de probabilidad de los datos de entrenamiento. Esta característica lo hace un modelo muy útil, el cuál ha sido utilizado en muchos campos desde su publicación. En este trabajo proponemos una extensión del modelo con pesos a tres cuerpos, sin perder las propiedades que permiten aplicar muestreo de Gibbs de forma eficiente, y por lo tanto utilizar "Divergencia Contrastiva" para el aprendizaje. Además, mostramos resultados de pruebas en dos problemas distintos, y comparamos el modelo extendido con el original.

Restricted Boltzmann Machines are a type of neural networks capable of learning a probability distribution over the training data. This feature makes it a very powerful model, which has been used in many fields since its publication. In this work, we propose an extension of the model with three body weights, without losing the properties that enable efficient Gibbs sampling, and therefore using Contrastive Divergence for learning. Besides, we show results of tests of the model with two different problems, and compare the extended model with the original.