Interpretability of deep learning models

Abstract

In recent years we have seen growth on interest for Deep Learning (DL) algorithms on a variety of problems, due to their outstanding performance. This is more palpable on a multitude of fields, where self-learning algorithms are becoming indispensable tools to help professionals solve complex problems. However as these models are getting better, they also tend to be more complex and are sometimes referred to as "Black Boxes". The lack of explanations for the resulting predictions and the inability of humans to understand those decisions seems problematic. In this project, different methods to increase the interpretability of Deep Neural Networks (DNN) such as Convolutional Neural Network (CNN) are studied. Additionally, how these interpretability methods or techniques can be implemented, evaluated and applied to real-world problems, by creating a python ToolBox.

En los últimos años, hemos visto un crecimiento de interés por los algoritmos de aprendizaje profundo (DL) en una variedad de problemas, debido a su excelente rendimiento. Esto es más palpable en una multitud de campos, donde los algoritmos de autoaprendizaje se están convirtiendo en una herramienta indispensable para ayudar a profesionales resolver problemas complejos. Sin embargo, a medida que estos modelos mejoran, también aumenta su complejidad, y en ocasiones se los denomina "Cajas Negras". La falta de explicaciones para las predicciones resultantes y la incapacidad de los humanos para entender esas decisiones parece problemática. En este trabajo, se estudian diferentes métodos para aumentar la interpretabilidad de Redes Neuronales Profundas (DNN) como las Redes Neuronales Convolucionales (CNN). Además, evaluamos cómo estos métodos o técnicas de interpretabilidad pueden implementarse y aplicarse a problemas reales, mediante la creación de una ToolBox de python.

En els darrers anys hem vist un creixement en l'interès pels algoritmes d'aprenentatge profund (DL) a una varietat de problemes, a causa del seu excel·lent rendiment. Això és més palpable en una multitud de camps, on els algoritmes d'autoaprenentatge s'estan convertint en eines per ajudar als professionals resoldre problemes complexes. Tanmateix, a mesura que aquests models milloren, també augmenta la seva complexitat, i a vegades es denominen "Caixes Negres". La manca d'explicacions per a les prediccions resultants i la incapacitat dels humans per entendre aquestes decisions sembla problemàtica. En aquest projecte, s'estudien diferents mètodes per augmentar la interpretabilitat de Xarxes Neuronals Profundes (DNN) com ara les Xarxes Neuronals Convolucionals (CNN). A més, avaluem com es poden implementar i aplicar aquests mètodes o tècniques d'interpretació a problemes reals, creant una Toolbox de python.