Compression of convolutional neural networks using Tucker Decomposition

Abstract

Nowadays, deep neural networks are being introduced in mobile devices where memory space and computation speed is limited. Therefore, the need for more com- pression in those networks has increased. In this work, we explore a way to com- press the convolutional neural networks by reducing the number of weights in their convolutional layers. This method consists on the Tucker decomposition of tensors introduced on the kernels of the convolutional layers. Two different architectures, one with three convolutional layers and another with five, are the base of our study. We employ the Tucker decomposition in different forms, with more or less compression. We compute their compression rates versus the accuracy and loss (training and test) for the CIFAR-10 dataset, in order to see how good the performance of the compressed models is with respect to the original. The decomposition achieves its best results when compressing partially each kernel layer, up to 70%. Finally, we visualize the probability density function of the filters, contrasting its shape in function of the compression. From those plots, we conclude that, not only we are able to reduce the number of parameters, but also the number of bits needed to store them if we use entropy encoding.

Últimament es van introduïnt les xarxes neuronals als dispositius móbils, quan la seva capacitat i velocitat de computació estan limitades. Això acompanya a la necessitat d’introduïr la compressió d’aquestes xarxes neuronals. Amb aquest projecte, s’explora una forma de comprimir les xarxes neuronals convolucionals, reduïnt el nombre de pesos a les seves capes convolucionals. Aquest mètode consisteix en la descomposió de tensors anomenada Tucker, que s’introdueix als nuclis de les capes convolucionals. Dues extructures diferents, una amb tres capes convolucionals i una altra amb cinc, s’usen com a base d’estudi. Es duu a terme la descomposició de Tucker de diferents maneres, amb més o menys compressió. Es computen les pèrdues i precisions (en l’entrenament i el test) de la base de dades CIFAR-10, per veure quin és el seu rendiment en funció del model original. La descomposició aconsegueix millors resultats quan es comprimeix parcialment cada capa, fins a una compressió del ∼70%. Finalment, es visualitza la forma de la funció de densitat de probabilitat dels pesos en funció de la compressió. A partir d’aquí, es conclueix que, no només es poden reduïr el número de paràmetres, sinò també el nombre de bits usats per emmagatzemar-los, si usem un mètode de codificació entròpica.

Últimamente, se van introduciendo las redes neuronales en dispositivos móviles, cuándo su memoria y velocidad de computación son limitados. Entonces, esto acompaña a la necesidad de comprimir esas redes neuronales. En este proyecto, se explora una forma de comprimir redes neuronales convolucionales reduciendo el número de pesos en sus capas convolucionales. Este método consiste en la descomposición de tensores Tucker, que se introduce en los núcleos de las capas convolucionales. Dos estructuras diferentes, una con tres capas convolucionales y otra con cinco, se usan como base del estudio. Se emplea la descomposición de Tucker de formas distintas, con más o menos compresión. Se computen las pérdidas y la precisión (en entrenamiento y test) en función del ratio de compresión del modelo para la base de datos CIFAR-10, para ver su rendimiento con respeto al modelo original. La descomposición alcanza sus mejores resultados cuando se comprime parcialmente cada capa, hasta una compresión del ∼70%. Finalmente, se visualiza la forma de la función de densidad de probabilidad de los pesos en función de la compresión. A partir de esto, se conclude que, no solo se puede reducir el número de parámetros sino también el número de bits usados para almacenarlos, si usamos un método de codificación entrópica.