Designing deep learning accelerators in the limits of energy efficiency

Abstract

(English) Deep Neural Network (DNN) models form the backbone of today’s Artificial Intelligence (AI) systems. Their large size and high computational cost have resulted in specialized hardware accelerators being essential for executing these models across many applications. However, the energy efficiency of state-of-the-art accelerator systems falls short of the demands of current AI, especially considering that, while DNN models keep getting larger and more complex, Moore’s Law is coming to a halt. This thesis aims at investigating new ways of optimizing the energy efficiency of AI accelerators by considering and leveraging different degrees of freedom involved in the computation of DNN workloads. Namely, several energy efficiency optimization techniques are explored involving accelerator dataflow, functional circuit approximations, low-bit quantization, mixed-precision, and undervolting; with the goal of pushing the limits of energy-efficient AI acceleration.

(Català) Els models de xarxes neuronals profundes són la base dels sistemes d'intel·ligència artificial actuals. La seva gran mida i elevat cost computacional han motivat que els acceleradors de hardware especialitzats siguin essencials per a l'execució d'aquests models en moltes aplicacions. Tanmateix, en l'estat de l'art, l'eficiència energètica dels acceleradors està lluny de la que requereix la intel·ligència artificial contemporània, especialment considerant que, encara que els models de xarxes neuronals continuen creixent en mida i complexitat, la Llei de Moore està arribant al seu final. Aquesta tesi se centra en la recerca de noves maneres d'optimitzar l'eficiència energètica dels acceleradors d'intel·ligència artificial mitjançant l'estudi i l'ús de diferents graus de llibertat en el càlcul de xarxes neuronals profundes. Més concretament, s'han explorat diverses tècniques d'optimització de l'eficiència energètica, incloent-hi el flux de dades en acceleradors, aproximacions funcionals de circuits, quantització en pocs bits, precisió mixta i infravoltatge; amb l'objectiu d'expandir els límits de l'eficiència energètica dels acceleradors d'intel·ligència artificial.

(Español) Los modelos de redes neuronales profundas son la base de los sistemas de inteligencia artificial actuales. Su gran tamaño y su elevado coste computacional han motivado que los aceleradores de hardware especializados sean esenciales para la ejecución de dichos modelos en muchas aplicaciones. Sin embargo, en el estado del arte, la eficiencia energética de los aceleradores está lejos de lo que demanda la inteligencia artificial contemporánea, especialmente considerando que, mientras los modelos de redes neuronales siguen creciendo en tamaño y complejidad, la Ley de Moore está llegando a su fin. Esta tesis se centra en la investigación de nuevas formas de optimizar la eficiencia energética de los aceleradores de inteligencia artificial mediante el estudio y el uso de diferentes grados de libertad en el cálculo de redes neuronales profundas. Más concretamente, se han explorado diversas técnicas de optimización de la eficiencia energética, incluyendo el flujo de datos en aceleradores, aproximaciones funcionales de circuitos, cuantización de pocos bits, precisión mixta e infravoltaje; con el objetivo de expandir los límites de la eficiencia energética de los aceleradores de inteligencia artificial.