Energy-aware training of neural network architectures: Trade-off between correctness and energy consumption
View/Open
Cita com:
hdl:2117/402257
Document typeBachelor thesis
Date2023-10-18
Rights accessOpen Access
All rights reserved. This work is protected by the corresponding intellectual and industrial
property rights. Without prejudice to any existing legal exemptions, reproduction, distribution, public
communication or transformation of this work are prohibited without permission of the copyright holder
Abstract
Als darrers anys, l'Aprenentatge Profund ha assolit moltes fites en una àmplia varietat de camps. Aquestes fites generalment s'aconsegueixen mitjançant l'escalatge de la computació, sense tenir en compte la petjada de carboni que això podria causar. Presentem un marc de treball per reduir el consum d'energia en l'entrenament de models d'Aprenentatge Profund mentre sense deixar de valorar la precisió, basat en un sistema de 4 passos: monitorització, predicció, entrada de l'usuari, acció. Aquest sistema permet prendre decisions interactives durant l'entrenament basades en les dades recopilades fins a aquest punt. Per desenvolupar el sistema de predicció, creem un nou conjunt de dades entrenant una xarxa neuronal convolucional en 12 conjunts de dades múltiples vegades, aplicant els mètodes triats en diferents moments de l'entrenament. El sistema desenvolupat pot predir la precisió de validació amb un 8.4\% d'error, el consum d'energia amb un 14.3\% d'error i l'equilibri entre ambdós amb un 8.9\% d'error. La eina implementada es va mostrar a un grup de voluntaris que la van valorar amb una mitjana de 4.3 sobre 5 en utilitat percebuda i 3.8 sobre 5 en facilitat d'ús percebuda. In the last years, Deep Learning has achieved loads of milestones in a wide variety of ambits. Those milestones are generally reached by scaling up computation, disregarding the carbon footprint that this could cause. We present a framework to reduce the energy consumption of training DL models while still assessing the accuracy, based on a 4-step system: monitoring, prediction, user input, action. This system allows for interactive decisions during training based on the collected data up to that point. To develop the prediction system, we create a novel dataset on training a convolutional neural network on 12 datasets multiple times, each one applying the chosen methods at different moments of the training. The system developed can predict the validation accuracy with a 8.4\% of error, the energy consumed with a 14.3\% of error and the trade-off between both with a 8.9\% of error. The tool implemented was shown to a group of volunteers that rated it with an average of 4.3 out of 5 on perceived usefulness and a 3.8 out of 5 on perceived ease of use.
DegreeGRAU EN CIÈNCIA I ENGINYERIA DE DADES (Pla 2017)
Files | Description | Size | Format | View |
---|---|---|---|---|
176111.pdf | 3,292Mb | View/Open |