Analyzing how model optimization techniques affect model correctness, inference time and energy consumption of computer vision models
Títol de la revista
ISSN de la revista
Títol del volum
Autors
Correu electrònic de l'autor
Tutor / director
Tribunal avaluador
Realitzat a/amb
Tipus de document
Data
Condicions d'accés
item.page.rightslicense
Publicacions relacionades
Datasets relacionats
Projecte CCD
Abstract
Antecedents: Donada la naturalesa accelerada de la tecnologia actual, és crucial avaluar l'impacte de la Intel·ligència Artificial (IA) en el consum d'energia. Els projectes tradicionals d'Aprenentatge Automàtic (AA) prioritzen mètriques de precisió sobre l'eficiència energètica, creant una bretxa en la recerca sobre el consum d'energia durant la inferència de models d'IA, especialment en aplicacions de visió per computador. Objectius: Aquesta tesi té com a objectius (i) comprendre les característiques clau dels conjunts de dades i models de visió per computador, (ii) millorar l'eficiència energètica de la inferència mitjançant la comparació de models optimitzats i no optimitzats, i (iii) proporcionar pautes per optimitzar el rendiment i la sostenibilitat dels models. Mètode: Realitzem un experiment controlat per avaluar sistemàticament l'impacte de diverses tècniques d'optimització de PyTorch (és a dir, quantificació dinàmica, torch.compile, poda local i poda global) en la qualitat d'inferència dels components d'AA, que inclou precisió, temps, i consum d'energia. Concretament, ens centrem en 75 models reals d'HuggingFace per a tasques de classificació d'imatges i detecció d'objectes. Això implica recopilar conjunts de dades i models de Hugging Face, realitzar experiments d'inferència repetits i analitzar les dades recollides per descobrir informació sobre les compensacions entre l'eficàcia del model i l'eficiència energètica per a ambdues tasques. Resultats: La quantificació dinàmica demostra reduccions significatives en el temps d'inferència i el consum d'energia per a la classificació d'imatges, mentre que la poda local no mostra cap impacte positiu. A més, torch.compile demostra un bon equilibri entre la correcció del model i l'eficiència energètica. Per a la detecció d'objectes, totes les tècniques d'optimització redueixen notablement el temps d'inferència, encara que ho fan a costa de la correcció del model. Conclusions: Destacant l'eficàcia de diversos mètodes d'optimització, aquest estudi proporciona als professionals una visió crucial per prendre decisions informades. Es proporcionen guies pràctiques, destacant la importància de seleccionar estratègies d'optimització adaptades als requisits específics de la tasca, impulsant avenços cap a solucions d'IA sostenibles i eficients.
Background: Given the fast-paced nature of today's technology, it is crucial to assess the impact of Artificial Intelligence (AI) on energy consumption. Traditional Machine Learning (ML) projects prioritize accuracy metrics over energy efficiency, creating a gap in research regarding energy consumption during AI model inference, especially in Computer Vision (CV) applications. Aims: This thesis aims to (i) understand key features of CV datasets and models, (ii) improve inference energy efficiency by comparing optimized and non-optimized models, and (iii) provide guidelines for optimizing model performance and sustainability. Method: We conduct a controlled experiment to systematically evaluate the impact of various optimization techniques from PyTorch (namely, dynamic quantization, torch.compile, local pruning, and global pruning) on the inference quality of ML components, which includes accuracy, time, and energy consumption. Specifically, we focus on 75 real models from HuggingFace for image classification and object detection tasks. It involves gathering datasets and models from Hugging Face, conducting repeated inference experiments, and analyzing the collected data to uncover insights into the trade-offs between model effectiveness and energy efficiency for both tasks. Results: Dynamic quantization demonstrates significant reductions in inference time and energy consumption for image classification, while local pruning shows no positive impact. Additionally, torch.compile demonstrates a good balance between model correctness and energy efficiency. For object detection, all optimization techniques notably reduce inference time, though at the expense of model correctness. Conclusions: By highlighting the effectiveness of diverse optimization methods, this study provides practitioners with crucial insights for informed decision-making. Practical guidelines are provided, emphasizing the importance of selecting optimization strategies tailored to specific task requirements, driving advancements toward sustainable and efficient AI solutions.

