Analyzing how model optimization techniques affect model correctness, inference time and energy consumption of computer vision models

Carregant...
Miniatura
El pots comprar en digital a:
El pots comprar en paper a:

Projectes de recerca

Unitats organitzatives

Número de la revista

Títol de la revista

ISSN de la revista

Títol del volum

Correu electrònic de l'autor

Tribunal avaluador

Realitzat a/amb

Tipus de document

Treball Final de Grau

Condicions d'accés

Accés obert

item.page.rightslicense

Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva reproducció, distribució, comunicació pública o transformació sense l'autorització de la persona titular dels drets

Assignatures relacionades

Assignatures relacionades

Publicacions relacionades

Datasets relacionats

Datasets relacionats

Projecte CCD

Abstract

Antecedents: Donada la naturalesa accelerada de la tecnologia actual, és crucial avaluar l'impacte de la Intel·ligència Artificial (IA) en el consum d'energia. Els projectes tradicionals d'Aprenentatge Automàtic (AA) prioritzen mètriques de precisió sobre l'eficiència energètica, creant una bretxa en la recerca sobre el consum d'energia durant la inferència de models d'IA, especialment en aplicacions de visió per computador. Objectius: Aquesta tesi té com a objectius (i) comprendre les característiques clau dels conjunts de dades i models de visió per computador, (ii) millorar l'eficiència energètica de la inferència mitjançant la comparació de models optimitzats i no optimitzats, i (iii) proporcionar pautes per optimitzar el rendiment i la sostenibilitat dels models. Mètode: Realitzem un experiment controlat per avaluar sistemàticament l'impacte de diverses tècniques d'optimització de PyTorch (és a dir, quantificació dinàmica, torch.compile, poda local i poda global) en la qualitat d'inferència dels components d'AA, que inclou precisió, temps, i consum d'energia. Concretament, ens centrem en 75 models reals d'HuggingFace per a tasques de classificació d'imatges i detecció d'objectes. Això implica recopilar conjunts de dades i models de Hugging Face, realitzar experiments d'inferència repetits i analitzar les dades recollides per descobrir informació sobre les compensacions entre l'eficàcia del model i l'eficiència energètica per a ambdues tasques. Resultats: La quantificació dinàmica demostra reduccions significatives en el temps d'inferència i el consum d'energia per a la classificació d'imatges, mentre que la poda local no mostra cap impacte positiu. A més, torch.compile demostra un bon equilibri entre la correcció del model i l'eficiència energètica. Per a la detecció d'objectes, totes les tècniques d'optimització redueixen notablement el temps d'inferència, encara que ho fan a costa de la correcció del model. Conclusions: Destacant l'eficàcia de diversos mètodes d'optimització, aquest estudi proporciona als professionals una visió crucial per prendre decisions informades. Es proporcionen guies pràctiques, destacant la importància de seleccionar estratègies d'optimització adaptades als requisits específics de la tasca, impulsant avenços cap a solucions d'IA sostenibles i eficients.


Background: Given the fast-paced nature of today's technology, it is crucial to assess the impact of Artificial Intelligence (AI) on energy consumption. Traditional Machine Learning (ML) projects prioritize accuracy metrics over energy efficiency, creating a gap in research regarding energy consumption during AI model inference, especially in Computer Vision (CV) applications. Aims: This thesis aims to (i) understand key features of CV datasets and models, (ii) improve inference energy efficiency by comparing optimized and non-optimized models, and (iii) provide guidelines for optimizing model performance and sustainability. Method: We conduct a controlled experiment to systematically evaluate the impact of various optimization techniques from PyTorch (namely, dynamic quantization, torch.compile, local pruning, and global pruning) on the inference quality of ML components, which includes accuracy, time, and energy consumption. Specifically, we focus on 75 real models from HuggingFace for image classification and object detection tasks. It involves gathering datasets and models from Hugging Face, conducting repeated inference experiments, and analyzing the collected data to uncover insights into the trade-offs between model effectiveness and energy efficiency for both tasks. Results: Dynamic quantization demonstrates significant reductions in inference time and energy consumption for image classification, while local pruning shows no positive impact. Additionally, torch.compile demonstrates a good balance between model correctness and energy efficiency. For object detection, all optimization techniques notably reduce inference time, though at the expense of model correctness. Conclusions: By highlighting the effectiveness of diverse optimization methods, this study provides practitioners with crucial insights for informed decision-making. Practical guidelines are provided, emphasizing the importance of selecting optimization strategies tailored to specific task requirements, driving advancements toward sustainable and efficient AI solutions.

Descripció

Provinença

Titulació

GRAU EN CIÈNCIA I ENGINYERIA DE DADES (Pla 2017)

Document relacionat

Citació

Ajut

DOI

Versió de l'editor

Altres identificadors

Referències