Aquesta tesi investiga el desenvolupament d'un sistema assistit per IA per a la rehabilitació de la mà, centrant-se en l'estimació de la postura 3D de la mà, la creació d'un conjunt de dades orientat a tasques i l'avaluació automàtica del rendiment. El projecte comença avaluant models d'interacció mà-objecte d'última generació i selecciona HOLD com a base conceptual per la seva capacitat de generalitzar a objectes no vistos. Per superar les limitacions en l'estimació de la postura de la mà, el model s'ha millorat incorporant Hamba, que proporciona un seguiment de la mà més precís i robust en escenaris amb oclusió. Per entrenar i avaluar el model, s'ha creat i preprocesat un nou conjunt de dades amb 180 seqüències de sis participants realitzant exercicis clínicament rellevants. S'ha entrenat una Xar- xa Convolucional Gràfica Espaciotemporal (STGCN) amb una matriu d'adjacència adaptativa basada en Graph Attention Network (GAT) per predir puntuacions contínues de rendiment. Els resultats quantitatius mostren prediccions precises de la qualitat dels exercicis, mentre que les anàlisis qualitatives basades en atenció evidencien que el model identifica correctament les articulacions rellevants anatòmica i funcionalment, com els dits. En conjunt, el treball demostra que els models basats en gràfics poden proporcionar retroali- mentació precisa, interpretable i rellevant per a la rehabilitació de la mà. Treballs futurs inclouen l'ampliació del conjunt de dades, la integració de l'estimació de postura de l'objecte i la millora dels mecanismes de retroalimentació, establint la base per a sistemes de rehabilitació assistits per IA aplicables clínicament.

This thesis investigates the development of an AI-assisted pipeline for hand rehabilitation, focusing on 3D hand pose estimation, task-oriented dataset creation, and automated performance assessment. The project begins by evaluating state-of-the-art hand-object interaction models and selects HOLD as a conceptual foundation due to its generalization to unseen objects. Recognizing its limitations in hand pose estimation, the model is improved by incorporating Hamba, which provides more accurate and robust hand tracking in occluded and challenging scenarios. To support model training and evaluation, a novel dataset of 180 sequences from six participants performing clinically relevant hand rehabilitation exercises was collected and preprocessed. A Spatio-Temporal Graph Convolutional Network (STGCN) with an adaptive Graph Attention Network (GAT) adjacency matrix is trained on the dataset to predict continuous performance scores. Quantitative results demonstrate accurate prediction of rehabilitation exercise quality, while qualitative attention-based analyses reveal that the model correctly emphasizes anatomically and functionally relevant joints, such as fingertips, providing interpretable feedback. Overall, the work demonstrates that graph-based deep learning models can provide accurate, interpretable, and task-relevant feedback for hand rehabilitation. Future work includes expanding the dataset, integrating object pose estimation, and improving user-friendly feedback mechanisms, laying the foundation for clinically applicable AI-assisted rehabilitation systems.

Esta tesis investiga el desarrollo de un sistema asistido por IA para la rehabilitación de la mano, centrado en la estimación de la postura 3D de la mano, la creación de un conjunto de datos orientado a tareas y la evaluación automática del rendimiento. El proyecto comienza evaluando modelos de interacción mano-objeto de última generación y selecciona HOLD como base conceptual por su capacidad para generalizar a objetos no vistos. Para superar las limitaciones en la estimación de la postura de la mano, el modelo se mejora incorporando Hamba, que proporciona un seguimiento más preciso y robusto en escenarios con oclusión. Para entrenar y evaluar el modelo, se creó y preprocesó un nuevo conjunto de datos con 180 secuencias de seis participantes realizando ejercicios clínicamente relevantes. Se entrenó una Red Convolucional Gráfica Espaciotemporal (STGCN) con una matriz de adyacencia adaptativa basada en Graph Attention Network (GAT) para predecir puntuaciones continuas de rendimiento. Los resultados cuantitativos muestran predicciones precisas de la calidad de los ejercicios, mientras que los análisis cualitativos basados en atención revelan que el modelo identifica correctamente las articulaciones anatómica y funcionalmente relevantes, como las puntas de los dedos. En conjunto, el trabajo demuestra que los modelos basados en grafos pueden proporcionar retroalimentación precisa, interpretable y relevante para la rehabilitación de la mano. Los trabajos futuros incluyen la ampliación del conjunto de datos, la integración de la estimación de la postura del objeto y la mejora de los mecanismos de retroalimentación, sentando las bases para sistemas de rehabilitación asistidos por IA aplicables clínicamente.