L’objectiu principal d’aquest treball és explorar els camps de la Intel∙ligència Artificial explicable (XAI per les seves sigles en anglès) i de la Intel∙ligència Artificial multimodal, arribant a desenvolupar un mètode d’explicabilitat per a Intel∙ligència Artificial multimodal en l’àmbit de la salut. S’ha concretat una metodologia per obtenir explicacions dels models que combinen la informació extreta de més d’una modalitat de dades. L’estratègia es basa en extreure característiques de les imatges que es puguin presentar en format tabular per posteriorment ser annexades a les dades clíniques tabulars i aplicant mètodes d’explicabilitat a un model entrenat amb totes les dades tabulars. El mètode desenvolupat està acotat a casos d’ús que combinin imatge mèdica i dades clíniques tabulars, és agnòstic al model, proporciona explicabilitat global i local i és de possible aplicació en múltiples casos d’ús. Per provar i millorar el mètode desenvolupat, s’ha utilitzat un cas d’ús de diagnòstic de la Malaltia d’Alzheimer (MA), incorporant imatges de ressonància magnètica (MRI, per les seves sigles en anglès) i dades clíniques tabulars per a cada pacient. El resultat d’aquest projecte el conformen aquesta Memòria i Annexos, així com tres documents en format notebook amb tot el codi desenvolupat en llenguatge Python. Es conclou que el treball té moltes possibilitats d’ampliació i optimització futures.

El principal objetivo de este trabajo es explorar los campos de la Inteligencia Artificial explicable (XAI por sus siglas en inglés) y de la Inteligencia Artificial multimodal, llegando a desarrollar un método de explicabilidad para Inteligencia Artificial multimodal en el ámbito de la salud. Se ha concretado una metodología para obtener explicaciones de los modelos que combinan la información extraída de más de una modalidad de datos. La estrategia se basa en extraer características de las imágenes que se puedan presentar en formato tabular para posteriormente ser anexados a los datos clínicos tabulares y aplicando métodos de explicabilidad a un modelo entrenado con todos los datos tabulares. El método desarrollado está acotado a casos de uso que combinen imagen médica y datos clínicos tabulares, es agnóstico al modelo, proporciona explicabilidad global y local y es de posible aplicación en múltiples casos de uso. Para probar y mejorar el método desarrollado, se ha utilizado un caso de uso de diagnóstico de la Enfermedad de Alzheimer, incorporando imágenes de resonancia magnética (MRI, por sus siglas en inglés) y datos clínicos tabulares para cada paciente. El resultado de este proyecto lo conforman esta Memoria y Anexos, así como tres documentos en formato notebook con todo el código desarrollado en lenguaje Python. Se concluye que el trabajo tiene muchas posibilidades de ampliación y optimización futuros.

The main goal of this work is to explore the fields of eXplainable Artificial Intelligence (XAI) and multimodal Artificial Intelligence, developing an explainability method for multimodal Artificial Intelligence in the field of health. This work specifies a methodology to obtain explanations of the models that combine the information extracted from more than one data modality. The strategy is based on extracting characteristics from the images that can be presented in tabular format, attaching them afterwards to the tabular clinical data and applying explainability methods to a model trained with all the tabular data. The developed method is limited to the use cases that combine medical imaging and tabular clinical data, it is agnostic to the model, provides global and local explainability and it can be applied in multiple use cases. To test and improve the developed method, a diagnostic use case of Alzheimer’s Disease (AD) has been used, incorporating magnetic resonance images (MRI) and tabular clinical data for each patient. The result of this project consists on this Report and Annexes, as well as three documents in notebook format with all the code developed in Python. It is concluded that this work has many opportunities of improvement and optimization.