With people living longer than ever, the number of cases with neurodegenerative diseases such as Alzheimer's or cognitive impairment increases steadily. In Spain it affects more than 1.2 million patients and it is estimated that in 2050 more than 100 million people will be affected. While there are not effective treatments for this terminal disease, therapies such as reminiscence, that stimulate memories of the patient's past are recommended, as they encourage the communication and produce mental and emotional benefits on the patient. Currently, reminiscence therapy takes place in hospitals or residences, where the therapists are located. Since people that receive this therapy are old and may have mobility difficulties, we present an AI solution to guide older adults through reminiscence sessions by using their laptop or smartphone. Our solution consists in a generative dialogue system composed of two deep learning architectures to recognize image and text content. An Encoder-Decoder with Attention is trained to generate questions from photos provided by the user, which is composed of a pretrained Convolution Neural Network to encode the picture, and a Long Short-Term Memory to decode the image features and generate the question. The second architecture is a sequence-to-sequence model that provides feedback to engage the user in the conversation. Thanks to the experiments, we realise that we obtain the best performance by training the dialogue model with Persona-Dataset and fine-tuning it with Cornell Movie-Dialogues dataset. Finally, we integrate Telegram as the interface for the user to interact with Elisabot, our trained conversational agent.
El número de casos con enfermedades neurodegenerativas como el Alzheimer o el deterioro cognitivo aumenta de manera constante. En España afecta a más de 1,2 millones de pacientes y se estima que en 2050 se verán afectados más de 100 millones de personas. Si bien no existen tratamientos efectivos para esta enfermedad terminal, se recomiendan terapias como la reminiscencia, que estimulan los recuerdos del pasado y fomentan la comunicación del paciente. Actualmente, la terapia de reminiscencia se realiza en hospitales o residencias, donde se encuentran los terapeutas. Dado que las personas que reciben esta terapia son mayores y pueden tener dificultades de movilidad, presentamos una solución basada en inteligencia artificial para guiar a los usuarios a través de sesiones de reminiscencia utilizando su portátil o teléfono inteligente. Nuestra solución consiste en un sistema de diálogo generativo compuesto por dos arquitecturas de aprendizaje profundo para reconocer el contenido de imagen y texto. Por un lado, un Codificador-Descodificador con Attention para generar preguntas basadas en el contenido de las fotografías proporcionadas por los usuarios formado por una red neuronal convolucional (CNN) que codifica las imágenes y una LSTM que genera las preguntes palabra a palabra. La segunda arquitectura consiste en un modelo sequence-to-sequence que genera comentarios a las respuestas de los usuarios para enriquecer la conversación.. Después de realizar varios experimentos, vemos que obtenemos el mejor comportamiento entrenando el modelo con los datos de Persona-chat y ajustando el modelo con fine-tune de Cornell Movie-Dialogue. Finalmente, integramos Telegram como interfaz porque el usuario interactue con nuestro agente Elisabot.
El nombre de casos amb malalties neurodegeneratives com l'Alzheimer o el deteriorament cognitiu augmenta constantment. A Espanya afecta més d'1,2 milions de pacients i es calcula que el 2050 es veuran més de 100 milions de casos. Si bé no hi ha tractaments eficaços per a aquesta malaltia, es recomanen teràpies com la reminiscència, que estimulen els records del pacient i fomenten la comunicació. Actualment, la teràpia de reminiscència es fa en hospitals o residències, que és on es troben els terapeutes. Com que les persones que reben aquesta teràpia són grans i poden tenir dificultats de mobilitat, presentem una solució basada en Intel·ligència Artificial per realitzar sessions de reminiscència mitjançant l'ús del portàtil o del telèfon mòbil. La nostra solució consisteix en un sistema de diàleg generatiu format per dues arquitectures d?aprenentatge profund que reconeixen el contingut d'imatges i de text. Per una banda, un Codificador-Descodificador amb Attention per generar preguntes basades en el contingut de les fotografies, proporcionades pels usuaris, format per una xarxa neuronal convolucional (CNN) que codifica les imatges i una LSTM que genera les preguntes paraula a paraula. La segona arquitectura consisteix en un model sequence-to-sequence que genera comentaris a les respostesdels usuaris per enriquir la conversa.Despres de realitzar diversos experiments, veiem que obtenim el millor comportament en-trenant el model de conversa amb les dades de Persona-chati ajustant el model amb fine-tune de Cornell Movie-Dialogues. Finalment, integremTelegram com a interficie perquè l'usuari interactuï amb la Elisabot
