Modeling temporal dependency of brain responses to rapidly presented stimuli in ERP based BCIs

Abstract

[ANGLÈS] Brain computer interface technologies aim, among a number of possible goals, to help people with motor and speech disabilities to communicate through a computer using the electrical activity in the brain, allowing them to move robotic arms or typing. We will specifically work with the RSVP-Keyboard, a letter-by-letter brain computer interface (BCI) typing system based on EEG responses to serial presentation of characters on the screen. Target stimulus elicits a P300 ERP, a positive deflection in the scalp voltage around 300 ms after the stimulus. Previous RSVP-Keyboard models approached the problem of detecting the user's intended symbol by fusing a language model with EEG evidence in response to each symbol presentation, with the assumption that EEG for each trial was independent from others. Trials were windowed assuming a limited time effect of the ERPs (500ms). Even though the inter stimulus interval (ISI) is smaller than the window duration (200ms), independence of overlapping ERP responses from consecutive trials given the intended symbol was assumed. Our main objective here is to design a more realistic model that better captures the temporal dependencies inside a sequence. The new model consists of a finite state machine whose states are determined by the presence or nonpresence of a target within the assumed stimulus response time. Thus, the new method looks for the most probable sequence of states given the position of the target, considering the temporal dependencies induced by overlapping ERP responses on the recorded EEG.

[CASTELLA] Las tecnologías de “Brain Computer Interface” (BCI) pretenden, entre otras aplicaciones, ayudar a la población con discapacidades motoras o del habla a comunicarse a través del ordenador utilizando la señal eléctrica del cerebro, permitiendo el movimiento de brazos robóticos o escribir. En este proyecto trabajaremos con el RSVP-Keyboard, un sistema de BCI que permite escribir letra a letra. El sistema se basa en la respuesta del señal de electroencefalografía (EEG) a caracteres presentados rápidamente por la pantalla del ordenador. El símbolo buscado por el usuario (“target”) excita el “Event Related Potential (ERP)” llamado P300: una defección positiva de voltaje alrededor de 300ms después del estímulo. Los modelos previos del RSVP-Keyboard presentaban el problema de detectar el símbolo que el usuario pretendía escribir fusionando un modelo de lenguaje con la evidencia sacada de la respuesta de EEG de cada símbolo de la presentación. Las respuestas están enventanadas asumiendo un efecto limitado temporalmente del ERP (500ms) e independencia entre estas respuestas, sin tener en cuenta que el intervalo de aparición entre estímulos (ISI) es más pequeño que el tamaño de la ventana (200ms). Nuestro principal objetivo es diseñar un modelo más realístico que capture mejor las dependencias temporales dentro de una secuencia. El modelo nuevo consiste en una máquina de estados finitos donde los estados están definidos según la presencia o ausencia de un “target” durante el tiempo asumido de respuesta. Así, el nuevo método busca por la secuencia de estados más probable dada la posición del “target”, considerando las dependencias temporales causadas por la superposición de respuestas.

[CATALA] Les tecnologies “Brain Computer Interface" (BCI) pretenen, entre altres possibles aplicacions, ajudar a la població amb discapacitats motores o de parla a comunicar-se a través de l’ordinador utilitzant l’activitat elèctrica del cervell, permetent així el moviment de braços robòtics o escriure. En aquest projecte treballarem amb el RSVP-Keyboard, un sistema de BCI que permet escriure lletra a lletra. El sistema es basa en la resposta del senyal d’electroencefalografia (EEG) a caràcters presentats ràpidament a través de la pantalla de l’ordinador. El símbol buscat per l’usuari (“target”) excita el “Event Related Potential (ERP)” anomenat P300: una deflecció positiva de voltatge al voltant dels 300ms després de l’estímul. Els models previs del RSVP-Keyboard presentaven el problema de detectar el símbol que l'usuari pretén escriure fusionant un model de llenguatge amb l’evidència extreta de la resposta en EEG de cada símbol de la presentació. Les respostes estan enfinestrades assumint un effecte limitat temporalment del ERP (500ms) e independència entre aquestes respostes, sense tenir en compte que l’interval d'aparició entre estímuls (ISI) és més petit que el tamany de la finestra (200ms). El nostre principal objectiu és dissenyar un model més realístic que capturi millor les dependències temporals dins d’una seqüència. El nou model consisteix en una màquina d’estats finits on els estats estan definits segons la presència o absència d’un “target” durant el temps assumit de resposta. Així, el nou mètode busca per la seqüència d’estats més probable donada la posició del “target”, considerant les dependències temporals causades per la superposició de respostes.