Virtual Touch Interface

Abstract

The purpose of this project is to integrate a visual feedback system to a surface sensor (previously developed in the ETSETB) to get a virtual touch interface on a non-instrumented surface and study its feasibility. By obtaining depth data of the scene, specifically of the interaction surface, the surface sensor detects the coordinates of the plane of the surface where the user is interacting. This information is interpreted and three different types of interaction (touch, slide and drag) are distinguished. Finally, these data is used to provide a visual feedback to the user on the same surface using a projector coupled to the depth sensor used by the surface sensor. In order to reduce the error in detection of the surface sensor, the use of a HD depth sensor has been studied.

El propósito de este proyecto es integrar un sistema de retroalimentación visual a un sensor de superficie (desarrollado previamente en la ETSETB) para conseguir una interfaz táctil virtual sobre una superficie no instrumentada y estudiar su viabilidad. Mediante la obtención de datos de profundidad de la escena, concretamente de la superficie de interacción, el sensor de superficie detecta las coordenadas del plano de la superficie donde el usuario está interactuando. Esta información se interpreta y se distinguen tres tipos de interacciones diferentes (toque, deslizamiento y arrastre). Finalmente, usando estos datos se proporciona una retroalimentación visual al usuario sobre la misma superficie utilizando un pico proyector acoplado al sensor de profundidad que utiliza el sensor de superficie. Con el objetivo de reducir el error de detección del sensor de superficie, también se ha estudiado las mejora que reporta la utilización de un sensor de profundidad de alta definición.

El propòsit d'aquest projecte és integrar un sistema de retroalimentació visual a un sensor de superfície (desenvolupat prèviament a l'ETSETB) per aconseguir una interfície tàctil virtual sobre una superfície no instrumentada i estudiar la seva viabilitat. Mitjançant l'obtenció de dades de profunditat de l'escena, concretament de la superfície d'interacció, el sensor de superfície detecta les coordenades del pla de la superfície on l'usuari està interactuant. Aquesta informació s'interpreta i es distingeixen tres tipus d'interaccions diferents (toc, lliscament i arrossegament). Finalment, usant aquestes dades es proporciona una retroalimentació visual a l'usuari sobre la mateixa superfície utilitzant un pico projector acoblat al sensor de profunditat que utilitza el sensor de superfície. Amb l'objectiu de reduir l'error de detecció del sensor de superfície, també s'ha estudiat les millora que reporta la utilització d'un sensor de profunditat d'alta definició.