En aquest projecte explorem l'aplicació dels sensors tàctils a la manipulació robòtica. Utilitzem els sensors Soft Bubbles que estan formats per dues bombolles de làtex deformables i proporcionen informació tàctil sobre el seu estat. En aquest treball proposem un paradigma de control basat en l'estructura sentir-raonar-actuar que tracta de produir trajectòries desitjades amb els objectes manipulats, tot adreçant els reptes en representació i predicció que sorgeixen de l'ús de sensors tàctils distribuïts. Aquest paradigma està format per un model d'observació que infereix la posició dels objectes, un model dinàmic capaç de predir les deformacions complexes en el sensor i un controlador predictiu basat en model que optimitza les seqüències d'accions per tal d'aconseguir el comportament desitjat durant la manipulació. Aquest mètode l'apliquem a la tasca de pivotar objectes dins la mà robòtica i el comparem amb altres estratègies de l'estat de l'art.

En este proyecto exploramos la aplicación de sensores táctiles a la manipulación robótica. Utilizamos los sensores Soft Bubbles formados por dos burbujas de látex deformables que proporcionan información táctil sobre su estado. En este trabajo proponemos un paradigma de control basado en la estructura sentir-razonar-actuar que trata de producir trayectorias deseadas con los objetos manipulados, afrontando los retos en representación y predicción que surgen del uso de sensores táctiles distribuidos. Este paradigma está formado por un modelo observacional que infiere la posición de los objetos, un modelo dinámico capaz de predecir las complejas deformaciones en el sensor y un controlador predictivo basado en modelo que optimiza las secuencias de acciones para conseguir el comportamiento deseado durante la manipulación. Este método lo aplicamos a la tarea de pivotar objetos dentro de la mano robótica y lo comparamos con otras estrategias del estado del arte.

In this project, we explore the application of tactile sensing as an enabling technology for dexterous robotic manipulation. We use the Soft Bubbles Sensors which consist of a compliant end-effector providing feedback on contact patches. We propose a novel sense-reason-act paradigm that tries to produce desired object trajectories by addressing the challenges of representation and prediction that arise from using distributed tactile sensors. This paradigm is built upon an observation model, which infers the pose of a grasped object, a dynamics model of the membrane capable of predicting complex deformations in the bubbles, and a model-predictive controller responsible for optimizing the action sequences to achieve the goal behavior during manipulation. Our approach is applied to the robotic task of in-hand pivoting and benchmarked against other state-of-the-art methodologies in object manipulation.