Using CNNs to classify and grasp cloth garments
Visualitza/Obre
Estadístiques de LA Referencia / Recolecta
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/98848
Tipus de documentTreball Final de Grau
Data2016-06
Condicions d'accésAccés obert
Llevat que s'hi indiqui el contrari, els
continguts d'aquesta obra estan subjectes a la llicència de Creative Commons
:
Reconeixement-NoComercial-SenseObraDerivada 3.0 Espanya
Abstract
La manipulació i identificació d’objectes deformables actualment es considera un dels problemes
més ambiciosos en l’àmbit de la robòtica. A causa de la seva forma i posició imprevisibles,
és molt difícil reconèixer-los i identificar les seves parts més rellevants.
L’objectiu d’aquest projecte es divideix en dues parts. Primer, reconèixer una peça de roba
entre quatre models prèviament definits. I segon, buscar punts adients per agafar la roba, per
tal de portar-la des d’una posició aleatòria a una configuració coneguda. Ambdues tasques es
solucionen mitjançant Xarxes Neuronals Convolucionals (CNNs) entrenades amb imatges de
profunditat reals i sintèticament generades.
Hem desenvolupat un procés per detectar, després d’identificar la peça de roba, dos punts
prèviament definits per agafar cada peça de roba. Una CNN prediu la visibilitat i posició dels
dos punts, per saber si girar la roba o agafar-la. Un cop agafat el primer, el segon punt es
prediu de forma semblant amb una CNN més especialitzada. La manipulación e identificación de objetos deformables actualmente se considera uno de
los problemas más ambiciosos en el ámbito de la robótica. Debido a su forma y posición
imprevisibles, reconocerlos e identificar sus partes más relevantes es muy difícil.
El objetivo de este proyecto se divide en dos partes. Primero, reconocer una prenda de ropa
entre cuatro modelos previamente definidos. Y segundo, buscar puntos adecuados para coger
la ropa, para traerla desde una posición aleatoria a una configuración conocida. Ambas tareas
se solucionan mediante Redes Neuronales Convolucionales (CNNs) entrenadas con imágenes
de profundidad reales y sintéticamente generadas.
Hemos desarrollado un proceso para detectar, después de identificar la prenda de ropa, dos
puntos previamente definidos para coger cada prenda de ropa. Una CNN predice la visibilidad
y posición de los dos puntos, para saber si girar la ropa o cogerla. Una vez cogido el primer
punto, el segundo punto se predice de forma parecida con una CNN más especializada. Identification and manipulation of deformable objects are currently considered as one of the most challenging tasks in the field of robotics. Their unpredictable shape and pose makes it very difficult to identify them and retrieve their most relevant parts. The aim of this project is divided in two tasks. First, to recognize a garment between four previously modeled types. And second, to search for suitable grasping points in order to bring the cloth from its initial random position to a known configuration. Both tasks are solved using Convolutional Neural Networks (CNNs) trained with both real and synthetically generated clothing depth images. We developed a method to detect, after the garment is recognized, two garment-based prede- fined grasping points. A CNN is used to predict their visibility and position, choosing between rotating or grasping the garment. Once grasped the first, the second point is predicted similarly with a more specialized CNN.
Descripció
Robots are getting more autonomous everyday, but it is still hard for them to work with deformable objects such as cloth garments. Due to the changing nature of these objects, robots have to deal with unknown situations for them. In the case of clothing, before the robots can perform tasks with them (Dressing a person, folding clothes...) they should be capable of identifying the garment and grasping it by a known configuration. This lets them manipulate each garment the expected way.
MatèriesArtificial intelligence, Robot vision, Neural networks (Computer science), Robots -- Programming, Intel·ligència artificial, Visió artificial (Robòtica), Xarxes neuronals (Informàtica), Robots--Programació
TitulacióGRAU EN ENGINYERIA DE SISTEMES ELECTRÒNICS (Pla 2009)
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
TFG_Enric_Corona.pdf | 18,75Mb | Visualitza/Obre |