Object instance segmentation using recurrent models

Abstract

This work intends to expand the Polygon-RNN model for object segmentation, able to create a polygon outlining an object using a CNN and a RNN, by trying several modifications. Several models and approaches have been explored. Out of them, the one that has shown the best IOU has been a joint model combining CNNs and a RNN. While the accuracy when running the model in default mode prediction only reaches 55.14% (which in fact is quite high), when running in beam search mode the accuracy has increased up to 59,94%. Once the final model was chosen, it was implemented in the LabelMe annotation tool, a web tool that can be used for annotators to segment instances of objects. This way the annotation process is made in a semi-automatic manner, making the work much faster and easier for the annotator. The annotator has to select a bounding box around the object and just slightly correct the resultant prediction to obtain the final annotation. The qualitative results have proven to be very precise.

Este trabajo pretende expandir el modelo de segmentación de objetos Polygon-RNN, capaz de crear un polígono alrededor de un objeto usando una CNN y una RNN, probando diferentes modificaciones. Se han probado diversos modelos y enfoques. De entre ellos, el que ha mostrado la mayor IOU ha sido un modelo conjunto combinando CNNs y una RNN. Si bien la precisión del modelo al ejecutarse en el modo de predicción por defecto solo alcanza 55.14% (que, de hecho, es bastante elevada), cuando se ejecuta en modo beam search la precisión se incrementa hasta un 59.94%. Una vez que se escogió el modelo final, fue implementado en la herramienta de anotación LabelMe, una herramienta web que puede ser usada por anotadores para segmentar instancias de objetos. De esta manera el proceso de anotación se hace de forma semiautomática, haciendo el trabajo mucho más rápido y sencillo para el anotador. El anotador tiene que seleccionar una bounding box alrededor del objeto y simplemente corregir ligeramente la predicción resultante para obtener la anotación final. Los resultados cualitativos han demostrado ser bastante precisos.

Aquest treball pretén expandir el model de segmentació d’objectes Polygon-RNN [1], capaç de crear un polígon al voltant d’un objecte usant una CNN i una RNN, provant diferents modificacions. S’han provat diversos models i enfocaments. D’entre ells, el que ha mostrat la major IOU ha estat un model conjunt combinant CNNs i una RNN. Si bé la precisió del model al executar-se en la manera de predicció per defecte només arriba a 55.14% (que, de fet, és força elevada), quan s’executa en la manera de predicció beam search la precisió s’incrementa fins a un 59.94%. Una vegada que es va escollir el model final, va ser implementat en l’eina d’anotació LabelMe, una eina web que pot ser usada per anotadors per segmentar instàncies d’objectes. D’aquesta manera el procés d’anotació es fa de forma semiautomàtica, fent la feina molt més ràpid i senzill per l’anotador. L’anotador ha de seleccionar una bounding box al voltant de l’objecte i simplement corregir lleugerament la predicció resultant per obtenir l’anotació final. Els resultats qualitatius han demostrat ser bastant precisos.