Semantic Label Sharing for Semi-Supervised learning with large datasets

Abstract

[ANGLÈS] In an object recognition scenario with tens of thousands of categories, even a small number of labels per category leads to a very large number of total labels required. The proposed methodology consists on label sharing between semantically similar categories. It leverages the WordNet hierarchy to define semantic distance between any two categories and use this semantic distance to propagate labels to categories lacking information. This approach is based on recent results on semi-supervised learning, which allow us to deal with images that present varying degrees of label information, from humanly annotated labels to "noisy" labels extracted automatically from surrounding text. Semantic Label Sharing can be used with any classifier. Experimental results on a range of datasets, up to 80 million images and 75,000 categories in size, show that despite the simplicity of the approach, it leads to significant improvements in performance.

[CASTELLÀ] En un escenario de reconocimiento de objetos con decenas de miles de categorías, un pequeño número de etiquetas por categoría puede suponer una enorme cantidad de etiquetas necesarias. La metodología propuesta consiste en la compartición de etiquetas entre categorías semánticamente similares. Se aprovecha la jerarquía WordNet para definir una distancia semántica entre cualquier par de categorías y se utiliza esta distancia semántica para la propagación de etiquetas a las categorías con menos información. Este enfoque está basado en resultados recientes en el campo del aprendizaje semi-supervisado, lo que nos permite tratar imágenes que presentan distintos grados de información, desde anotaciones humanas hasta etiquetas "con ruido", extraídas automáticamente del texto circundante. La compartición semántica de etiquetas puede usarse con cualquier clasificador. Los resultados experimentales obtenidos en una variedad de datasets, de hasta 80 millones de imágenes y 75.000 categorías, muestran que a pesar de la sencillez del enfoque, se logran mejoras significativas en la detección y reconocimiento de objetos.

[CATALÀ] En un escenari de reconeixement d'objectes amb desenes de milers de categories, fins I tot un petit nombre d'etiquetes per categoria pot implicar una quantitat enorme d'etiquetes necessàries. La metodologia proposada consisteix en la compartició d'etiquetes entre categories semànticament similars. S'aprofita la jerarquia WordNet per a definir una distància semàntica entre cada parell de categories i s'empra aquesta distància semàntica per a la propagació d'etiquetes a les categories amb menys informació. Aquest enfocament està basat en resultats recents en aprenentatge semisupervisat, que ens permet tractar amb imatges que presenten diferents graus d'informació, des d'anotacions humanes fins a etiquetes "sorolloses" extretes automàticament del text circumdant. La compartició semàntica d'etiquetes pot ser emprada amb qualsevol classificador. Els resultats experimentals obtinguts en una varietat de datasets, de fins a 80 milions d'imatges i 75.000 categories, mostren que tot i la senzillesa de l'enfocament, s'aconsegueixen millores significatives en la detecció i reconeixement d'objectes.