A web-based user interface for browsing and annotating image collections using a state-of-the-art content-based image search engine

Abstract

This thesis consists of developing a web user interface for a content-based image retrieval (CBIR) system in order to provide a visualization of the obtained results and eventually to improve them by capturing the user's feedback. First of all, it is studied the best way to develop a UI capable of incorporating the machine learning based system that computes a list of similar images given a visual query. The relation between the different programming languages and the amount of data in the different datasets utilized in this thesis are also included in order to achieve a good performance for the system. The UI consists in a web interface that allows different ways of selecting the query image to search within a particular dataset. Thus, the interface provides an option of using some of the dataset images as queries for the CBIR system, as well as an option to experiment with custom image that is not part of the original dataset, either uploading it from a file or providing its URL to the system. In addition, when computing the ranking of similar images for a given query, different functionalities or modes are provided to the user: the explorer, the annotation, and the query expansion mode. The explorer mode allows the user to navigate through a particular dataset by selecting one of the images provided in a ranking and perform a new search. The query expansion and the annotation modes collect user annotations to improve the ranked list obtained by the CBIR system. In fact, the query expansion mode allows the user to select multiple images as input queries for the system in order to provide a richer representation of the ranking. In the annotation's mode, instead, the user can annotate the success and failure images of the ranking and submit them to the system, which will finally train an SVM model in order to improve the ranking and update it. Ten different users were asked to interact during 10 min with the UI and complete a form to evaluate the usability and design of the final of the proposed system. Also, a quantitative and qualitative evaluation was conducted to evaluate the benefit of the annotation and QE modes with respect the original rankings. Results indicate that the UI achieved is intuitive, robust, consistent and built with a useful purpose. Regarding the utilities, it is concluded that each mode has its own utility and that query expansion mode its better for improving low accuracy rankings, while annotation mode it is also useful when having a high accuracy ranking thus we can annotate just the negative images and use it as a filter. Finally, the achieved goals are discussed and a study which has also been carried out in this project is used with the purpose of listing all the possible implementations suggested to improve the system.

Aquesta tesi consisteix a desenvolupar una interfície d'usuari web per a un sistema de recuperació d'imatges basat en contingut (CBIR) per tal de proporcionar una visualització dels resultats obtinguts i, finalment, millorar-los mitjançant la captura dels comentaris de l'usuari. En primer lloc, s'estudia la millor manera de desenvolupar una interfície web d'usuari capaç d'incorporar el sistema basat en l'aprenentatge automàtic que calcularà una llista d'imatges similars a partir d'una consulta visual. Per aconseguir un bon rendiment del sistema, també s'estudia la relació entre els diferents llenguatges de programació i la quantitat de dades dels diferents datasets utilitzats. La interfície d'usuari consisteix en una web que ofereix diferents formes d'introduir la imatge que es vol consultar al sistema. Això es pot fer mitjançant l'opció proporcionada pel mateix sistema, que consisteix a usar algunes de les imatges del mateix dataset com consultes per al sistema CBIR, però d'altra banda, també existeix l'opció d'experimentar amb imatges personalitzades que no formen part del dataset original, ja sigui carregant des d'un arxiu o proporcionant el seu URL al sistema. A part, en calcular la classificació d'imatges similars per a una consulta determinada, es proporcionen diferents funcionalitats o modes a l'usuari: el mode ``explorer", el mode ``annotation" i el mode ``query expansion". El mode ``explorer" permet a l'usuari navegar a través d'un dataset particular en escollir una de les imatges proporcionades al rànquing per així ser capaç de realitzar una nova cerca. Els modes ''query expansion" i ''annotation" recullen anotacions d'usuari per millorar el rànquing obtingut pel sistema CBIR. De fet, el mode ''query expansion" permet a l'usuari seleccionar múltiples imatges com consultes d'entrada per al sistema per tal de proporcionar una representació més acurada de la classificació. En canvi, el mode ''annotation" permet a l'usuari anotar les imatges d'èxit i fracàs del rànquing per després enviar-les al sistema, que finalment entrenarà un model SVM per millorar el rànquing i actualitzar-lo. Se'ls va demanar a deu usuaris diferents que interactuessin durant 10 minuts amb la interfície d'usuari i completessin un formulari per avaluar la usabilitat i el disseny final del sistema proposat. A més, es va realitzar una avaluació quantitativa i qualitativa per avaluar el benefici de l'anotació i les maneres QE respecte als rànquings originals. Els resultats indiquen que la interfície aconseguida és intuitiva, robusta, consistent i construïda amb un propòsit útil. Pel que fa a les utilitats, es conclou que cada mode té la seva pròpia utilitat i que el mode ''query expansion" és millor en tractar de millorar els rànquings amb baixa precisió, mentre que el mode ''annotation" també és útil en tenir una classificació d'alta precisió. Això és degut al fet que aquest últim mode permet anotar també les imatges negatives arribant a usar el mode com a filtre d'errors. Finalment, es plantegen els objectius assolits i es fa ús d'un estudi, també dut a terme en aquest projecte, amb la finalitat de llistar totes les possibles implementacions suggerides per a la millora del projecte.

Esta tesis consiste en desarrollar una interfaz de usuario web para un sistema de recuperación de imágenes basado en contenido (CBIR) con el fin de proporcionar una visualización de los resultados obtenidos y finalmente mejorarlos mediante la captura de los comentarios del usuario. En primer lugar, se estudia la mejor manera de desarrollar una interfaz web de usuario capaz de incorporar el sistema basado en el aprendizaje automático que calcula una lista de imágenes similares a partir de una consulta visual. La relación entre los diferentes lenguajes de programación y la cantidad de datos de los diferentes datasets utilizados en esta tesis también se incluyen para lograr un buen rendimiento para el sistema. La interfaz de usuario consiste en una web que ofrece diferentes formas de seleccionar la imagen de consulta para buscar dentro de un conjunto de datos particular. Por lo tanto, la interfaz proporciona una opción de usar algunas de las imágenes del propio dataset como consultas para el sistema CBIR, así como una opción de experimentar con imágenes personalizadas que no forman parte del dataset original, ya sea cargándolo desde un archivo o proporcionando su URL al sistema. Además, al calcular la clasificación de imágenes similares para una consulta determinada, se proporcionan diferentes funcionalidades o modos al usuario: el modo ``explorer", el modo ``annotation" y el modo ``query expansion". El modo explorador le permite al usuario navegar a través de un dataset particular al seleccionar una de las imágenes proporcionadas en un ranking y realizar una nueva búsqueda. Los modos de ``query expansion" y ``annotation" recopilan anotaciones de usuario para mejorar el ranking obtenido por el sistema CBIR. De hecho, el modo ``query expansion" permite al usuario seleccionar múltiples imágenes como consultas de entrada para el sistema con el fin de proporcionar una representación más rica de la clasificación. En cambio, en el modo ``annotation" el usuario puede anotar las imágenes de éxito y fracaso del ranking y enviarlas al sistema, que finalmente entrenará un modelo SVM para mejorar el ranking y actualizarlo. Se les pidió a diez usuarios diferentes que interactuasen durante 10 minutos con la interfaz de usuario y completasen un formulario para evaluar la utilidad y el diseño final del sistema propuesto. Además, se realizó una evaluación cuantitativa y cualitativa para evaluar el beneficio de la anotación y los modos QE respecto a los rankings originales. Los resultados indican que la interfaz lograda es intuitiva, robusta, consistente y construida con un propósito útil. En cuanto a las utilidades, se concluye que cada modo tiene su propia utilidad y que el modo ``query expansion" es mejor tratando de mejorar los rankings de baja precisión, mientras que el modo ``annotation" también es útil al tener una clasificación de alta precisión, ya que podemos anotar solo las imágenes negativas usando este modo como un filtro. Finalmente, se discuten los objetivos alcanzados y se hace uso de un estudio también llevado a cabo en este proyecto con la finalidad de enumerar las posibles implementaciones sugeridas para mejorar el sistema.