LIvRE: A Video Extension to the LIRE Content-Based Image Retrieval System

Abstract

This project explores the expansion of Lucene Image Retrieval Engine (LIRE), an open-source Content-Based Image Retrieval (CBIR) system, for video retrieval on large scale video datasets. The fast growth of the need to store huge amounts of video in servers requires efficient, scalable search and indexing engines capable to assist users in their management and retrieval. In our tool, queries are formulated by visual examples allowing users to find the videos and the moment of time when the query image is matched with. The video dataset used on this scenario comprise over 1,000 hours of different news broadcast channels. This thesis presents an extension and adaptation of Lire and its plugin for Solr, an open-source enterprise search platform from the Apache Lucene project, for video retrieval based on visual features, as well as a web-interface for users from different devices.

Este proyecto investiga el potencial de LIRE, una librería de código abierto para consulta de imágenes mediante ejemplo (CBIR), como herramienta de consulta e indexación para grandes bases de datos de vídeos. El rápido crecimiento de las necesidades de almacenar enormes cantidades de vídeos en diversos servidores requiere un motor de búsqueda e indexación escalable y eficiente, así como una herramienta que proporcione a los usuarios métodos para la gestión y consulta de contenido. En nuestra herramienta, las consultas se formulan mediante ejemplos visuales, permitiendo a los usuarios encontrar los vídeos y los segundos a los que pertenece un fotograma en concreto. La recopilación de vídeos utilizados en este escenario comprende más de 1000 horas de vídeo recopilados de diferentes canales de noticias internacionales. En esta tesis se presenta una extensión y adaptación de Lire y su plugin para Solr, una plataforma de búsqueda empresarial de código abierto del proyecto Apache Lucene, para la consulta e indexación de vídeos en servidores basado en características visuales, así como una interfaz web accesible para usuarios de diferentes dispositivos.

Aquest projecte investiga el potencial de LIRE, una llibreria de codi obert per a consulta d'imatges mitjançant exemple (CBIR), com a eina de consulta i indexació per a grans bases de dades de vídeos. El ràpid creixement de les necessitats d'emmagatzemar enormes quantitats de vídeos en diversos servidors requereix un motor de cerca i indexació escalable i eficient, així com una eina que proporcioni als usuaris mètodes per a la gestió i consulta de contingut. En la nostra eina, les consultes es formulen mitjançant exemples visuals, permetent als usuaris trobar els vídeos i els segons als quals pertany un fotograma en concret. La recopilació de vídeos utilitzats en aquest escenari comprèn més de 1000 hores de vídeo recopilats de diferents canals de notícies internacionals. En aquesta tesi es presenta una extensió i adaptació de Lire i el seu plugin per Solr, una plataforma de cerca empresarial de codi obert del projecte Apache Lucene, per a la consulta i indexació de vídeos en servidors basat en característiques visuals, així com una interfície web accessible per a usuaris de diferents dispositius.