Video clustering using camera motion

Abstract

[ANGLÈS] This document contains the work done in INP Grenoble during the second semester of the academic year 2011-2012, completed in Barcelona during the first months of the 2012-2013. The work presented consists in a camera motion study in different types of video in order to group fragments that have some similarity in the content. In the document it is explained how the data extracted by the program Motion 2D, proportionated by the French university, are treated in order to represent them in a more simplified using motion histograms. It is also explained how the different distances between histograms are calculated and how its similarity is computed. Three different distances are used: Manhattan, Euclidean and Bhattacharyya, although in the project the explanation of some others a little bit more complicated can be found. Different histogram configurations are used, using more or less bins to represent the motion. Every possible combination of the number of bins and distances are evaluated using a group of 30 fragments of video and the clustering algorithm K-Means. The clustering results are evaluated using F1-Score, a very popular measurement suitable for clustering algorithms and also classification.

[CASTELLÀ] Este documento recoge el trabajo hecho en el INP Grenoble durante el curso 2011-2012, completado en Barcelona durante los primeros meses del curso 2012-2013. El trabajo presentado consiste en un estudio del movimiento de cámara en diferentes tipos de vídeo para agrupar fragmentos que tengan cierta similitud en el contenido. En el documento se explica cómo se tratan los datos extraídos por el programa Motion 2D, proporcionado por la universidad francesa, con tal de simplificar su representación mediante histogramas de movimiento. También se explica cómo se calculan las diferentes distancias entre histogramas y cómo se computa su similitud. Se usan tres distancias diferentes: Manhattan, Euclidiana y Bhattacharyya, aunque en el marco del trabajo se han explicado algunas un poco más complejas. También se utilizan diferentes configuraciones de histogramas de movimiento, utilizando más o menos contenedores para representar el movimiento. Todas las posibles combinaciones de número de contenedores y distancias son evaluadas utilizando un conjunto de 30 fragmentos de vídeo y el algoritmo de clustering K-Means. Los resultados del clustering se evalúan utilizando el F1-Score, una medida muy popular que sirve tanto para algoritmos de agrupación como para los de clasificación.

[CATALÀ] Aquest document recull el treball fet a l'INP Grenoble durant el segon semestre del curs 2011-2012, completat a Barcelona durant els primers mesos del curs 2012-2013. El treball presentat consisteix en un estudi del moviment de càmera en diferents tipus de vídeo per a agrupar fragments que tinguin certa similitud en el contingut. En el document s'explica com es tracten les dades extretes pel programa Motion 2D, proporcionat per la universitat francesa, per tal de simplificar-ne la representació mitjançant histogrames de moviment. També s'explica com es calculen les diferents distàncies entre aquests histogrames i com es computa la seva similitud. Es fan servir tres distàncies diferents: Manhattan, Euclideana i Bhattacharyya, tot i que en el marc del treball se n'ha explicat algunes de més complicades. També es fan servir diferents configuracions d'histogrames de moviment, fent servir més o menys contenidors per a representar el moviment. Totes les possibles combinacions de número de contenidors i distàncies són avaluades fent servir un conjunt de 30 fragments de vídeo i l'algoritme de clustering K-Means. Els resultats del clustering s'avaluen fent servir el F1-Score, una mesura molt popular que serveix tant per a algoritmes d'agrupament com per als de classificació.