Bag of Delay-Vectors for human action recognition

Abstract

[ANGLÈS] The main objective of this project is to present a functional framework to recognize human actions. We use time-series to describe the human actions and we apply the Time-Delay Embeddings method to reconstruct the dynamical system on an higher dimension. In this space, we use a hierarchical clustering to characterize the phase space. We store the clustering characteristics in a database and later we use them to quantize new phase spaces. Once the clustering is finished we count the population in each cluster and we store it like a histogram. We repeat the process for all time-series and when it is done we stack all the histograms in a Feature vector used to train the Support Vector Machine. The recognition process has the same steps except the clustering process. In this case, we quantize the phase space with the cluster characteristics stored in the database. Therefore, we construct a Test vector in order to classify it with the Support Vector Machine. In order to test the framework we use several databases with different nature like Motion Capture databases and a Video database. We also present the results obtained adding Gaussian noise to the test samples. Finally, we make a comparative with other approaches in the state-of-the-art and the baseline.

[CASTELLÀ] El objetivo principal del proyecto es presentar un sistema funcional para el reconocimiento de acciones humanas. Utilizamos series temporales para describir las acciones y aplicamos el método de "Time-Delay Embeddings" para reconstruir el sistema dinámico en un espacio de dimensión superior. En este espacio utilizamos un clúster jerárquico para caracterizar el espacio de fase. Las características de los clústers se guardan en una base de datos y posteriormente se utilizan para cuantizar los nuevos espacios de fase. Una vez se ha finalizado el clustering hacemos un recuento de la población de cada clúster y la guardamos en forma de histograma. El proceso se repite para todas las series temporales y cuando se acaba se apilan los histogramas para formar el "Feature vector" utilizado para entrenar el "Support Vector Machine". La fase de reconocimiento tiene los mismos pasos a excepción del proceso de clustering. En este caso, se cuantiza el espacio de fase con las características de los clústers guardadas en la base de datos. Para acabar se construye el "Test vector" para clasificar la acción con el "Support Vector Machine". Para probar el sistema se han utilizado varias bases de datos de diferente naturaleza como bases datos de "Motion Capture" y de Vídeo. También se presentan los resultados obtenidos al añadir un ruido Gaussiano aditivo a las muestras de test. Finalmente comparamos los resultados con los obtenidos por otras aproximaciones del Estado de Arte y del baseline.

[CATALÀ] L'objectiu principal del projecte és presentar un sistema funcional per a reconèixer accions humanes. Utilitzem sèries temporals per a descriure les accions i apliquem el mètode de "Time-Delay Embeddings" per a reconstruir el sistema dinàmic en un espai de dimensió superior. En aquest espai, nosaltres utilitzem un clúster jeràrquic per a caracteritzar l'espai de fase. Les característiques dels clústers es guarden en una base de dades i posteriorment s'utilitzen per a quantitzar els nous espais de fase. Un cop s'ha finalitzat el clustering fem un recompte de la població de cada clúster i la guardem en forma d'histograma. El procés es repeteix per totes les sèries temporals i quan s'acaba apilem els histogrames formant el "Feature vector" utilitzat per a entrenar el "Support Vector Machine". La fase de reconeixement té els mateixos pasos a excepció del procés de clustering. En aquest cas, es quantitza l'espai de fase amb les característiques dels clústers guardades a la base de dades. Per acabar es construeix el "Test vector" per a classificar l'acció amb el "Support Vector Machine". Per a provar el sistema s'han utilitzat diverses bases de dades de diferent naturalesa com ara bases de dades de "Motion Capture" i de Vídeo. També presentem resultats obtinguts a l'afegir un soroll Gaussià additiu a les mostres de test. Finalment comparem els resultats amb els obtinguts per altres aproximacions de l'Estat del Art i del baseline.