Aquest projecte presenta la implementació d'un sistema avançat per a la detecció de mans i la interacció amb una escena virtual. L'objectiu principal és proporcionar una experiència d'interacció natural i intuïtiva als usuaris en un entorn virtual. Es fa ús de la llibreria de Python, Mediapipe, per poder detectar les mans, i s'ha implementat una interfície que permet als usuaris interactuar amb objectes virtuals, navegar per l'escena i realitzar accions en temps real mitjançant moviments i gestos de les mans. Aquesta interacció millora significativament la sensació d'immersió i la usabilitat dels entorns virtuals. Els resultats de les proves i avaluacions realitzades mostren que el sistema implementat no ha aconseguit una gran precisió, fet que caldrà millorar en futurs treballs, però sí que s'ha aconseguit un temps de resposta ràpid. Els usuaris han pogut interactuar de manera fluida amb l'escena virtual, creant una experiència enriquidora i satisfactòria. Actualment les aplicacions d'aquest sistema es basen en l'àmbit dels videojocs i la simulació. Aquesta tecnologia pot millorar la interacció humà-màquina, proporcionant nous nivells d'immersió. En conclusió, la implementació d'aquest sistema de detecció de mans ha demostrat ser una solució efectiva per a la millora de la interacció amb entorns virtuals. I pot ser molt prometedora quan es millori la precisió.
This project presents the implementation of an advanced system for hand detection and interaction with a virtual scene. The main objective is to provide a natural and intuitive interaction experience to users in a virtual environment. It makes use of the Python library, Mediapipe, to detect the hands, and has implemented an interface that allows users to interact with virtual objects, navigate through the scene and perform actions in real time through hand movements and gestures. This interaction significantly improves the sense of immersion and the usability of the virtual environments. The results of the tests and evaluations carried out show that the implemented system has not achieved a high accuracy, which will have to be improved in future work, but it has achieved a fast response time. Users have been able to interact fluidly with the virtual scene, creating and enriching a satisfying experience. Currently, the applications of this system are based on the field of video games and simulation. This technology can enhance human-machine interaction, providing new levels of immersion. In conclusion, the implementation of this hand detection system has proven to be an effective solution for improving interaction in virtual environments. And it could be very promising if the accuracy improves.
