Design and implementation of a mobile phone application to help people with visual dysfunction visually inspect their surrounding spaces

Cita com:
hdl:2117/359065
Author's e-mailpaubessescasas
gmail.com

Document typeBachelor thesis
Date2021-07-07
Rights accessOpen Access
This work is protected by the corresponding intellectual and industrial property rights.
Except where otherwise noted, its contents are licensed under a Creative Commons license
:
Attribution 3.0 Spain
Abstract
Aquest projecte consisteix en el desenvolupament de software amb l’objectiu d’ajudar a persones amb discapacitat visual a moure’s i ubicar-se en espais interiors, que probablement siguin el seu entorn personal i domèstic.
Aquest software està dissenyat per permetre al seu usuari fer una foto de l’entorn que l’envolta i donar-li una resposta oral que expliqui algunes de les característiques de la fotografia, definint per tant l’espai que la persona vol analitzar. A més, l'usuari ha de ser capaç de fer saber a l'aplicació què vol examinar gràficament en particular.
L’usuari executa l’aplicació mòbil cada vegada que la vol utilitzar, operant-la mitjançant ordres de veu. Per tal de detectar, reconèixer i inspeccionar els objectes i entorns circumdants, s’utilitzen tecnologies d’aprenentatge profund i xarxes d’interacció entre dispositius per proporcionar els esforços computacionals i les comunicacions.
S'ha realitzat una avaluació de la precisió i robustesa de les xarxes neurals al mateix temps que s’han anat desenvolupant per tal de dissenyar i implementar solucions que les facin més fiables. S’han implementat llenguatges de programació per a la creació d'aplicacions software i protocols de comunicació amb èxit per tal desenvolupar el programari funcional en la seva totalitat. Este proyecto consiste en el desarrollo de software con el objetivo de ayudar a personas con discapacidad visual a moverse y ubicarse en espacios interiores, que probablemente sean su entorno personal y doméstico.
Este software está diseñado para permitir a su usuario hacer una foto del entorno que le rodea y darle una respuesta oral que explique algunas de las características de la fotografía, definiendo por tanto el espacio que la persona quiere analizar. Además, el usuario debe ser capaz de hacer saber a la aplicación qué quiere examinar gráficamente en particular.
El usuario ejecuta la aplicación móvil cada vez que la quiere utilizar, operándola mediante comandos de voz. Con el fin de detectar, reconocer e inspeccionar los objetos y entornos circundantes, se utilizan tecnologías de aprendizaje profundo y redes de interacción entre dispositivos para proporcionar los esfuerzos computacionales y las comunicaciones.
Se ha realizado una evaluación de la precisión y robustez de las redes neurales a medida que se han ido desarrollando con el fin de diseñar e implementar soluciones que las hagan más fiables. Se han implementado lenguajes de programación para la creación de aplicaciones software y protocolos de comunicación con éxito para desarrollar el software funcional en su totalidad. This project consists in the development of software that helps people with visual impairment move and get along in indoor spaces, which might probably be their personal and domestic surroundings.
This software is meant to allow its user to take a photo of the environment that surrounds him and give him an oral response that explains some of the characteristics of the taken picture, therefore defining the space that the person wants to analyse. Furthermore, the user must be capable of letting the application know what in particular he wants to graphically examine.
The user runs the mobile phone application each time he wants to use it, operating it through voice commands. In order to detect, recognize and inspect the surrounding objects and environments, Deep Learning and cloud technologies are used to provide the computational efforts and communications.
An evaluation of the accuracy and robustness of the neural networks has been performed at the same time than they have been developed in order to design and implement solutions that make them more reliable. Programming languages for the creation of software applications and communication protocols have been successfully implemented to develop the fully functional software.
SubjectsArtificial intelligence, Computer software, People with visual disabilities, Intel·ligència artificial, Programari -- Disseny, Discapacitats visuals
DegreeGRAU EN ENGINYERIA ELECTRÒNICA INDUSTRIAL I AUTOMÀTICA (Pla 2009)
Files | Description | Size | Format | View |
---|---|---|---|---|
Final_Degree_Thesis-Pau_Besses_Casas.pdf | 13,89Mb | View/Open |