Sistema d’extracció, emmagatzematge i visualització de dades d’un portal web

Abstract

La necessitat de recollir i tenir un registre, sobre la informació dels membres de diferents òrgans polítics, s’ha tornat una prioritat per als treballadors de l’ONG Amnistia Internacional de Catalunya, tenint en compte que aquesta informació es troba repartida en diferents pàgines web. En aquest context, la memòria recull els coneixements i la informació sobre el desenvolupament d’un sistema d’extracció, emmagatzematge i visualització de dades d’un portal web per a Amnistia Internacional. El sistema proposat està integrat per un servei per a l’extracció i emmagatzematge de dades en un servidor remot, una aplicació d’escriptori per a la visualització de dades, i una API REST per a la connexió entre servidor i client. La memòria conté informació sobre el plantejament i planificació prèvia al desenvolupament, explicacions i detalls sobre el desenvolupament per a cada part del sistema, i unes conclusions juntament amb les perspectives de futur. Mitjançant l’eina plantejada, els membres de l’ONG ja no hauran de navegar per cadascuna de les webs per obtenir les dades ni s’hauran de preocupar sobre si tenen l’última versió d’aquestes dades.

La necesidad de recoger y tener un registro, sobre la información de los miembros de diferentes órganos políticos, se ha vuelto una prioridad para los trabajadores de la ONG Amnistía Internacional de Catalunya, teniendo en cuenta que esta información se encuentra repartida en diferentes páginas web. En este contexto, la memoria recoge los conocimientos y la información sobre el desarrollo de un sistema de extracción, almacenamiento y visualización de datos de un portal web para Amnistía Internacional. El sistema propuesto está integrado por un servicio para la extracción y almacenamiento de datos en un servidor remoto, una aplicación de escritorio para la visualización de los datos, y una API REST para la conexión entre servidor y cliente. La memoria contiene información sobre el planteamiento y planificación previa al desarrollo, explicaciones y detalles sobre el desarrollo para cada parte del sistema, y unas conclusiones junto con las perspectivas de futuro. Mediante la herramienta planteada, los miembros de la ONG ya no tendrán que navegar por cada una de las webs para obtener los datos ni tendrán que preocuparse sobre si tienen la última versión de estos datos.

The need to collect and keep a register on the information of members of different political bodies has become a priority for the workers of the NGO Amnistia Internacional de Catalunya, taking into account that this information is spread across different websites. In this context, the report gathers knowledge and information on the development of a system for extracting, storing and viewing data from a web portal for Amnistia Internacional. The proposed system consists of a service for extracting and storing data on a remote server, a desktop application for data visualization, and a REST API for the connection between server and client. The report contains information on the pre-development approach and planning, explanations and details on development for each part of the system, and conclusions along with future perspectives. Through the tool, the members of the NGO will no longer have to navigate each of the websites to obtain the data nor will they have to worry about whether they have the latest version of this data.