Performing data lineage for an ingestion system to a data lake

Abstract

Aquest treball de final de grau engloba el disseny, desenvolupament i documentació d’un dels components del sistema WISCC. El World Information System for Chagas Control és un projecte propulsat per l’Organització Mundial de la Salut i actualment en desenvolupament pel grup Database Technologies and Information Management de la Facultat d’Informàtica de Barcelona. El projecte WISCC té el principal objectiu de construir un magatzem de dades provinents de nombroses i disperses fonts, tant en estructura com en contingut, relacionades amb la malaltia del Chagas. Aquest treball de final de grau documenta el desenvolupament complet del connector entre el sistema WISCC i el seu mòdul principal d’entrada de dades per part dels usuaris, implementat i distribuït mitjançant l’eina software DHIS2 . Aquest treball engloba des dels processos d’extracció per obtenir les dades de la font externa fins a la ingestió de les dades en el repositori central WISCC, mantenint un control i una anotació del flux de dades generat.

This bachelor degree project includes the design, development and documentation for a subcomponent of the WISCC System. The World Information System for Chagas Control is an ambitious project launched by the World Health Organization and currently being developed by Database Technologies and Information Management group in the Facultat d’Informàtica de Barcelona. WISCC project has the main goal to build a data repository integrating data from disparate sources related with Chagas disease. This project contains the complete development of the connector between the main WISCC System and its main manual data source, implemented and distributed through DHIS2 software tool. The documentation includes from the main software systems to obtain and extract all the information introduced on the external tool, to the main software systems to ingest the new data to the repository, maintaining annotations and control of this data lineage.