Data pipelines: the long road of data from its creation to its usage in a digital company environment
Visualitza/Obre
tfg-beatriz-losada.pdf (2,397Mb) (Accés restringit)
Estadístiques de LA Referencia / Recolecta
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/371888
Realitzat a/ambInnovamat
Tipus de documentTreball Final de Grau
Data2022-07-21
Condicions d'accésAccés restringit per decisió de l'autor
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
Abstract
This project collects a process of decision making at Innovamat, an EdTech company from Barcelona. The company leverages data to improve its product and ensure customer success. The amount of data collected by Innovamat is constantly increasing. Therefore, the processes (data workflows) moving data in and out from the Data warehouse are increasing in number and getting more complex. Innovamat is facing a problem at controlling, orchestrating, and optimizing the data workflows, resulting in a lot of time and effort lost in activities that don’t add value to the company. The core of this project follows a technical process of decision making to find a specific
solution for the case of Innovamat. The goal is to choose the best workflow orchestrator tool for the company, from a broad market landscape. Extended research is done to compare different tools based on criteria previously defined in line with the current needs. Afterwards, Apache Airflow (the chosen tool) is adopted locally, to implement one of the current workflows and test whether the tool can solve the current situation. At the end of the project, Apache Airflow is accepted to be a potential solution for Innovamat and opens the way to its implementation
MatèriesManagement information systems -- Automation -- Design and construction, Mobile communication systems in education -- Management, Web-based instruction -- Databases, Sistemes d'informació per a la gestió -- Automatització -- Disseny i construcció, Comunicacions mòbils, Sistemes de, en l'ensenyament -- Administració, Ensenyament virtual -- Bases de dades
TitulacióGRAU EN ENGINYERIA EN TECNOLOGIES INDUSTRIALS (Pla 2010)
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
tfg-beatriz-losada.pdf | 2,397Mb | Accés restringit |