Modelización e implementación de Data Warehouses

Abstract

Partiendo de una arquitectura tradicional de Data Warehouse, se han estudiado y analizado las opciones para transformarla en una estructura Big Data. Primero se realiza un estudio de las arquitecturas tradicionales de Data Warehouse presentadas por W.H. Inmon y Ralph Kimball viendo que con unos requisitos de gran volumen y alta heterogeneidad de datos no son la mejor opción, con lo que se propone el Big Data como una solución. Antes de realizar la transformación de la arquitectura, se estudia que es el Big Data y dos de las arquitecturas Big Data más importantes, las arquitecturas Kappa y Lambda, analizando sus componentes y sus ventajas e inconvenientes ya que sobre estas arquitecturas es donde estará la base de la nueva arquitectura. Además, una vez finalizado este estudio, se escogerá una de ellas que será la que más se amolde a la transformación. Escogida la arquitectura, se mirará por cada uno de los componentes que contiene que tecnologías son las que mejor encajen con los requisitos que se tengan para cada uno de esos componentes y se realizará una comparación entre las diferentes opciones para ver en que es mejor y peor cada una según el caso de uso. Una vez escogidas las diferentes tecnologías, se verá como conectar cada una de ellas y como se crea una capa OLAP por encima para poder tener un modelado similar al que se tendría en un Data Warehouse tradicional. Por último, y una vez montada la arquitectura, se propondrá un método para securizar los datos que se almacenen en dicha arquitectura viendo sus diferentes tipos y las diferentes formas en que se puede implementar dentro de una arquitectura.

Starting from a traditional Data Warehouse architecture, the options to transform it into a Big Data structure have been studied and analysed. First, a study of the traditional Data Warehouse architectures presented by W.H. Inmon and Ralph Kimball has been done seeing that with high volume and high data heterogeneity requirements, these architectures are not the best option, so Big Data is proposed as a solution. Before doing the transformation of the architecture, it is studied what is Big Data and two of the most important Big Data architectures, the Kappa and Lambda architectures, analysing their components and their advantages and disadvantages, since on these architectures is where the base of the new architecture will be. In addition, once this study is completed, one of them will be chosen, which will be the one that most adapts to the transformation. Once the architecture is chosen, it will be looked for each of the components that contain the technologies that best fit the requirements for each of these components and a comparison will be made between the different options to see which technology is better and worse. according to the use case. Once the different technologies have been chosen, we will see how to connect each of them and how an OLAP layer is created above to be able to have a model similar to the layer that would be in a traditional Data Warehouse. Finally, once the architecture is assembled, a method will be proposed to secure the data stored in this architecture by looking at its different types and the different ways in which it can be implemented within an architecture.