Implementació d'un gestor en entorns de BigData

Abstract

[ANGLÈS] Massive or big data consist in seeing and understanding the relationships between the source and the different pieces of information that, until recently, we struggled to fully grasp. One of the most important changes that the ICT is going through is the increase of capacity to generate, store and manage data. This is the increase in the numbers of sensors, which combine information (increased quantification), as well as the user involvement that have become active consumers, who are progressively becoming difficult to treat. Despite the capacity of computers and storage devices expand; these factors have brought into focus a new situation on the treatment of such data. And because of the volume of data generated and the speed with which they are created and must be processed, the range introduces a greater complexity in its treatment. Furthermore, the veracity, which is the ability to add value to an organization, is an essential variable of Big Data. Consequently, they come into play what is known as the 4 V's of Big Data: volume, velocity, variety and veracity. Hence, Big Data is an emerging sector within the area of information and communications technology and it deals with how to store and how to process the large amounts of information or data set. This paper presents a comprehensive study within the theoretical framework of the different tools, but it also shows a practical analysis of some of the existing solutions performed. Using Big Data tools like Cloudera, which is based on the Hadoop framework, it will be sought a one-way analysis of these data from storage to exploitation. The purpose of this is to obtain an extraction of information, so that the user can draw their own conclusions, i.e. the collection of reports.

[CASTELLÀ] Los datos masivos o Big Data consisten en ver y comprender las relaciones en el origen y entre los distintos fragmentos de información que, hasta hace poco, nos esforzábamos por captar plenamente. Uno de los cambios más importantes por el que está pasando el ámbito de las TIC es el aumento de las capacidades de generar, guardar y gestionar los datos. Tanto por el aumento del número de sensores que aglutinan información - incremento de la cuantificación- así como por la participación del usuario convertido en consumidor activo, que hacen cada vez más difícil su tratamiento. A pesar de ampliar la capacidad de los ordenadores y los dispositivos de almacenamiento, estos factores han puesto sobre la mesa una nueva situación sobre el tratamiento de este tipo de datos. Además del volumen de datos generados y la velocidad con que estos son creados y se deben procesar, la variedad introduce mayor complejidad en su tratamiento. Asimismo, la veracidad, que es la capacidad para aportar valor a una organización, es una variable esencial del Big Data. Entran en juego, por tanto, lo que se conoce como las 4 v’s del Big Data: volumen, velocidad, variedad y veracidad. Así pues, Big Data es el sector emergente dentro del área de las tecnologías de la información y la comunicación, que se ocupa de cómo almacenar y tratar grandes cantidades de información o conjunto de datos. En este trabajo se realiza un estudio dentro del marco teórico de las distintas herramientas y un análisis práctico de alguna de las soluciones existentes. Utilizando herramientas Big Data como Cloudera, que está basada en el framework Hadoop, buscaremos una vía de análisis de estos datos, desde su almacenaje hasta su explotación. Todo esto con el objetivo de obtener una extracción de información de tal forma que el usuario pueda extraer sus propias conclusiones; esto es, la obtención de informes.

[CATALÀ] Les dades massives o Big Data consisteixen en veure i comprendre les relacions en l’origen i entre diferents fragments d’informació que, fins fa molt poc, ens esforçàvem en captar de forma plena. Un dels canvis més importants pel qual està passant l’àmbit de les TIC és l'augment de la capacitat de generar, emmagatzemar i gestionar dades. Tant l’augment del nombre de sensors que recopilen informació, l’augment de la quantificació, així com la participació de l'usuari convertit en un consumidor proactiu fan, cada vegada més, dificultós el seu tractament. Malgrat l'ampliació constant de la capacitat dels ordinadors i els dispositius d'emmagatzematge, aquests factors han posat sobre la taula una nova situació pel que fa al tractament d’aquestes dades. A més del volum de dades generades i de la velocitat en què es creen i s'han de processar, la seva varietat introdueix encara més complexitat en el seu tractament. També la seva veracitat, la capacitat per aportar valor a l'organització, és una variable essencial del Big Data. Entren en joc el que es coneix com les 4 v del Big Data: volum, velocitat, varietat i veracitat. Així doncs, Big Data és el sector emergent dintre l’àrea de les tecnologies de la informació i la comunicació que s’ocupa de com emmagatzemar i tractar grans quantitats d’informació o conjunt de dades. En aquest treball es fa un estudi dintre el marc teòric de les diferents eines i un anàlisi pràctic d’alguna de les solucions existents. Fent-nos valer d’eines Big Data com Cloudera, que es basa en el framework Hadoop, buscarem una via d’anàlisi d’aquestes dades, des del seu emmagatzematge fins a la seva explotació. Tot això amb l’objectiu d’obtenir una extracció d’informació de tal forma que l’usuari pugui extreure les seves pròpies conclusions; això és, l’obtenció d’informes.