Big Data technologies for High Performance Computing
Visualitza/Obre
Estadístiques de LA Referencia / Recolecta
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/329615
Tipus de documentTreball Final de Grau
Data2020-06
Condicions d'accésAccés obert
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
Abstract
Hecuba is a tool written in Python and C++ developed in the Barcelona Supercomputing Center (BSC), it allows to simplify the process of reading and writing in Cassandra databases. The objective is to integrate Hecuba into Dislib - another Python library developed in the BSC that allows the treatment and manipulation of large amounts of data using the COMPSs framework, which allows the development and execution of parallel applications in distributed computing architectures in a simple way. This thesis has been carried out within the European project I-BiDaaS, which was created with the aim of providing a self-service platform for Big Data analysis. A use case of this integration has been carried out to demonstrate its powerful capacity, it has consisted on a data analysis of a bank transfer dataset, provided by CaixaBank, a collaborating company in the I-BiDaaS project, with the aim of finding possible anomalies. Hecuba es una herramienta escrita en Python y C++ desarrollada dentro del Barcelona Supercomputing Center, que permite simplificar el proceso de lectura y escritura en bases de datos Cassandra. El objetivo es integrar Hecuba en Dislib, otra librería de Python desarrollada en el BSC que permite el tratamiento y manipulación de grandes cantidades de datos haciendo uso del framework de COMPSs, que permite desarrollar y ejecutar de manera sencilla aplicaciones en paralelo en arquitecturas de cálculo distribuidas. Esta tesis se ha llevado a cabo dentro del proyecto de ámbito europeo I-BiDaaS, que nace con la finalidad de proporcionar una plataforma self-service para el análisis Big Data. Como caso práctico de un futuro uso que se le dará a esta integración, se ha llevado a cabo un análisis de un dataset de transferencias bancarias, proporcionado por CaixaBank, empresa colaboradora en el proyecto I-BiDaaS, con el objetivo de encontrar posibles anomalías. Hecuba és una eina escrita en Python i C++ desenvolupada al Barcelona Supercomputing Center, que permet simplificar el procés de lectura i escriptura en bases de dades Cassandra. El objectiu és integrar Hecuba dins de Dislib, una altra llibreria de Python desenvolupada al BSC que permet el tractament i manipulació de grans quantitats de dades fent ús del framework de COMPSs, que permet desenvolupar i executar aplicacions en paral?lel en arquitectures de càlcul distribuït. Aquesta tesis s?ha dut a terme dins del projecte d?àmbit europeu I-BiDaaS, que neix amb la finalitat de proporcionar una plataforma self-service per al anàlisis Big Data. Com a cas pràctic d?un futur ús que si li donarà a aquesta integració, s?ha dut a terme un anàlisis d?un data set de transferències bancàries, proporcionat per CaixaBank, empresa col?laboradora en el projecte I-BiDaaS, amb el objectiu de trobar possibles anomalies.
MatèriesElectronic data processing -- Distributed processing, Parallel programming (Computer science), Big data, Processament distribuït de dades, Programació en paral·lel (Informàtica), Dades massives
TitulacióGRAU EN ENGINYERIA DE TECNOLOGIES I SERVEIS DE TELECOMUNICACIÓ (Pla 2015)
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
Degree_thesis_miquel_martinez.pdf | 7,630Mb | Visualitza/Obre |