Ir al contenido (pulsa Retorno)

Universitat Politècnica de Catalunya

    • Català
    • Castellano
    • English
    • LoginRegisterLog in (no UPC users)
  • mailContact Us
  • world English 
    • Català
    • Castellano
    • English
  • userLogin   
      LoginRegisterLog in (no UPC users)

UPCommons. Global access to UPC knowledge

60.175 UPC academic works
You are here:
View Item 
  •   DSpace Home
  • Treballs acadèmics
  • Facultat d'Informàtica de Barcelona
  • Grau en Enginyeria Informàtica (Pla 2010)
  • View Item
  •   DSpace Home
  • Treballs acadèmics
  • Facultat d'Informàtica de Barcelona
  • Grau en Enginyeria Informàtica (Pla 2010)
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Desplegament i avaluació d’un clúster de big data en un ecosistema HPC

Thumbnail
View/Open
126593.pdf (1,505Mb)
Share:
 
  View Usage Statistics
Cita com:
hdl:2117/110829

Show full item record
Hernández Saborit, Oscar
Tutor / directorGuitart Fernández, JordiMés informacióMés informacióMés informació
Document typeBachelor thesis
Date2017-06-19
Rights accessOpen Access
All rights reserved. This work is protected by the corresponding intellectual and industrial property rights. Without prejudice to any existing legal exemptions, reproduction, distribution, public communication or transformation of this work are prohibited without permission of the copyright holder
Abstract
Actualment vivim en l’era de a informació, en un món on cada dia es generen milers i milers de dades que amaguen grans descobriments. Pel moment només estem començant a forjar les eines necessàries per transformar aquestes dades en informació valuosa. Spark és una d’aquestes eines, i amb aquest projecte es pretén ampliar les seves fronteres simplificant el seu desplegament en qualsevol tipus d’entorn de Supercomputació. Això ho hem aconseguit mitjançant el desenvolupament d’Spark4HPC, una eina que permet el desplegament totalment personalitzat d’un clúster Spark per a entorns no orientats al Big Data. A més, mitjançant diferents benchmarks, aquesta eina ens ha permès comprovar que Minotauro és una màquina totalment vàlida per a l’execució de tasques Big Data.
 
Actualmente vivimos en la era de la información, en un mundo donde cada día se generan miles y miles de datos que esconden grandes descubrimientos. De momento sólo estamos empezando a forjar las herramientas que nos permitirán transformar estos datos en información valiosa. Spark es una de estas herramientas, y con este proyecto se pretende ampliar sus fronteras simplificando su despliegue en cualquier tipo de entorno de Supercomputación. Hemos conseguido nuestro objetivo mediante el desarrollo de Spark4HPC, una herramienta que permite el despliegue de un clúster Spark en entornos no orientados al Big Data. Además, mediante diferentes benchmarks, esta herramienta nos ha permitido comprobar que Minotauro es una máquina totalmente valida para la ejecución de tareas Big Data.
 
Nowwdays we live in the information era, we live in a world where every day thousands of bytes of data are generated, hiding huge discoveries. However, at this moment we are only starting to develop the tools that will help us understand this information. Spark is one of these tools, and the aim of this project is to push forward its boundaries by simplifying the deployment of Spark in any Supercomputing environment. We have achieved our purpose by developing Spark4HPC, a tool that allows the deployment of a Spark cluster in environments not conceived for Big Data computing. What is more, by running some benchmarks with this tool, we have been able to prove that Minotauro is a completely valid machine for running Big Data tasks.
SubjectsBig data, Benchmarking (Management), Dades massives, Referenciació (Economia)
DegreeGRAU EN ENGINYERIA INFORMÀTICA (Pla 2010)
URIhttp://hdl.handle.net/2117/110829
Collections
  • Facultat d'Informàtica de Barcelona - Grau en Enginyeria Informàtica (Pla 2010) [1.995]
Share:
 
  View Usage Statistics

Show full item record

FilesDescriptionSizeFormatView
126593.pdf1,505MbPDFView/Open

Browse

This CollectionBy Issue DateAuthorsOther contributionsTitlesSubjectsThis repositoryCommunities & CollectionsBy Issue DateAuthorsOther contributionsTitlesSubjects

© UPC Obrir en finestra nova . Servei de Biblioteques, Publicacions i Arxius

info.biblioteques@upc.edu

  • About This Repository
  • Contact Us
  • Send Feedback
  • Inici de la pàgina