Ir al contenido (pulsa Retorno)

Universitat Politècnica de Catalunya

    • Català
    • Castellano
    • English
    • LoginRegisterLog in (no UPC users)
  • mailContact Us
  • world English 
    • Català
    • Castellano
    • English
  • userLogin   
      LoginRegisterLog in (no UPC users)

UPCommons. Global access to UPC knowledge

58.848 UPC E-Prints
You are here:
View Item 
  •   DSpace Home
  • E-prints
  • Grups de recerca
  • CAP - Grup de Computació d'Altes Prestacions
  • Ponències/Comunicacions de congressos
  • View Item
  •   DSpace Home
  • E-prints
  • Grups de recerca
  • CAP - Grup de Computació d'Altes Prestacions
  • Ponències/Comunicacions de congressos
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Spark deployment and performance evaluation on the MareNostrum supercomputer

Thumbnail
View/Open
sparkk4mn_bigdata15_withfonts.pdf (253,9Kb)
Share:
 
 
10.1109/BigData.2015.7363768
 
  View Usage Statistics
Cita com:
hdl:2117/100165

Show full item record
Tous Liesa, RubénMés informacióMés informacióMés informació
Gounaris, Anastasios
Tripiana, Carlos
Torres Viñals, JordiMés informacióMés informacióMés informació
Girona Turell, Sergi
Ayguadé Parra, EduardMés informacióMés informacióMés informació
Labarta Mancho, Jesús JoséMés informacióMés informacióMés informació
Becerra Fontal, YolandaMés informacióMés informacióMés informació
Carrera Pérez, DavidMés informació
Valero Cortés, MateoMés informacióMés informacióMés informació
Document typeConference report
Defense date2015
PublisherInstitute of Electrical and Electronics Engineers (IEEE)
Rights accessOpen Access
All rights reserved. This work is protected by the corresponding intellectual and industrial property rights. Without prejudice to any existing legal exemptions, reproduction, distribution, public communication or transformation of this work are prohibited without permission of the copyright holder
Abstract
In this paper we present a framework to enable data-intensive Spark workloads on MareNostrum, a petascale supercomputer designed mainly for compute-intensive applications. As far as we know, this is the first attempt to investigate optimized deployment configurations of Spark on a petascale HPC setup. We detail the design of the framework and present some benchmark data to provide insights into the scalability of the system. We examine the impact of different configurations including parallelism, storage and networking alternatives, and we discuss several aspects in executing Big Data workloads on a computing system that is based on the compute-centric paradigm. Further, we derive conclusions aiming to pave the way towards systematic and optimized methodologies for fine-tuning data-intensive application on large clusters emphasizing on parallelism configurations.
CitationTous, R., Gounaris, A., Tripiana, C., Torres, J., Girona, S., Ayguadé, E., Labarta, J., Becerra, Y., Carrera, D., Valero, M. Spark deployment and performance evaluation on the MareNostrum supercomputer. A: IEEE International Conference on Big Data. "2015 IEEE International Conference on Big Data: Oct 29-Nov 01, 2015, Santa Clara, CA, USA: proceedings". Santa Clara, CA: Institute of Electrical and Electronics Engineers (IEEE), 2015, p. 299-306. 
URIhttp://hdl.handle.net/2117/100165
DOI10.1109/BigData.2015.7363768
ISBN978-1-4799-9925-5
Publisher versionhttp://ieeexplore.ieee.org/abstract/document/7363768/
Collections
  • CAP - Grup de Computació d'Altes Prestacions - Ponències/Comunicacions de congressos [779]
  • Departament d'Arquitectura de Computadors - Ponències/Comunicacions de congressos [1.827]
Share:
 
  View Usage Statistics

Show full item record

FilesDescriptionSizeFormatView
sparkk4mn_bigdata15_withfonts.pdf253,9KbPDFView/Open

Browse

This CollectionBy Issue DateAuthorsOther contributionsTitlesSubjectsThis repositoryCommunities & CollectionsBy Issue DateAuthorsOther contributionsTitlesSubjects

© UPC Obrir en finestra nova . Servei de Biblioteques, Publicacions i Arxius

info.biblioteques@upc.edu

  • About This Repository
  • Contact Us
  • Send Feedback
  • Inici de la pàgina