How data volume affects spark based data analytics on a scale-up server
Visualitza/Obre
chp%3A10.1007%2F978-3-319-29006-5_7.pdf (1,062Mb) (Accés restringit)
Sol·licita una còpia a l'autor
Què és aquest botó?
Aquest botó permet demanar una còpia d'un document restringit a l'autor. Es mostra quan:
- Disposem del correu electrònic de l'autor
- El document té una mida inferior a 20 Mb
- Es tracta d'un document d'accés restringit per decisió de l'autor o d'un document d'accés restringit per política de l'editorial
10.1007/978-3-319-29006-5_7
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/99709
Tipus de documentText en actes de congrés
Data publicació2015
EditorSpringer
Condicions d'accésAccés restringit per política de l'editorial
Llevat que s'hi indiqui el contrari, els
continguts d'aquesta obra estan subjectes a la llicència de Creative Commons
:
Reconeixement-NoComercial-SenseObraDerivada 3.0 Espanya
Abstract
Sheer increase in volume of data over the last decade has triggered research in cluster computing frameworks that enable web enterprises to extract big insights from big data. While Apache Spark is gaining popularity for exhibiting superior scale-out performance on the commodity machines, the impact of data volume on the performance of Spark based data analytics in scale-up configuration is not well understood. We present a deep-dive analysis of Spark based applications on a large scale-up server machine. Our analysis reveals that Spark based data analytics are DRAM bound and do not benefit by using more than 12 cores for an executor. By enlarging input data size, application performance degrades significantly due to substantial increase in wait time during I/O operations and garbage collection, despite 10 % better instruction retirement rate (due to lower L1 cache misses and higher core utilization). We match memory behaviour with the garbage collector to improve performance of applications between 1.6x to 3x.
CitacióAwan, A., Brorsson, M., Vlassov, V., Ayguade, E. How data volume affects spark based data analytics on a scale-up server. A: Workshop on Big Data Benchmarks, Performance Optimization, and Emerging Hardware. "Big Data Benchmarks, Performance Optimization, and Emerging Hardware 6th Workshop: BPOE 2015: Kohala, HI, USA: August 31-September 4, 2015: revised selected papers". Springer, 2015, p. 81-92.
ISBN978-3-319-29005-8
Versió de l'editorhttp://link.springer.com/chapter/10.1007/978-3-319-29006-5_7
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
chp%3A10.1007%2F978-3-319-29006-5_7.pdf | 1,062Mb | Accés restringit |