Cost model for Pregel on GraphX
Visualitza/Obre
10.1007/978-3-319-66917-5_11
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/113602
Tipus de documentText en actes de congrés
Data publicació2017
EditorSpringer
Condicions d'accésAccés obert
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
Abstract
The graph partitioning strategy plays a vital role in the overall execution of an algorithm in a distributed graph processing system. Choosing the best strategy is very challenging, as no one strategy is always the best fit for all kinds of graphs or algorithms. In this paper, we help users choosing a suitable partitioning strategy for algorithms based on the Pregel model by providing a cost model for the Pregel implementation in Spark-GraphX. The cost model shows the relationship between four major parameters: (1) input graph (2) cluster configuration (3) algorithm properties and (4) partitioning strategy. We validate the accuracy of the cost model on 17 different combinations of input graph, algorithm, and partition strategy. As such, the cost model can serve as a basis for yet to be developed optimizers for Pregel.
CitacióKumar, R., Abelló, A., Carders, T. Cost model for Pregel on GraphX. A: Conference on Advances in Databases and Information Systems. "Advances in Databases and Information Systems: 21st European Conference, ADBIS 2017, Nicosia, Cyprus, September 24-27, 2017: proceedings". Springer, 2017, p. 153-166.
ISBN978-3-319-66916-8
Versió de l'editorhttps://link.springer.com/chapter/10.1007/978-3-319-66917-5_11
Col·leccions
- GESSI - Grup d'Enginyeria del Software i dels Serveis - Ponències/Comunicacions de congressos [197]
- inSSIDE - integrated Software, Service, Information and Data Engineering - Ponències/Comunicacions de congressos [332]
- Departament d'Enginyeria de Serveis i Sistemes d'Informació - Ponències/Comunicacions de congressos [529]
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
maincostmodel.pdf | 1,334Mb | Visualitza/Obre |