Viabilidad del uso de contenedores en entornos HPC
Visualitza/Obre
Estadístiques de LA Referencia / Recolecta
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/167977
Tipus de documentTreball Final de Grau
Data2019-07-01
Condicions d'accésAccés obert
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
Abstract
Las tecnologías de contenedores han cambiado cómo los servicios y aplicaciones son desplegados en la nube. Sin embargo, su adopción en centros de High-Performance Computing (HPC) aún está bajo discusión: por un lado, resulta muy atractiva la portabilidad de las aplicaciones; por el otro, no está claro si los contenedores satisfacen los requisitos HPC de rendimiento y seguridad. Dado que existen pocas evaluaciones de códigos HPC significantes ejecutándose en contenedores, nosotros aportamos con este trabajo un estudio comparativo usando una aplicación científica en producción (Alya), además de benchmarks sintéticos (BT-MZ y HPCG) para validar los resultados. En este trabajo, analizamos las ventajas que ofrece la adopción de los con tenedores con un código HPC relevante y cuantificamos el sobrecoste en rendimiento inducido por el uso de tres implementaciones diferentes de contenedores (Docker, Singularity y Shifter) comparándolo con ejecuciones nativas. Dados los resultados de estos experimentos, hemos elegido Singularity como el mejor candidato basándonos en su rendimiento y portabilidad. Los experimentos incluyen una evaluación del rendimiento y portabilidad de los contenedores a través de tres sistemas HPC distintos (Intel Skylake, IBM Power9 y Armv8-a) y los resultados de la escalabilidad de Alya usando Singularity hasta 256 nodos computacionales (hasta 12 mil cores) del supercomputador del BSC MareNostrum4. Container technologies have changed the way services and applications are deployed in the cloud. However, their adoption in High-Performance Computing (HPC) centers is still under discussion: on one hand, the ease in portability is very attractive; on the other, it is not clear whether containers can fulfill HPC performance and security requirements. Since very little evaluation of large production HPC codes running in containers is available, in this work we provide a comparative study using a production scientific application (Alya) besides synthetic benchmarks (BT-MZ and HPCG) to validate the results. We analyze the productivity advantages of adopting containers for large HPC codes and we quantify the performance overhead induced by the use of three different container implementations (Docker, Singularity, and Shifter) comparing it to native executions. Given the results of these tests, we selected Singularity as the best candidate based on performance and portability. We present a portability and performance evaluation of containers across three different HPC architectures (Intel Skylake, IBM Power9, and Armv8-a) and show scalability results of Alya using Singularity up to 256 computational nodes (up to 12k cores) of the BSC supercomputer MareNostrum4.
MatèriesHigh performance computing, Computer networks -- Scalability, Càlcul intensiu (Informàtica), Ordinadors, Xarxes d' -- Escalabilitat
TitulacióGRAU EN ENGINYERIA INFORMÀTICA (Pla 2010)
Col·leccions
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
143810.pdf | 7,162Mb | Visualitza/Obre |