TALP Online Tracking Tool

Abstract

En aplicaciones HPC en las que se utilice MPI, el reparto de carga entre los procesos es un factor clave que determinará el rendimiento de la aplicación, y por ello ser consciente de los desbalanceos puede ser un comienzo para arreglarlos, en el caso de que sea posible. En este proyecto se ha diseñado e implementado un módulo que es capaz de recoger estas métricas en tiempo de ejecución. Este módulo esta integrado en la librería Dynamic Load Balancing, que al ejecutarse con las aplicaciones modifica su comportamiento para intentar reducir el tiempo de ejecución. Toda la información que se recoja durante la ejecución será puesta a disposición de terceros mediante una API, hecho que pone a esta implementación en ventaja respecto a otras herramientas que desempeñan una funcionalidad similar. Además, el módulo implementado ha sido validado con dos casos de prueba para comprobar su correcto funcionamiento.También se ha efectuado un análisis de la penalización que provoca el módulo durante la ejecución, y posteriormente se ha analizado el comportamiento de una aplicación para comprobar si los resultados son fidedignos.

HPC applications where MPI is used, sometimes are not well balanced. This imbalance can be caused, for example, by the distribution of the work in the MPI model. If it's not well done, it can cause long waiting times of processes in MPI directives. For this reason, getting the processes balanced with the others is a priority to get an excellent performance. The first step to solve this is to know what's happening, and this is what the project wants to solve. Getting the MPI related metrics during execution time and processing them, allow third parties to get all the information. This information can be used to take decisions during execution to improve the performance. This project has been done inside the Dynamic Load Balancing library, which tries to mitigate the unbalance of the MPI model. The implemented module will obtain many metrics of this programming model and will store them in the library structures. Moreover, it will let external agents to read the data to get more information about the execution. Capturing these metrics at execution time will put this tool in competitive advance of other tracing tools that only allow accessing this data once the process has finished.