Hadoop en arquitectures híbrides

Abstract

En aquest projecte s'ha estudiat el comportament dels processadors de baix consum Intel Atom respecte als processadors d'alt rendiment Intel Xeon majorment utilitzats en els CPD sobre un cluster Hadoop MapReduce. S'ha vist com, tot i ser els Atom més lents per naturalesa de fabricació i estar dissenyats per a ser utilitzat en plataformes domèstiques, depèn de l'aplicació a executar que tinguin un rendiment per watt major o menor respecte als processadors d'alt rendiment. També s'ha estudiat l'evolució del temps d'execució d'un treball i el consum requerit per executar-lo a mida que s'afegeixen més slots a un cluster. Amb aquestes dades, s'ha enunciat un procediment per a obtenir les mesures necessàries per a l'obtenció d'unes funcions que permetin estimar el cost temporal i energètic de l'execució d'una aplicació en un cluster Hadoop segons el nombre de slots de que es disposin. També s'ha desenvolupat un petit simulador d'un cluster MapReduce per tal de proposar una política de planificador per al scheduler de Hadoop. Amb aquesta nova política es poden aconseguir petits estalvis energètics gràcies a l'us de les màquines adequades dins els requisits establerts per a l'execució de múltiples treballs. A més, s'ha introduït aquesta política de planificació en l'Adaptative Scheduler per tal de poder comparar-les en el món real, amb un resultat satisfactori.