Disseny, programació i entrenament d'una xarxa neuronal per jugar jocs d'estratègia en temps real

Abstract

La finalitat d’aquest projecte és aconseguir que un programa pugui jugar al joc d’estratègia anomenat micro-RTS, recolzant-se amb una xarxa neuronal que tingui la capacitat d’entrenar-se a partir de jugades realitzades, ja sigui per humans o robots. L’entrenament defineix una funció d’avaluació, per posar nota a les posicions i escollir la millor jugada Aquesta funció d’avaluació està relacionada amb probabilitat de victoria, que ens indica si el jugador guanyaria o perdria. S’han definit i realitzat un conjunt de torneigs del micro-RTS, per poder tenir les dades d’entrada del projecte. S’ha escrit un conjunt de programes que implementen diferents versions d’aquesta funció d’avaluació, basades tant en la regressió logística com en xarxes neuronals simples i convolucionals. A partir de les dades extretes dels torneigs s’entrenen els diferents models mitjançant els programes desenvolupats. Posteriorment i una vegada entrenats tots els models, s’escullen meticulosament els millors i de més bon rendiment. Finalment, apliquem aquests models a uns programes d’avaluació, utilitzant els models ja entrenats per valorar fins a quin punt s’ha aconseguit un model que sigui capaç de tenir bon rendiment en diferents tipus d’enfrontaments.

La finalidad de este proyecto es conseguir que un programa pueda jugar al juego de estrategia llamado micro-RTS, apoyándose con una red neuronal que tenga la capacidad de entrenarse a partir de jugadas realizadas, ya sea por humanos o robots. El entrenamiento define una función de evaluación, para poner nota a las posiciones y escoger la mejor jugada Esta función de evaluación está relacionada con probabilidad de victoria, que nos indica si el jugador ganaría o perdería. Se ha definido y realizado un conjunto de torneos del microRTS, para poder tener los datos de entrada del proyecto. Se ha escrito un conjunto de programas que implementen distintas versiones de esta función de evaluación, basadas tanto en la regresión logística como en redes neuronales simples y convolucionales. A partir de los datos extraídos de los torneos se entrenan los distintos modelos mediante los programas desarrollados. Posteriormente y una vez entrenados todos los modelos, se escogen meticulosamente los mejores y de mejor rendimiento. Por último, aplicamos estos modelos a unos programas de evaluación, utilizando los modelos ya entrenados para valorar hasta qué punto se ha conseguido un modelo que sea capaz de tener buen rendimiento en distintos tipos de enfrentamientos.

The purpose of this project is to get a program to play the strategy game called micro-RTS, supported by a neural network that has the ability to train from plays made, either by humans or robots. Training defines an evaluation function, to note the positions and choose the best play This evaluation function is related to the probability of victory, which indicates whether the player would win or lose. A set of microRTS tournaments have been defined and conducted in order to have the project input data. A set of programs has been written that implement different versions of this assessment function, based on both logistic regression and simple, convolutional neural networks. From the data extracted from the tournaments, the different models are trained using the programs developed. Afterwards and once all the models have been trained, the best and best performance ones are meticulously chosen. Finally, we apply these models to evaluation programs, using the models already trained to assess the extent to which a model has been achieved that is capable of performing well in different types of confrontations.