Quantum reinforcement learning (QRL), a cutting-edge field at the intersection of quantum computing and artificial intelligence, has the potential to revolutionize domains like chemistry and autonomous systems with its computational advantages. The free energy-based reinforcement learning algorithm (FERL) is a QRL algorithm inspired by the classical deep Q-learning algorithm (DQN) which uses a quantum Boltzmann machine (QBM) as the Q-function with quantum annealing (QA) as the solver. It has demonstrated considerable advantage compared to its classical counterpart DQN. The aim of this project is exploring the replacement of QA with the quantum approximate optimization algorithm (QAOA) and its recursive variant (RQAOA). We focus on the one-dimensional beam target steering control task based on the beam optics of the TT24-T4 transfer line at CERN. We perform and compare simulations of QA and QAOA, obtaining successful results for both QAOA and RQAOA, noticing that the performance of FERL using RQAOA for p=1 as a solver is very similar to the obtained through simulated QA for this scenario. The success of this experiment might lead the application of the QAOA solver to the hybrid actor-critic algorithm in development at CERN which allows to tackle control tasks using a continuous action space.
L'aprenentatge per reforçament quàntic (QRL), un camp de vanguardia a la intersecció de la computació quàntica i la intel·ligència artificial, té el potencial de revolucionar àmbits com la química i els sistemes autònoms gràcies als seus avantatges computacionals. L'algorisme d'aprenentatge per reforçament basat en l'energia lliure (FERL) és un algorisme de QRL inspirat en l'algorisme clàssic d'aprenentatge profund deep Q-learning (DQN), que utilitza una màquina quàntica de Boltzmann (QBM) com a funció Q amb alineament quàntic (QA) com a solucionador. Ha demostrat una notable avantatge en comparació amb el seu homòleg clàssic DQN. L'objectiu d'aquest projecte és explorar la substitució del QA per l'algorisme quàntic d'optimització aproximada (QAOA) i la seva variant recursiva (RQAOA). Ens centrem en la tasca de control de la direcció d'objectiu de feix unidimensional basada en l'òptica de feix de la línia de transferència TT24-T4 a CERN. Realitzem i comparem simulacions de QA i QAOA, obtenint resultats satisfactoris per a QAOA i RQAOA, observant que el rendiment de FERL utilitzant RQAOA per a p=1 com a solucionador és molt similar al que s'obté a través de QA simulat per a aquest escenari. L'èxit d'aquest experiment podria conduir a l'aplicació del solucionador QAOA a l'algorisme d'actor-crític híbrid en desenvolupament a CERN, el qual permet abordar tasques de control utilitzant un espai d'acció continu.
