L'eclosió en anys recents de noves tècniques d'intel·ligència artificial (IA) ha portat una atenció renovada en com aquestes eines poden ser integrades en altres disciplines científiques com la física. Ja sigui a través de l'ús de tècniques o conceptes d'IA en el camp de la física o a través de la importació d'intuïcions físiques al desenvolupament de tècniques d'IA, aquest pont ha estat proposat com un possible camí per a resolució de problemes complexos de noves maneres; aquest treball se centra en dos d'aquests. D'una banda, estudia el modelatge de llenguatge natural a llarg context mitjançant Grans Models de Llenguatge (LLM). D'altra banda, analitza la predicció de l'ordre topològic de sistemes de matèria condensada basant-se en els termes no interactius del hamiltonià. En aquest treball mostrem com abordem aquests problemes a través de la connexió entre la física i la IA. El rendiment de grans models de llenguatge és incrementat a través de l'ús, en entrenament, de dades sintètiques inspirades en models físics que repliquen el comportament en contextos llargs del llenguatge natural. De la mateixa manera, mostrem com podem predir l'ordre topològic de forma precisa a través de xarxes Kolmogorov-Arnold, que ofereixen tant xarxes neuronals compactes com fórmules simbòliques que il·lustren les tendències principals en les dades subjacents.

La eclosión en años recientes de nuevas técnicas de inteligencia artificial (IA) ha despertado una atención renovada en cómo estas herramientas pueden ser integradas en otras disciplinas científicas como la física. Ya sea a través del uso de técnicas o conceptos de IA en el campo de la física o a través de la importación de intuiciones físicas al desarrollo de técnicas de IA, este puente ha sido propuesto como un posible camino para la resolución de problemas complejos de nuevas maneras; este trabajo se centra en dos de ellos. Por un lado, estudia el modelado de lenguaje natural a largo contexto mediante Grandes Modelos de Lenguaje (LLM). Por otro lado, analiza la predicción del orden topológico en sistemas de materia condensada basándose en los términos no interactivos del hamiltoniano. En este trabajo, mostramos cómo abordamos estos problemas a través de la conexión entre la física y la IA. El rendimiento de grandes modelos de lenguaje mejora con el uso, en entrenamiento, de datos sintéticos inspirados en modelos físicos que replican el comportamiento de largo contexto del lenguaje natural. Del mismo modo, mostramos cómo podemos predecir el orden topológico de forma precisa a través de redes Kolmogorov-Arnold (KAN), que ofrecen tanto redes neuronales compactas como fórmulas simbólicas que ilustran las tendencias principales en los datos subyacentes.

The explosion in recent years of novel AI techniques has brought increased attention to how these methods can be integrated with other scientific disciplines such as physics. Either by lending AI concepts and techniques to physics or by importing physical intuition into AI technique development, this bridge has been proposed as a path to tackle complex problems in novel ways; this thesis concerns itself with two such problems. On the one hand, it studies long-context modeling for natural language through Large Language Models. On the other hand, it analyzes the prediction of the topological order of condensed matter systems based on non-interacting terms of the Hamiltonian. In this work we show how we tackle these problems through the bridging of physics and AI. Large Language Model performance is increased through the use, in training, of physics-inspired synthetic data, which replicates the long-context correlation structures of natural language. Likewise, we show that the topological order is accurately predicted through the use of Kolmogorov-Arnold Networks, which provide both compact neural network architectures and symbolic formulas that illustrate the mainline trends in the underlying data.