En els darrers anys, la indústria de la intel·ligència artificial ha aprofitat el poder de la computació conjuntament amb els models d'aprenentatge profund per construir aplicacions d'avantguarda. Algunes d'aquestes aplicacions, com ara assistents personals o bots de xat, depenen en gran mesura de Bases de Dades de Coneixement, un dipòsit de dades sobre dominis específics. Tot i això, aquestes bases de dades no només han d'ingerir fets nous constantment per actualitzar-se amb la informació més recent sobre el seu domini, sinó que també han de recuperar el coneixement ingerit de manera comprensible per a la gent, en la majoria dels casos. Centrat en aquest darrer punt, fer que el coneixement sigui fàcilment accessible pels humans, aquest treball es centra en donar accés automàticament a aquest coneixement mitjançant el llenguatge natural. Ho fem construint un model únic capaç d'extreure coneixements donat uns enunciats en llenguatge natural, així com de generar-los donat un cert coneixement. La solució proposada, una arquitectura basada en un Transformer eficient, s'entrena en un entorn semi-supervisat de múltiples tasques, seguint un règim d'entrenament cíclic. Els nostres resultats superen l'estat de l'art en l'extracció de coneixement per models sense supervisió, i també s'assoleixen resultats satisfactoris per la tasca de generació de text. El model resultant es pot entrenar fàcilment en qualsevol nou domini, amb dades no paral·leles, simplement afegint text i coneixement al respecte, gràcies al nostre marc d'entrenament cíclic. A més a més, aquest entorn semi-supervisat és útil per aconseguir un aprenentatge permanent.
In recent years, Artificial Intelligence industry has leveraged the power of computation along deep learning models to build cutting-edge applications. Some of these applications, such as personal assistants or chat-bots, heavily rely on Knowledge Bases, a data repository about specific domains. However, not only do these data bases need to constantly ingest new facts, in order to be updated with the latest information about its domain, but they also need to retrieve the ingested knowledge in a human friendly manner, in most of the cases. Focusing on the latter, making knowledge easily accessible by humans, this work focuses on automatically giving access to this knowledge through natural language. We do this by building a single model capable of extracting knowledge given natural language utterances, as well as, generating them given some knowledge. The proposed solution, an efficient Transformer architecture, is trained in a multi-task semi-supervised environment, following a cycle training regime. We surpass state-of-the-art results in knowledge extraction for unsupervised models, and reach satisfactory results for the text generation task. The resulting model can be easily trained in any new domain with non-parallel data, by simply adding text and knowledge about it, in our cycle framework. More relevantly, this semi-supervised environment is useful for lifelong learning.
En los últimos años, la industria de la inteligencia artificial ha aprovechado el poder
de la computación conjuntamente con los modelos de aprendizaje profundo para
construir aplicaciones de vanguardia. Algunas de estas aplicaciones, tales como asistentes personales o chat-bots, dependen en gran medida de Bases de Datos de
Conocimiento, un depósito de datos sobre dominios específicos. Sin embargo, estas
bases de datos no sólo deben ingerir hechos nuevos constantemente para actualizarse
con la información más reciente sobre su dominio, sino que también tienen que recuperar el conocimiento ingerido de manera comprensible para la gente, en la mayoría
de los casos.
Centrado en este último punto, hacer que el conocimiento sea fácilmente accesible
por los humanos, este trabajo se caracteriza por dar acceso automáticamente a este
conocimiento mediante el lenguaje natural. Lo hacemos construyendo un modelo
único capaz de extraer conocimientos dado unos enunciados en lenguaje natural,
así como de generar texto dado un cierto conocimiento. La solución propuesta,
una arquitectura basada en un Transformer eficiente, se entrena en un entorno
semi-supervisado de múltiples tareas, siguiendo un régimen de entrenamiento cíclico.
Nuestros resultados superan el estado del arte en la extracción de conocimiento para
modelos sin supervisión, y también se alcanzan resultados satisfactorios para la tarea
de generación de texto.
El modelo resultante se puede entrenar fácilmente en cualquier nuevo dominio, con
datos no paralelos, simplemente añadiendo texto y conocimientos al respecto, gracias
a nuestro marco de entrenamiento cíclico. Además, este entorno semi-supervisado es
útil para conseguir un aprendizaje permanente
