Correcció de tweets usant word embeedings i FreeLing

Abstract

La correcció automàtica és un dels problemes oberts actualment en el camp del processament de llenguatge natural (PLN). La seva principal aplicació és la de normalitzar el text que es passarà com a entrada a processos posteriors com l’anàlisi o l’extracció de característiques. L’objectiu d’aquest projecte és desenvolupar un mòdul de correcció automàtica en castellà usant word embeddings, una tècnica utilitzada en PLN que permet obtenir representacions vectorials de les paraules d’un corpus de text. Els resultats obtinguts queden per sota dels de models tradicionals com els 3-grames, però alhora plantegen noves línies de recerca per al futur.

La corrección automática es uno de los problemas abiertos actualmente en el campo del procesamiento de lenguaje natural (PLN). Su principal aplicación es la de normalizar el texto que se pasará como entrada a procesos posteriores como el análisis o la extracción de características. El objetivo de este proyecto es desarrollar un módulo de corrección automática en castellano usando word embeddings, una técnica utilizada en PLN que permite obtener representaciones vectoriales de las palabras de un corpus de texto. Los resultados obtenidos quedan por debajo de los de modelos tradicionales como los 3-gramas, pero al mismo tiempo plantean nuevas líneas de investigación para el futuro.

Automatic correction is one of the open problems in the natural language processing (NLP) field. Its main application is the normalization of input text sent to subsequent processes as text feature extraction or analysis. The goal of this project is the development of a correction module in Spanish that makes use of word embeddings, a technique in NLP that can map the words from a corpus to numerical vector representations. The results obtained are below those achieved with more traditional models like 3-grams, but also suggest new ideas for future research.