Correcció de tweets usant word embeedings i FreeLing

View/Open
Document typeBachelor thesis
Date2017-01
Rights accessOpen Access
Abstract
La correcció automàtica és un dels problemes oberts actualment en el camp del processament de llenguatge natural (PLN). La seva principal aplicació és la de normalitzar el text que es passarà com a entrada a processos posteriors com l’anàlisi o l’extracció de característiques. L’objectiu d’aquest projecte és desenvolupar un mòdul de correcció automàtica en castellà usant word embeddings, una tècnica utilitzada en PLN que permet obtenir representacions vectorials de les paraules d’un corpus de text. Els resultats obtinguts queden per sota dels de models tradicionals com els 3-grames, però alhora plantegen noves línies de recerca per al futur. La corrección automática es uno de los problemas abiertos actualmente en el campo del procesamiento de lenguaje natural (PLN). Su principal aplicación es la de normalizar el texto que se pasará como entrada a procesos posteriores como el análisis o la extracción de características. El objetivo de este proyecto es desarrollar un módulo de corrección automática en castellano usando word embeddings, una técnica utilizada en PLN que permite obtener representaciones vectoriales de las palabras de un corpus de texto. Los resultados obtenidos quedan por debajo de los de modelos tradicionales como los 3-gramas, pero al mismo tiempo plantean nuevas líneas de investigación para el futuro. Automatic correction is one of the open problems in the natural language
processing (NLP) field. Its main application is the normalization
of input text sent to subsequent processes as text feature extraction or
analysis. The goal of this project is the development of a correction
module in Spanish that makes use of word embeddings, a technique in
NLP that can map the words from a corpus to numerical vector representations.
The results obtained are below those achieved with more
traditional models like 3-grams, but also suggest new ideas for future
research.
Collections
Files | Description | Size | Format | View |
---|---|---|---|---|
122462.pdf | 1,798Mb | View/Open |
All rights reserved. This work is protected by the corresponding intellectual and industrial
property rights. Without prejudice to any existing legal exemptions, reproduction, distribution, public
communication or transformation of this work are prohibited without permission of the copyright holder