Show simple item record

dc.contributorRuiz Costa-Jussà, Marta
dc.contributor.authorMuntaner González, Joan Francesc
dc.contributor.otherUniversitat Politècnica de Catalunya. Departament de Ciències de la Computació
dc.date.accessioned2021-06-11T14:46:48Z
dc.date.available2021-06-11T14:46:48Z
dc.date.issued2021-04-30
dc.identifier.urihttp://hdl.handle.net/2117/347200
dc.description.abstractEl Procesament del Llenguatge Natural és el conjunt de tasques que tracten amb el llenguatge "humà". En aquest treball ens centrem en la traducció automàtica, una d'aquestes tasques, que consisteix en traduir automàticament d'un idioma a un altre. La principal forma d'afrontar aquesta tasca és mitjançant l'ús de tècniques de aprenentatge profund, particularment d'aprenentatge supervisat. Aquest treball té com objectiu explorar l'aplicació de tècniques de aprenentatge per reforç a la traducció automàtica. Experimentem amb dos datasets d'extremadament baixos recursos (IWSLT14 alemany-anglès i FLoRes nepalès-anglès) així com amb dues arquitectures d'aprenentatge profund diferents: el Transformer i una red bi-LSTM. Hem observat que les tècniques habituals d'aprenentatge per reforç aplicades al Transformer requereixen molta memòria de la GPU i per tant no hem pogut completar exitosament l'entrenament dels models. No obstant, hem obtingut resultats positius als experiments amb bi-LSTM.
dc.description.abstractNatural Language Processing is the group of tasks that deal with "human" language. In this work we focus on machine translation, one of such tasks, that consists on automatically translating from one language to another. The main approach to this task is by means of deep learning techniques, particularly supervised learning. In this work we explore the application of reinforcement learning techniques to machine translation. We perform experiments using two extremely low-resource datasets (IWSLT14 German-English and FLoRes Nepali-English) as well as two different deep learning architectures: the Transformer, and a bi-LSTM network. We have found that common Reinforcement Learning techniques applied to the Transformer model require high amounts of GPU memory, and thus we have not been able to complete model training successfully. However, we have obtained positive results for the bi-LSTM experiments.
dc.language.isoeng
dc.publisherUniversitat Politècnica de Catalunya
dc.subjectÀrees temàtiques de la UPC::Informàtica
dc.subject.lcshNatural language processing (Computer science)
dc.subject.lcshArtificial intelligence
dc.subject.lcshMachine learning
dc.subject.lcshNeural networks (Computer science)
dc.subject.otherprocessament del llenguatge natural
dc.subject.othertraducció automàtica neuronal
dc.subject.otheraprenentatge per reforç
dc.subject.otheraprenentatge profund
dc.subject.othertraducció automàtica
dc.subject.othernatural language processing
dc.subject.otherneural machine translation
dc.subject.otherreinforcement learning
dc.subject.otherdeep learning
dc.subject.otherneural networks
dc.subject.otherartificial intelligence
dc.subject.othermachine learning
dc.subject.othermachine translation
dc.titleExploring reinforcement learning in natural language processing
dc.typeBachelor thesis
dc.subject.lemacTractament del llenguatge natural (Informàtica)
dc.subject.lemacIntel·ligència artificial
dc.subject.lemacAprenentatge automàtic
dc.subject.lemacXarxes neuronals (Informàtica)
dc.identifier.slug155476
dc.rights.accessOpen Access
dc.date.updated2021-05-07T04:01:07Z
dc.audience.educationlevelGrau
dc.audience.mediatorFacultat d'Informàtica de Barcelona
dc.audience.degreeGRAU EN ENGINYERIA INFORMÀTICA (Pla 2010)


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record

All rights reserved. This work is protected by the corresponding intellectual and industrial property rights. Without prejudice to any existing legal exemptions, reproduction, distribution, public communication or transformation of this work are prohibited without permission of the copyright holder