Multilingual, multi-scale and multi-layer visualization of sequence-based intermediate representations
Visualitza/Obre
D19-3026.pdf (1,260Mb) (Accés restringit)
Sol·licita una còpia a l'autor
Què és aquest botó?
Aquest botó permet demanar una còpia d'un document restringit a l'autor. Es mostra quan:
- Disposem del correu electrònic de l'autor
- El document té una mida inferior a 20 Mb
- Es tracta d'un document d'accés restringit per decisió de l'autor o d'un document d'accés restringit per política de l'editorial
Estadístiques de LA Referencia / Recolecta
Inclou dades d'ús des de 2022
Cita com:
hdl:2117/184198
Tipus de documentText en actes de congrés
Data publicació2019
EditorAssociation for Computational Linguistics
Condicions d'accésAccés restringit per política de l'editorial
Tots els drets reservats. Aquesta obra està protegida pels drets de propietat intel·lectual i
industrial corresponents. Sense perjudici de les exempcions legals existents, queda prohibida la seva
reproducció, distribució, comunicació pública o transformació sense l'autorització del titular dels drets
ProjecteTECNOLOGIAS DE APRENDIZAJE PROFUNDO APLICADAS AL PROCESADO DE VOZ Y AUDIO (MINECO-TEC2015-69266-P)
Abstract
The main alternatives nowadays to dealwith sequences are Recurrent Neural Net-works (RNN), Convolutional Neural Networks(CNN) architectures and the Transformer. Inthis context, RNN’s, CNN’s and Transformerhave most commonly been used as an encoder-decoder architecture with multiple layers ineach module. Far beyond this, these architec-tures are the basis for the contextual word em-beddings which are revolutionizing most natural language downstream applications. However, intermediate layer representations insequence-based architectures can be difficultto interpret. To make each layer representation within these architectures more accessible and meaningful, we introduce a web-based toolthat visualizes them both at the sentence and token level. We present three use cases. The first analyses gender issues in contextual worde mbeddings. The second and third are show-ing multilingual intermediate representations for sentences and tokens and the evolution of these intermediate representations along the multiple layers of the decoder and in the con-text of multilingual machine translation.
CitacióEscolano, C. [et al.]. Multilingual, multi-scale and multi-layer visualization of sequence-based intermediate representations. A: Conference on Empirical Methods in Natural Language Processing. "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations". Stroudsburg, PA: Association for Computational Linguistics, 2019, p. 151-156.
ISBN9781950737901
Versió de l'editorhttps://www.aclweb.org/anthology/D19-3000/
Altres identificadorshttps://www.aclweb.org/anthology/D19-3000.pdf
Col·leccions
- Departament de Ciències de la Computació - Ponències/Comunicacions de congressos [1.274]
- Doctorat en Teoria del Senyal i Comunicacions - Ponències/Comunicacions de congressos [236]
- ViRVIG - Grup de Recerca en Visualització, Realitat Virtual i Interacció Gràfica - Ponències/Comunicacions de congressos [77]
- VEU - Grup de Tractament de la Parla - Ponències/Comunicacions de congressos [437]
Fitxers | Descripció | Mida | Format | Visualitza |
---|---|---|---|---|
D19-3026.pdf | 1,260Mb | Accés restringit |