tSearch : leveraging the automatic analysis of machine translation evaluation for fast and flexible error analysis

Abstract

[CATALÀ] El cicle de desenvolupament dels sistemes de traducció automàtica (TA) consta de les següents etapes: avaluació, anàlisi dels errors i refinament del sistema. Aquesta tesi de master està enfocada en l'etapa d'anàlisi d'errors. Hem implementat l'eina tSearch, una aplicació web que té per objectiu facilitar l'anàlisi qualitatiu de la qualitat de la traducció. Fins ara, els desenvolupadors de sistemes de TA han d'enfrontar-se sovint amb la dura tasca d'examinar un gran conjunt de traduccions gairebé manualment. Algunes eines de recerca desenvolupades recentment es centren en la de classificació d'errors. Per contra, tSearch ofereix un nou enfoc proporcionant mecanismes per fer cerques complexes sobre una col·lecció de traduccions avaluades amb un conjunt heterogeni de mesures d'avaluació de la traducció, el qual permet detectar patrons que poden ajudar als desenvolupadors a millorar la qualitat de la traducció. Per dur a terme aquesta proposta, tSearch es desenvolupa sobre Asiya, una eina lliure per la avaluació automàtica de la traducció. Els resultats de l'avaluació d'Asiya són utilitzats per tSearch per processar la consulta de l'usuari. El motor de cerca ofereix un llenguatge de consulta ric i flexible que permet trobar traduccions que compleixen una combinació de caràcter í característiques numèriques i estructurals. A més, el seu disseny de base de dades permet un temps de resposta ràpid per totes aquelles consultes sobre un banc de proves d'un tamany raonable. També hem dissenyat i desenvolupat una interfície web fàcil d'utilitzar i amigable que fa possible l'accés interactiu als resultats de la consulta.

[ENGLISH] The development cycle of machine translation (MT) systems includes important stages such as the evaluation, the error analysis and the system refinement. This master thesis is concerned with the error analysis stage. We have developed the tSearch tool, an open web-based application that aims to facilitate the qualitative analysis of the translation quality. So far, MT developers usually have to tackle the tedious and time-consuming task of inspecting a large set of translations almost manually. There exist few tools focused on the classification of the error types. In contrast, tSearch offers a new focus providing mechanisms for doing complex searches over a collection of translation cases evaluated with a large set of diverse translation evaluation measures, which makes easy the discovery of patterns that may help MT developers to improve the translation quality. Thus, the error analysis task can be carried out over a speci c subset of translations examples, turning into a more efficient and feasible work. To carry out this proposal, tSearch builds on Asiya, an open toolkit for automatic machine translation evaluation, that provides a large set of evaluation measures. The results of the Asiya evaluation are used by tSearch in order to extract a number of features and be able to process the user queries. The search engine offers a rich and flexible query language that allows to find translation examples matching a combination of numerical and structural features. Furthermore, its database design permits a fast response time for all queries supported on realistic-size testbeds. We also offer a friendly and easy to use web interface that makes possible an interactive access to the query results.