Post-editing Effort and Linguistically Motivated Evaluation of Machine Translation (2021)

Autor/a: Sergi Álvarez Vidal

Direcció: Antoni Oliver i Toni Badia

Les recents millores en traducció automàtica neuronal (TAN) han provocat un canvi de la traducció automàtica estadística (TAS) a la TAN, que ha incrementat l’ús de la postedició en els fluxos de treball industrials. Tanmateix, molts traductors professionals afirmen que si la qualitat de la TA no és prou bona, eliminen tot el segment i el tradueixen de cap i de nou. El problema és que les mesures automàtiques habituals no sempre indiquen la qualitat de la TA, especialment quan aquesta és bona, i no hi ha una correlació directa entre l’esforç de postedició i les mesures de productivitat. Combinem mètodes quantitatius i qualitatius per estudiar algunes de les mesures automàtiques més habituals utilitzades per evaluar la qualitat de la TA, i les comparem amb les mesures de l’esforç de postedició. A continuació, estudiem en detall diferent mesures directes i indirectes d’esforç per establir-hi una correlació. Complementem aquest estudi amb l’anàlisi de les percepcions dels traductors que duen a terme aquesta tasca. Finalment, fem una anàlisis detallada dels errors de TA a partir de les correccions fetes en la postedició i proposem un enfocament basat en errors per evaluar la TA que inclou l’ús d’un conjunt de frases de prova.

PDF