Tesis
Post-editing Effort and Linguistically Motivated Evaluation of Machine Translation (2021)
Direcció: Antoni Oliver i Toni Badia
Las recientes mejoras en la MT neuronal (NMT) han impulsado un cambio de la MT estadística (SMT) a la NMT, lo que ha impulsado el uso de la posedición (PE) en los flujos de trabajo de traducción. Sin embargo, muchos traductores profesionales afirman que si la calidad de la traducción automática no es lo suficientemente buena, eliminan los segmentos restantes y traducen todo desde cero. El problema es que las mediciones automáticas habituales no siempre indican la calidad del resultado de la MT, especialmente cuando se trata de resultados de alta calidad, y todavía no existe una correlación clara entre el esfuerzo de PE y las puntuaciones de productividad. Combinamos métodos cuantitativos y cualitativos para estudiar algunas de las métricas automáticas habituales utilizadas para evaluar la calidad de la producción de MT y compararlas con medidas de esfuerzo de posedición. Luego, estudiamos en detalle diferentes medidas de esfuerzo directas e indirectas para establecer una correlación entre ellas. Complementamos este estudio con el análisis de las percepciones de los traductores sobre la tarea. Finalmente, llevamos a cabo un análisis detallado de los errores de MT basado en correcciones de posedición y sugerimos un enfoque basado en errores para evaluar la producción bruta de MT que incluye el uso de conjuntos de desafíos.