What do post-editors correct? :: A fine-grained analysis of SMT and NMT errors

Sergi Alvarez-Vidal; Antoni Oliver; Toni Badia

doi:10.5565/rev/tradumatica.286

What do post-editors correct? : A fine-grained analysis of SMT and NMT errors

Títol traduït de la contribució: Què corregeixen els posteditors? :: Una anàlisi detallada dels errors de la traducció automàtica estadística (TAE) i la traducció automàtica neuronal (TAN)

Sergi Alvarez-Vidal, Antoni Oliver, Toni Badia

Departament de Traducció i d'Interpretació i d'Estudis de l'Àsia Oriental

Producció científica: Contribució a revista › Article › Recerca › Avaluat per experts

7 Cites (Scopus)

Resum

Les millores recents en la TA neuronal (TAN) han impulsat un canvi de la TA estadística (TAE) a la TAN. Tanmateix, per avaluar la utilitat dels models de TA per a la postedició (PE), és fonamental analitzar els errors més freqüents i com afecten la tasca. Presentem un estudi pilot d'una anàlisi detallada dels errors de la TA basat en correccions de postedició d'un text mèdic traduït de l'anglès al castellà amb TAE i TAN. Hem utilitzat la taxonomia MQM per comparar els dos models de TA i hem classificat els errors produïts. La nostra anàlisi també inclou una avaluació de la variació entre els posteditors, que se centra en els passatges amb una major variació en la postedició.

Títol traduït de la contribució	Què corregeixen els posteditors? :: Una anàlisi detallada dels errors de la traducció automàtica estadística (TAE) i la traducció automàtica neuronal (TAN)
Idioma original	Anglès
Pàgines (de-a)	0131-147
Nombre de pàgines	17
Revista	Revista Tradumatica
Número	19
DOIs	https://doi.org/10.5565/rev/tradumatica.286
Estat de la publicació	Publicada - 2021

Accés al document

10.5565/rev/tradumatica.286

https://ddd.uab.cat/record/250235

Altres arxius i enllaços

Com citar-ho

@article{8310003cb6294e438d3c23088859ec53,

title = "What do post-editors correct? :: A fine-grained analysis of SMT and NMT errors",

abstract = "The recent improvements in neural MT (NMT) have driven a shift from statistical MT (SMT) to NMT. However, to assess the usefulness of MT models for post-editing (PE) and have a detailed insight of the output they produce, we need to analyse the most frequent errors and how they affect the task. We present a pilot study of a fine-grained analysis of MT errors based on post-editors corrections for an English to Spanish medical text translated with SMT and NMT. We use the MQM taxonomy to compare the two MT models and have a categorized classification of the errors produced. Even though results show a great variation among post-editors' corrections, for this language combination fewer errors are corrected by post-editors in the NMT output. NMT also produces fewer accuracy errors and errors that are less critical.",

keywords = "Machine translation, MT, NMT, Post-editing, Neural machine translation, Error taxonomy, Traducci{\'o} autom{\`a}tica, TA, TAN, Postedici{\'o}, Traducci{\'o} autom{\`a}tica neuronal, Taxonomia d'errors, Traducci{\'o}n autom{\'a}tica, Posedici{\'o}n, Traducci{\'o}n autom{\'a}tica neuronal, Taxonom{\'i}a de errores",

author = "Sergi Alvarez-Vidal and Antoni Oliver and Toni Badia",

year = "2021",

doi = "10.5565/rev/tradumatica.286",

language = "English",

pages = "0131--147",

journal = "Revista Tradumatica",

issn = "1578-7559",

number = "19",

}

TY - JOUR

T1 - What do post-editors correct? :

T2 - A fine-grained analysis of SMT and NMT errors

AU - Alvarez-Vidal, Sergi

AU - Oliver, Antoni

AU - Badia, Toni

PY - 2021

Y1 - 2021

N2 - The recent improvements in neural MT (NMT) have driven a shift from statistical MT (SMT) to NMT. However, to assess the usefulness of MT models for post-editing (PE) and have a detailed insight of the output they produce, we need to analyse the most frequent errors and how they affect the task. We present a pilot study of a fine-grained analysis of MT errors based on post-editors corrections for an English to Spanish medical text translated with SMT and NMT. We use the MQM taxonomy to compare the two MT models and have a categorized classification of the errors produced. Even though results show a great variation among post-editors' corrections, for this language combination fewer errors are corrected by post-editors in the NMT output. NMT also produces fewer accuracy errors and errors that are less critical.

AB - The recent improvements in neural MT (NMT) have driven a shift from statistical MT (SMT) to NMT. However, to assess the usefulness of MT models for post-editing (PE) and have a detailed insight of the output they produce, we need to analyse the most frequent errors and how they affect the task. We present a pilot study of a fine-grained analysis of MT errors based on post-editors corrections for an English to Spanish medical text translated with SMT and NMT. We use the MQM taxonomy to compare the two MT models and have a categorized classification of the errors produced. Even though results show a great variation among post-editors' corrections, for this language combination fewer errors are corrected by post-editors in the NMT output. NMT also produces fewer accuracy errors and errors that are less critical.

KW - Machine translation

KW - MT

KW - NMT

KW - Post-editing

KW - Neural machine translation

KW - Error taxonomy

KW - Traducció automàtica

KW - TA

KW - TAN

KW - Postedició

KW - Traducció automàtica neuronal

KW - Taxonomia d'errors

KW - Traducción automática

KW - Posedición

KW - Traducción automática neuronal

KW - Taxonomía de errores

UR - https://www.scopus.com/pages/publications/85123619661

UR - https://dialnet.unirioja.es/servlet/articulo?codigo=8239318

U2 - 10.5565/rev/tradumatica.286

DO - 10.5565/rev/tradumatica.286

M3 - Article

SN - 1578-7559

SP - 131

EP - 147

JO - Revista Tradumatica

JF - Revista Tradumatica

IS - 19

ER -

What do post-editors correct? : A fine-grained analysis of SMT and NMT errors

Resum

Accés al document

Altres arxius i enllaços

Fingerprint

Com citar-ho