Traduction automatique et performance des métriques BLEU et METEOR: Cas de la traduction économique

Résumé

Résumé

Le présent article se veut une analyse de la performance des métriques BLEU et METEOR en fonction des aspects linguistiques des textes traduits. En effet, les nuances stylistiques, la terminologie et la structure des phrases influencent la qualité des scores BLEU et METEOR calculés. Cette réalité est particulièrement manifeste dans le domaine du discours économique. Ainsi, nous tentons de définir cet impact et de montrer comment la nature des textes économiques conditionne les résultats de l’évaluation par les scores BLEU et METEOR. Ces métriques, couramment employées dans le domaine de la traduction automatique (TA), suscitent des débats quant à leur efficacité et leur pertinence, notamment en raison de leurs limites dans l’évaluation qualitative et contextuelle des traductions produites. Cette étude vise donc à lever certaines ambiguïtés en offrant une vision plus précise et nuancée de ces outils d'évaluation.

Les outils de traduction automatique adoptés, notamment DeepL et Google Traduction, s'appuient sur des avancées majeures en apprentissage profond et en traduction automatique neuronale. Le choix de ces outils n’est pas fortuit. Il est ancré dans le contexte contemporain, marqué par l'intérêt croissant pour cette technologie. Le présent travail a donc pour ambition de fournir aux professionnels de la traduction, ainsi qu'aux chercheurs en traduction et en traductologie, une analyse critique des scores BLEU et METEOR.

Mots-clés : BLEU, METEOR, performance, évaluation quantitative, évaluation qualitative.

Abstract
This article analyzes the performance of the BLEU and METEOR metrics in terms of linguistic aspects of translated texts. In fact, style, terminology, and sentence structure are all factors that influence the quality of these scores. This is particularly true in the context of economic discourse. Commonly used in the field of machine translation (MT), these metrics spark debates regarding their effectiveness and relevance, particularly due to their limitations in assessing the qualitative and contextual aspects of the translations produced. Therefore, the present study attempts to describe this impact and show how the characteristics of economic texts are of great importance in BLEU and METEOR evaluations. Two machine translation tools were used in this study: DeepL and Google Translate. They operate using deep learning and neural machine translation and rely on significant advancements in deep learning and neural machine translation. The choice of these tools is not accidental. It is rooted in the contemporary context, characterized by growing interest in this technology. This paper targets translation professionals and researchers in translation and translation studies, aiming to provide a critical analysis of the BLEU and METEOR scores, widely used in the machine translation field but also subject to much debate. Hence, the study addresses some ambiguities by offering a more precise and nuanced view of these evaluation tools.

Keywords: BLEU, METEOR, performance, quantitative evaluation, qualitative evaluation,