Dans un 21 mars 2024 papierdes chercheurs de Huawei, de l’Université du Nord-Est et de l’Université de Nanjing fournissent un « aperçu clair et concis » de traduction automatique (MT) estimation de la qualité (QE) en mettant l’accent sur grands modèles de langage (LLM) pour les applications QE.

Les chercheurs ont mené une « exploration approfondie de presque toutes les méthodes représentatives du domaine du QE », dans le but de fournir ce qu’ils considèrent comme « une compréhension approfondie et professionnelle de l’état actuel des méthodologies du QE ».

Sans introduire de nouvelles informations, les chercheurs ont noté que cet article sera « extrêmement utile pour les praticiens engagés dans la recherche sur le QE et les universitaires intéressés à entrer dans ce domaine ».

Les chercheurs ont classé les méthodes qui ont émergé tout au long du développement du domaine du QE en trois catégories principales : celles qui emploient des fonctionnalités artisanales, celles fondées sur l'apprentissage en profondeuret ceux qui tirent parti des LLM.

Ils ont expliqué qu'au début de la recherche sur le QE, les méthodes s'appuyaient sur des fonctionnalités artisanales pour prédire la qualité de la traduction, ce qui a conduit à des frameworks tels que QuEst et QuEst++. Avec l'évolution des technologies d'apprentissage profond, les méthodes QE ont commencé à exploiter les réseaux de neurones pour une modélisation plus sophistiquée. Les méthodes de QE basées sur le deep learning peuvent être classées en celles basées sur des approches classiques de deep learning comme deepQuest et celles intégrant des modèles de langage (LM) pré-entraînés comme COMET ou COMÈTEKIWI.

« Les approches basées sur le LLM ont le potentiel d’atteindre des niveaux de performance de pointe (SOTA). »

Dernièrement, la recherche sur le QE s'est concentrée sur des méthodes basées sur LLMs. Les chercheurs explorent la vaste base de connaissances et les capacités d'apprentissage avancées des LLM pour faire progresser les études sur le QE en améliorant la précision et les performances des modèles de QE.

Approche basée sur le LLM : potentiel pour les performances SOTA

Les chercheurs ont identifié plusieurs applications des LLM dans le QE :

• Utiliser les LLM pour prédire directement les scores de qualité de traduction ou erreurs et évaluer leur gravité.
• Utiliser les LLM comme modèles de base et les affiner avec post-édition données à identifier les segments nécessitant une post-édition.
• Créez des données synthétiques avec des annotations et des explications d'erreurs à l'aide de LLM pour affiner les métriques QE explicables basées sur LLM afin de fournir des rapports de diagnostic d'erreur complets ainsi que les scores QE. (Remarque : aucune donnée annotée par l'homme n'est nécessaire)
• Tirer parti des probabilités et de l’incertitude des LLM comme indicateurs de qualité. Une probabilité plus élevée (c'est-à-dire la probabilité qu'un texte généré soit probable compte tenu de l'entrée) suggère que le LLM considère le texte généré comme cohérent, tandis qu'une incertitude élevée (c'est-à-dire un manque de confiance dans la prédiction du mot ou de la séquence de mots suivante) indique que le modèle confiance réduite dans l’exactitude du texte généré.
• Utiliser des LLM pour introduire des erreurs dans les traductions correctes et créer des paires de phrases bruyantes. Ces paires, ainsi que les paires de phrases claires (c'est-à-dire correctes), peuvent être utilisées pour entraîner les métriques QE afin de distinguer les traductions exactes et inexactes, en attribuant des scores plus élevés à la traduction exacte. (Remarque : aucune donnée annotée par l'homme n'est nécessaire)

Guide Slator Pro : IA de traduction

Le Guide Slator Pro présente 10 façons nouvelles et efficaces d'utiliser les LLM pour améliorer les flux de travail de traduction.

Tout en reconnaissant que « les performances des méthodes de QE basées sur le LLM n'ont pas encore dépassé celles des méthodes de QE intégrant des LM pré-entraînés », les chercheurs prévoient qu'avec la recherche et le développement en cours, « les approches basées sur le LLM ont le potentiel d'atteindre l'état de -niveaux de performance de pointe (SOTA).

Concernant les défis liés au QE, les chercheurs ont identifié le potentiel des LLM à résoudre les problèmes d'interprétabilité et la rareté des données annotées. Les LLM peuvent générer des données synthétiques annotées – cruciales pour langues à faibles ressources – et identifier les erreurs spécifiques et leur emplacement dans le texte. « Les recherches futures devraient se concentrer davantage sur l’exploitation des LLM pour améliorer l’interprétabilité du QE », ont-ils déclaré.

Cependant, des défis persistent, notamment la nature gourmande en ressources des LM et LLM pré-formés et l'absence de mesures d'évaluation standardisées qui entravent la comparaison et l'intégration des performances des modèles. Enfin, les chercheurs ont également suggéré que « les recherches futures devraient accorder davantage d’attention au QE au niveau des mots ».

Auteurs : Haofei Zhao, Yilun Liu, Shimin Tao, Weibin Meng, Yimeng Chen, Xiang Geng, Chang Su, Min Zhang et Hao Yang