Les évaluations automatiques sont indépendantes de la langue. Si elles peuvent fournir des mesures utiles sur la qualité du langage, elles ne disent rien sur les contenus : c’est pourquoi des évaluations basées sur des jugements humains sont complémentaires aux évaluations métriques automatiques.

En génération automatique en langue naturelle (GAT), plusieurs métriques présentent la difficulté de disposer d’un texte source (rédigé par un humain) et d’un texte cible (rédigé par un logiciel). Ce qui n'est pas le cas en traduction automatique, par exemple. Les métriques BLEU, ROUGE, METEOR, NIST et WER permettent d’attribuer un score en fonction de systèmes de mesure de parties de mots (N-grammes) et de leur fréquence, à partir d'une comparaison entre un texte source et un texte cible.

Testez les métriques automatiques

BLEU (Bilingual Evaluation Understudy)	accorde un poids égal à tous les N-grammes. 1 est le score atteint lorsque les N-grammes entre texte source et texte cible correspondent. Cette métrique, élaborée par IBM, est couramment utilisée en traduction automatique.
ROUGE (Recall-Oriented Understudy for Gisting Evaluation)	accorde du poids à la proportion la plus élevée de N-grammes. Il existe plusieurs métriques ROUGE. La plus commune est ROUGEN, qui calcule la proportion la plus élevée de N-grammes d’une longueur N dans un texte de référence et qui sont rencontrés dans un texte généré. Les variantes de ROUGE correspondent à des variantes de la méthode de calcul (ROUGE-S, ROUGE-L, ROUGE-W,ROUGE-2 et ROUGEU). Le score ROUGE est surtout utilisé dans le cadre de la génération de résumés automatiques de textes.
NIST (National Institute of Stetards et Technology)	l’évaluation métrique NIST est une adaptation de BLEU, mais où BLEU donne un poids égal à tous les n-grammes, NIST donne plus d’importance aux N-grammes les moins fréquents. NIST corrèlerait le mieux avec les jugements humains.
METEOR (Metric for Evaluation of Translation with Explicit Ordering)	accorde un poids égal à tous les N-grammes et intègre dans la formule de calcul un taux rappel (fréquence) et un taux de précision (pertinence). Cette métrique est basée sur le principe de correspondances explicites (mot à mot entre le texte source et le texte cible, qu’il s’agisse du mot exact ou d’une variante morphologique de ce mot).
WER (Word Error Rate)	formule de calcul basée sur la correspondance explicite, mot exact ou variante morphologique. Cette métrique est d'avantage utilisée dans le domaine de la reconnaissance vocale.

---

Références

• Agarwal Abhaya et Lavie Alon. METEOR, M-BLEU and M-TER: evaluation metrics for high-correlation with human rankings of machine translation output. In Proceedings of the Third Workshop on Statistical Machine Translation, pages 115–118. Association for Computational Linguistics, 2008
• Banerjee Satanjeev et Lavie Alon. METEOR : An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic et extrinsic evaluation measures for machine translation et/or summarization, pages 65–72, 2005.
• Belz Anja et Reiter Ehud. Comparing automatic et human evaluation of NLG systems. In EACL, 2006.
• Belz Anja et Reiter Ehud. An investigation into the validity of some metrics for automatically evaluating natural language generation systems. Computational Linguistics, 35(4) :529–558, 2009.
• Chin-Yew Lin. ROUGE : a package for automatic evaluation of summaries. In Text Summarization Branches Out : Proceedings of the ACL-04 Workshop, pages 74– 81, 2004.
• Dale Robert et White Michael. Shared tasks and comparative evaluation in natural language generation, 2012.
• Morris A. Cameron, Maier Viktoria, and Green Phil. From WER and RIL to MER and WIL: improved evaluation measures for connected speech recognition. In INTERSPEECH, 2004.
• Tomás Jesús, Mas Josep Àngel, and Casacuberta Francisco. A quantitative method for machine translation evaluation. In Proceedings of the EACL 2003 Workshop on Evaluation Initiatives in Natural Language Processing : are evaluation methods, metrics et resources reusable?,pages 27–34. Association for Computational Linguistics, 2003.

Scores de lisibilité et distance d'édition

• Flesch Rudolph. A new readability yardstick. Journal of applied psychology, 32(3) :221, 1948.
• Kincaid J. Peter, Fishburne Jr Robert P., Rogers Richard L., et Chissom Brad S. Derivation of new readability formulas (automated readability index, fog count et Flesch reading ease formula) for navy enlisted personnel. Technical report, DTIC Document, 1975.
• Li Yujian et Liu Bo. A normalized Levenshtein distance metric. IEEE Transactions on Pattern Analysis et Machine Intelligence (Impact Factor : 4.8), 29(6) :1091–5, 2007.