29 novembre 2006
Technolangue.net
Action de Recherche Concertée sur l’Alignement de Documents et son Evaluation |
|||||||||||||||||||||
Thème de l’action : Evaluation des technologies linguistiques (projet EVALDA) |
|
||||||||||||||||||||
|
|||||||||||||||||||||
Résumé | |||||||||||||||||||||
Les techniques d’alignement constituent un préalable à l’exploitation de corpus parallèles multilingues. Qu’il s’agisse d’aligner au niveau des paragraphes, des phrases ou d’apparier des unités lexicales, la plupart des applications reposent sur la possibilité d’extraire des correspondances précises entre textes sources et cibles (traductions littérales, textes équivalents, ou seulement comparables).
|
|||||||||||||||||||||
Résultats | |||||||||||||||||||||
LE PACKAGE D’EVALUATION ARCADE II EST DESORMAIS DISPONIBLE AUPRES D’ELRA :
Ce package comprend l’ensemble des données utilisées lors de la campagne d’évaluation ARCADE II. Il regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la campagne. Le but de ce « package » d’évaluation est de permettre à tout acteur externe de pouvoir évaluer son propre système. |
|||||||||||||||||||||
Les scores des systèmes participants ont été calculés en utilisant la F-mesure pour T1 (alignement phrastique) et la précision pour T2 (alignement des entités nommées). Les résultats sont donc compris entre 0 et 1, les meilleurs résultats devant se rapprocher de 1.
Pour les langues d’Europe de l’Ouest, les résultats ont montré que la tâche d’alignement est plus difficile sur les corpus bruts. Sur les corpus segmentés, la F-mesure (pour toutes les langues) est d’environ 0.98, tandis que pour les corpus bruts, elle descend légèrement autour de 0.97 pour deux systèmes évalués et jusqu’à 0.94 pour le troisième système. La séparation par langue montre que l’allemand est plus difficile à aligner. Pour les corpus segmentés, le meilleur système obtient des résultats proches de 0.99 pour l’anglais, l’italien et l’espagnol et en-dessous de 0.98 pour l’allemand. Les résultats pour les langues distantes du français sont beaucoup plus modestes. Comme pour les langues d’Europe de l’Ouest, les résultats sont majoritairement meilleurs pour les corpus segmentés que pour les corpus bruts. Le meilleur résultat a été obtenu pour un système traitant le grec sur le corpus segmenté avec une mesure de 0.976, mais la moyenne pour ce système n’atteint que 0.871. La segmentation des langues à écriture non latine reste une problématique non résolue encore maintenant. Ainsi, seul un système a soumis ses résultats aux deux versions de corpus (brut et segmenté) et ses résultats restent très modestes avec une moyenne de 0.421.
Ressources : Deux corpus parallèles ont été mis à la disposition des participants :
|
|||||||||||||||||||||
Publications |
|||||||||||||||||||||
|
|||||||||||||||||||||
|
|
Dates du projet |
Date de début : 4 décembre 2002 Date de fin : 4 avril 2006 |