Redonner du sens à l’accord interannotateurs : vers une interprétation des mesures d’accord en termes de reproductibilité de l’annotation

Dany Bregeon (1, 2) , Jean-Yves Antoine (3) , Jeanne Villaneau (4) , Anaïs Lefeuvre-Halftermeyer (2)

1 LIFAT - Laboratoire d'Informatique Fondamentale et Appliquée de Tours
2 LIFO - Laboratoire d'Informatique Fondamentale d'Orléans
3 BDTLN - Bases de données et traitement des langues naturelles
4 EXPRESSION - Expressiveness in Human Centered Data/Media

Inter-coders agreement measures are used to assess the reliability of annotated corpora in NLP. Now, the interpretation of these agreement measures in terms of reliability level relies on pure subjective opinions that are not supported by any experimental validation. In this paper, we present several experiments on real or simulated data that aim at providing a clear interpretation of agreement measures in terms of the level of reproductibility of the reference annotation with any other set of coders.

Les mesures d'accord interannotateur sont utilisées en routine par le TAL pour évaluer la fiabilité des annotations de référence. Pourtant, les seuils de confiance liés à cette estimation relèvent d'opinions subjectives et n'ont fait l'objet d'aucune expérience de validation dédiée. Dans cet article, nous présentons des résultats expérimentaux sur données réelles ou simulées qui visent à proposer une interprétation des mesures d'accord en termes de stabilité de la ré-férence produite, sous la forme d'un taux moyen de variation de la référence entre différents groupes d'annotateurs. ABSTRACT. Inter-coders agreement measures are used to assess the reliability of annotated corpora in NLP. Now, the interpretation of these agreement measures in terms of reliability level relies on pure subjective opinions that are not supported by any experimental validation. In this paper, we present several experiments on real or simulated data that aim at providing a clear interpretation of agreement measures in terms of the level of reproductibility of the reference annotation with any other set of coders.

Mots clés: inter-coders agreement; reliability level; reproductibility

Domaines: Informatique et langage [cs.CL]; Traitement du texte et du document

Dany Bregeon, Jean-Yves Antoine, Jeanne Villaneau, Anaïs Lefeuvre-Halftermeyer. Redonner du sens à l’accord interannotateurs : vers une interprétation des mesures d’accord en termes de reproductibilité de l’annotation. Revue TAL : traitement automatique des langues, 2019, 60 (2), pp.23. ⟨hal-02375240⟩