Tuto@Mate#70 - Concevoir un projet d’annotation de données langagières avec INCEpTION par L.M Ho-Dac

Concevoir et mener un projet d’annotation de données langagières avec INCEpTION

Annoter un corpus, c’est ajouter une ou plusieurs couches d’interprétation à des données langagières brutes (textes écrits numérisés ou discours oraux retranscrits). Les annotations sont réalisées lors de campagnes d’annotation par des annotateurs humains, plus ou moins experts, qui s’appuient sur un guide d’annotation et utilisent un outil d’annotation.

L’annotation peut-être définie comme le processus par lequel un groupe d’annotateurs va avoir pour mission d’enrichir manuellement un corpus en y ajoutant des informations linguistiques qui peuvent être de nature très diversifiée : délimitation d’unités (e.g. morphèmes, tokens, unités de discours, expressions référentielles, entités nommées), mise en relation d’unités (e.g. relations syntaxiques, relations de discours, relations anaphoriques) ou étiquetage des unités ou des relations (e.g. partie du discours, fonctions syntaxiques, type sémantique, acte de parole).

Cet atelier a pour objectif de revenir sur les éléments fondamentaux d’une campagne d’annotation de données langagières et présenter comment les mettre en oeuvre grâce à la plateforme INCEpTION. Cette plateforme propose des fonctionnalités pour mener des projets d’annotation complexes :

mise en place d’un projet d’annotation : import de corpus, création de couches d’annotation, mise à disposition des guides d’annotation
gestion de cohortes d’annotateurs
interface d’annotation
interface d’adjudication (i.e. phase de l’annotation qui consiste à trouver un consensus en cas de désaccord entre plusieurs annotateurs)
mesure de l’accord inter-annotateur pour évaluer la qualité des annotations récoltées
export des annotations dans différents formats.
Parmi les atouts de la plateforme INCEpTION, le caractère collaboratif nous intéresse particulièrement. Un projet d’annotation collaborative consiste à fédérer des annotateurs humains pour annoter un même jeu de données de façon asynchrone et à distance afin de constituer petit à petit une « grande » ressource annotée que ce soit un grand nombre de textes, une grande diversité de couches d’annotation et/ou un grand nombre d’annotations communes pour mettre au jour les (dés)accords inter-annotateurs. Nous retrouvons ici la même idée que celle de construction collaborative à la base du projet Wikipedia.

Le caractère collaboratif devrait assurer la mise à disposition d’annotations de qualité dans une quantité suffisante et fournir des données d’entraînement de modèles d’apprentissage automatique, des données d’évaluation pour le traitement automatique du langage et des données pour réaliser des analyses quantitatives.

Lien : https://inception-project.github.io/

Lydia-Mai HO-DAC est Maîtresse de conférences en Sciences du Langage à l’Université Toulouse Jean Jaurès dans le laboratoire CLLE (UM5263). Elle enseigne en linguistique de corpus et Traitement Automatique des Langues.

Ce webinaire, tenu le 1er avril 2025, fait partie de la série des Tuto@Mate du réseau Mate-shs. Plus d'informations sur le tuto (par exemple slides, liens utiles) sur le site de Mate-shs : https://mate-shs.cnrs.fr/actions/tuto...
et sur Mate-shs : https://mate-shs.cnrs.fr