Détection de la cohésion lexicale par voisinage distributionnel : application à la segmentation thématique

Clémentine Adam (1, 2) , François Morlane-Hondère (1)

1 CLLE-ERSS - Cognition, Langues, Langage, Ergonomie
2 IRIT-ILPL - Informatique Linguistique et Programmation Logique

The present work takes place within the Voiladis project (Lexical neighborhood for discourse analysis), whose purpose is to exploit lexical cohesion markers in the study of various discursive phenomena. We want to show the relevance of a distribution-based lexical resource to locate interesting relations between lexical items in a text. We call "neighbors" lexical items that share a significant number of syntactic contexts in a given corpus. In order to evaluate the usefulness of such a resource, we address the task of topical segmentation of text, which generally makes use of some kind of lexical relations. We discuss here the importance of the particular resource used for the task of text segmentation. Using a system inspired by [Hearst 1997], we show that lexical neighbors provide better results than a classical resource.

Cette étude s'insère dans le projet VOILADIS (VOIsinage Lexical pour l'Analyse du DIScours), qui a pour objectif d'exploiter des marques de cohésion lexicale pour mettre au jour des phénomènes discursifs. Notre propos est de montrer la pertinence d'une ressource, construite par l'analyse distributionnelle automatique d'un corpus, pour repérer les liens lexicaux dans les textes. Nous désignons par "voisins" les mots rapprochés par l'analyse distributionnelle sur la base des contextes syntaxiques qu'ils partagent au sein du corpus. Pour évaluer la pertinence de la ressource ainsi créée, nous abordons le problème du repérage des liens lexicaux à travers une application de TAL, la segmentation thématique. Nous discutons l'importance, pour cette tâche, de la ressource lexicale mobilisée ; puis nous présentons la base de voisins distributionnels que nous utilisons ; enfin, nous montrons qu'elle permet, dans un système de segmentation thématique inspiré de [Hearst 1997], des performances supérieures à celles obtenues avec une ressource traditionnelle.

Mots clés: Lexical cohesion; lexical resources; distributional analysis; text segmentation

Mots clés: Cohésion lexicale; ressources lexicales; analyse distributionnelle; segmentation thématique

Domaines: Informatique et langage [cs.CL]; Traitement du texte et du document; Linguistique

Clémentine Adam, François Morlane-Hondère. Détection de la cohésion lexicale par voisinage distributionnel : application à la segmentation thématique. RECITAL'09, Jun 2009, Senlis, France. pp.article 6. ⟨hal-00417489⟩