Classification automatique du langage de données du service hospitalier des urgences

Binbin Xu (1, 2) , Loïck Bourdois (1, 2) , Cédric Gil-Jardine (1, 2, 3) , Eric Tellier (1, 2, 3) , Frantz Thiessard (1, 2) , Marta Avalos-Fernandez (1, 2, 4) , Emmanuel Lagarde (1, 2)

1 UB - Université de Bordeaux
2 BPH - Bordeaux population health
3 CHU de Bordeaux Pellegrin [Bordeaux]
4 SISTM - Statistics In System biology and Translational Medicine

Des modèles basés sur l'architecture Transformer qui intègrent une étape de pré-entrainement non supervisé à objectif prédictif, tels que le GPT-2 (Generative Pretrained Transformer 2) ont atteint récemment des succès remarquables. Nous avons adapté et mis en oeuvre un modèle de traitement automatique du langage naturel (NLP pour Natural Language Processing) permettant de déterminer si un texte libre clinique est de nature traumatique ou non. Nous avons comparé cette approche, nécessitant un nombre d'échantillons annotés réduit, à une approche entièrement supervisée. Nos résultats (basés sur l'AUC et le F1-score) montrent qu'il est possible d'adapter un modèle polyvalent tel que le GPT-2 pour créer un outil puissant de classification de notes de texte libre en français avec seulement un très faible nombre d'échantillons labélisés.

Mots clés: Neural Language Model; pre-training; Transformer; GPT-2

Domaines: Intelligence artificielle [cs.AI]; Réseau de neurones [cs.NE]; Machine Learning [stat.ML]; Méthodologie [stat.ME]; Applications [stat.AP]; Apprentissage [cs.LG]; Santé publique et épidémiologie; Automatique; Statistiques [math.ST]

Binbin Xu, Loïck Bourdois, Cédric Gil-Jardine, Eric Tellier, Frantz Thiessard, et al.. Classification automatique du langage de données du service hospitalier des urgences. 3e Journée Dataquitaine : IA, RO et Data Science, Feb 2020, Talence, France. ⟨hal-02615327⟩