For more transparency in the automatic analysis of public consultations: lessons learned from the French "Grand Débat National"
Pour plus de transparence dans l’analyse automatique des consultations ouvertes : leçons de la synthèse du Grand Débat National
Résumé
Faced with the limits of representative democracy, digital public consultations provide an opportunity for citizens to contribute their opinions and ideas and for policy makers to involve the population more closely in the public decision making process. The design and deployment of such public consultations pose well-known issues related to potential biases in the questions or in the representativeness of the participants. In this article, we consider the novel issues that arise from the use of artificial intelligence methods to automatically analyze contributions in natural language. Conducting such analyses constitutes a difficult problem for which many approaches (relying on various assumptions and models) exist. Considering the responses to the open-ended questions of the French "Grand Débat National" as a case study, we show that it is impossible to reproduce the results of the official analysis commissioned by the government. In addition, we identify a number of implicit and arbitrary choices in the official analysis that cast doubts on some of its results. We show also that different methods can lead to different conclusions. Our study highlights the need for greater transparency in the automatic analyses of public consultations so as to ensure reproducibility and public confidence in their results. We conclude with suggestions for improving digital public consultations and their analysis so that they encourage participation and become useful tools for public debate.
Face aux limites de la démocratie représentative, les consultations numériques participatives publiques permettent de solliciter, à différents niveaux de pouvoir, des contributions de citoyens pour essayer de mieux impliquer les individus dans les décisions politiques. Leur conception et leur mise en place posent des problèmes bien connus tels que les biais dans les questions ou la représentativité de la population participante. Nous considérons, dans cet article, les problèmes nouveaux liés à l'utilisation de méthodes issues de l'intelligence artificielle pour l'analyse automatique de contributions en langage naturel. Réaliser une telle analyse est un problème difficile pour lequel il existe de nombreuses méthodes reposant sur des hypothèses et des modèles variés. En considérant comme cas d'étude les contributions aux questions ouvertes du Grand Débat National, nous montrons qu'il est impossible de reproduire les résultats de l'analyse officielle commandée par le gouvernement. En outre, nous identifions des choix arbitraires non explicités dans l'analyse officielle qui conduisent à émettre des doutes sur certains de ses résultats. Nous montrons également que différentes méthodes peuvent mener à des conclusions différentes. Notre étude met ainsi en lumière la nécessité d'une plus grande transparence dans les analyses automatiques de consultations ouvertes pour assurer leur reproductibilité et la confiance du public dans leur restitution. Nous concluons par des pistes d'amélioration des consultations participatives et de leur analyse pour qu'elles puissent inciter à la participation et être des outils utiles au débat public.
Origine : Fichiers produits par l'(les) auteur(s)