Vers un désenchevêtrement de l'ambiguïté de la tâche et de l'incertitude du modèle pour la classification avec option de rejet à l'aide de réseaux neuronaux

Titouan Lorieul (1) , Alexis Joly (1)

1 ZENITH - Scientific Data Management

Classification with reject option is a way to address the problem of estimating the uncertainty of a classifier. Recent approaches to this problem use criteria based on either a confidence or a dispersion measure. However, they do not explicitly combine the two main sources of uncertainty : the ambiguity of the task, inherent to it, and the uncertainty of the model, resulting from data sampling and stochasticity of learning process. In this article, we explore how these two quantities can be merged to build more effective rejection criteria. In particular, we propose methods for combining disagreement measures and ambiguity estimates using an ensemble of models. Experiments on synthetic data sets constructed to model different types of uncertainties indicate that these new criteria have similar performance to the baselines. Nevertheless, more in-depth analyses show empirical evidence that highlights the existence of additional information in the distribution of the overall results. In practice, the ideal rejector may be a more complex function than the previous criteria, and may even be counter-intuitive at times.

La classification avec option de rejet est un moyen d'aborder le problème de l'estimation de l'incertitude d'un classifieur. Les approches récentes s'attaquant à ce problème utilisent des critères basés sur une mesure, soit, de confiance, soit, de dispersion. Cependant, aucune d'entre elles ne combine explicitement les deux principales sources d'incertitude : l'ambiguïté de la tâche, intrinsèque à celle-ci, et l'incertitude du modèle, découlant de l'échantillon-nage des données et de la stochasticité de l'apprentissage. Dans cet article, nous explorons comment ces deux quantités peuvent être fusionnées afin d'établir des critères de rejet plus efficaces. En particulier, nous proposons une série de méthodes combinant des mesures de désaccord et des estimations de l'ambiguïté en utilisant un ensemble de modèles. Des expériences sur des jeux de données synthé-tiques construits pour modéliser différents types d'incertitudes indiquent que ces nouveaux critères ont des performances similaires aux méthodes de référence. Néanmoins, des analyses plus approfondies montrent des indices empiriques qui mettent en avant l'existence d'information supplémentaire dans la distribution des résultats de l'ensemble. Dans les faits, le réjecteur idéal peut être une fonction plus complexe que les critères précédents, et peut même parfois être contre-intuitif.

Mots clés: Classification with reject option; Uncertainty estimation; Neural networks; Ensembles

Mots clés: Classification avec option de rejet; Estimation d'incertitudes; Réseaux neuronaux; Ensemble de modèles

Domaines: Apprentissage [cs.LG]; Intelligence artificielle [cs.AI]; Machine Learning [stat.ML]

Titouan Lorieul, Alexis Joly. Vers un désenchevêtrement de l'ambiguïté de la tâche et de l'incertitude du modèle pour la classification avec option de rejet à l'aide de réseaux neuronaux. CAP 2019 - 21e PFIA Conférence sur l'Apprentissage Automatique, Jul 2019, Toulouse, France. ⟨hal-02421210⟩