La prédiction efficace de la difficulté des requêtes : une tâche impossible?

Adrian-Gabriel Chifu (1) , Léa Laporte (2) , Josiane Mothe (1, 3)

1 IRIT-SIG - Systèmes d’Informations Généralisées
2 DRIM - Distribution, Recherche d'Information et Mobilité
3 UT2J - Université Toulouse - Jean Jaurès

ABSTRACT. Search engines found answers whatever the user query is, but some queries are more difficult than others for the system. For difficult queries, adhoc treatments must be applied. Predicting query difficulty is crucial and different predictors have been proposed. In this paper, we revisit these predictors. First we check the non statistical redundancy of predictors. Then, we show that the correlation between the values of predictors and system performance gives little hope on the ability of these predictors to be effective. Finally, we study the ability of predictors to predict the classes of difficulty by relying on a variety of exploratory and learning methods. We show that despite the (low) correlation with performance measures, current predictors are not robust enough to be used in practical IR applications. MOTS-CLÉS : Recherche d'information, requête difficile, prédiction, analyse de données.

RÉSUMÉ. Les moteurs de recherche d'information (RI) retrouvent des réponses quelle que soit la requête, mais certaines requêtes sont difficiles (le système n'obtient pas de bonne performance en termes de mesure de RI). Pour les requêtes difficiles, des traitements adhoc doivent être ap-pliqués. Prédire qu'une requête est difficile est donc crucial et différents prédicteurs ont été proposés. Dans cet articlenous étudions la variété de l'information captée par les prédicteurs existants et donc leur non redondance. Par ailleurs, nous montrons que les corrélationsentre les prédicteurs et les performance des systèmes donnent peu d'espoir sur la capacité de ces prédic-teurs à être réellement efficaces. Enfin, nous étudions la capacité des prédicteurs à prédire les classes de difficulté des requêtes en nous appuyant sur une variété de méthodes exploratoires et d'apprentissage. Nous montrons que malgré les (faibles) corrélations observées avec les mesures de performance, les prédicteurs actuels conduisent à des performances de prédiction variables et sont donc difficilement utilisables dans une application concrète de RI.

Mots clés: data mining; Information retrieval; evaluation; query difficulty predictor

Domaines: Informatique [cs]; Recherche d'information [cs.IR]

Adrian-Gabriel Chifu, Léa Laporte, Josiane Mothe. La prédiction efficace de la difficulté des requêtes : une tâche impossible?. Conférence en Recherche d’Information et Applications (CORIA 2015), Mar 2015, Paris, France. pp.189-204. ⟨hal-01133774⟩