Algorithm Selection as a Collaborative Filtering Problem

Mustafa Misir (1) , Michèle Sebag (2)

1 TAO - Machine Learning and Optimisation
2 LRI - Laboratoire de Recherche en Informatique

Focusing on portfolio algorithm selection, this paper presents a hybrid machine learning approach, combining collaborative filtering and surrogate latent factor modeling. Collaborative filtering, popularized by the Netflix challenge, aims at selecting the items that a user will most probably like, based on the previous movies she liked, and the movies that have been liked by other users. As first noted by Stern et al (2010), algorithm selection can be formalized as a collaborative filtering problem, by considering that a problem instance ''prefers'' the algorithms with better performance {on this particular instance}. A main difference between collaborative filtering approaches and mainstream algorithm selection is to extract latent features to describe problem instances and algorithms, whereas algorithm selection most often relies on the initial descriptive features. A main contribution of the present paper concerns the so-called cold-start issue, when facing a brand new instance. In contrast with Stern et al. (2010), ARS learns a non-linear mapping from the initial features onto the latent features, thereby supporting the recommendation of a good algorithm for the new problem instance with constant computational cost. The experimental validation of ARS considers the domain of constraint programming (2008 CSP and 2011 SAT competition benchmarks) and gradient-free continuous optimization (black-box optimization benchmarks), demonstrating the merits and the genericity of the method.

Cet article s'intéresse á la sélection de l'algorithme le plus adapté á l'instance de probléme considérée, parmi les algorithmes d'une plate-forme donnée. L'approche proposée s'inspire du filtrage collaboratif. Popularisé par le challenge Netflix, le filtrage collaboratif recommande les produits qu'un utilisateur peut apprécier, en se fondant sur l'historique des produits appréciés par cet utilisateur et par la communauté des utilisateurs. Comme noté par Stern et al. (2010), la sélection d'algorithmes peut être vue comme un probléme d'apprentissage collaboratif, oú une instance de probléme est vue comme un utilisateur qui ''préfére'' les algorithmes dont la performance sur cette instance est la meilleure. Une différence essentielle de l'approche par CF par rapport à l'état de l'art en sélection d'algorithme est de caractériser les instances de problèmes et les algorithmes en terme de facteurs latents au lieu de se limiter aux attributs initiaux (comme e.g. CPHydra ou SATzilla). S'inspirant de Stern et al. (2010), cet article présente l'algorithme ARS ({\em Algorithm Recommender System}), exploitant les données des performances des algorithmes sur les instances disponibles pour faire de la sélection d'algorithme. Une contribution essentielle concerne le probléme dit du démarrage á froid, oú on ne dispose d'aucune information sur une nouvelle instance de probléme. L'approche proposée s'appuie sur l'apprentissage d'un modéle non-linéaire, estimant les facteurs latents á partir des descripteurs initiaux. ARS réalise ainsi la sélection d'algorithmes pour les instances nouvelles á coût de calcul constant. La validation expérimentale d'ARS considére les domaines de la programmation par contraintes (2011 SAT Competition problems et CSP 2008 Competition benchmarks) et de l'optimisation stochastique continue (BBOB 2012 noiseless datasets), démontrant la généricité de l'approche proposée.

Mots clés: Algorithm selection; hyper-parameter tuning; meta-learning; portfolio algorithm

Domaines: Apprentissage [cs.LG]

Mustafa Misir, Michèle Sebag. Algorithm Selection as a Collaborative Filtering Problem. [Research Report] 2013, pp.43. ⟨hal-00922840⟩