Adapting Batch Scheduling to Workload Characteristics: What can we expect From Online Learning?

Arnaud Legrand (1) , Denis Trystram (2) , Salah Zrigui (2)

1 POLARIS - Performance analysis and optimization of LARge Infrastructures and Systems
2 DATAMOVE - Data Aware Large Scale Computing

Despite the impressive growth and size of super-computers, the computational power they provide still cannot match the demand. Efficient and fair resource allocation is a critical task. Super-computers use Resource and Job Management Systems to schedule applications, which is generally done by relying on generic index policies such as First Come First Served and Shortest Processing time First in combination with Backfilling strategies. Unfortunately, such generic policies often fail to exploit specific characteristics of real workloads. In this work, we focus on improving the performance of online schedulers. We study mixed policies, which are created by combining multiple job characteristics in a weighted linear expression, as opposed to classical pure policies which use only a single characteristic. This larger class of scheduling policies aims at providing more flexibility and adaptability. We use space coverage and black-box optimization techniques to explore this new space of mixed policies and we study how can they adapt to the changes in the workload. We perform an extensive experimental campaign through which we show that (1) even the best pure policy is far from optimal and that (2) using a carefully tuned mixed policy would allow to significantly improve the performance of the system. (3) We also provide empirical evidence that there is no one size fits all policy, by showing that the rapid workload evolution seems to prevent classical online learning algorithms from being effective.

Malgré la croissance impressionnante et la taille des super-ordinateurs, le la puissance de calcul qu’ils fournissent ne peut toujours pas correspondre à la demande. Une allocation efficace et juste des ressources est essentielle tâche. Les super-ordinateurs utilisent des systèmes de gestion des ressources et des tâches pour programmer les applications, ce qui est généralement fait en s?appuyant sur des politiques d’index telles que First Come First Served et Shortest Temps de traitement D’abord en combinaison avec les stratégies de remblayage. Malheureusement, ces politiques génériques échouent souvent exploiter les caractéristiques spécifiques des charges de travail réelles. Dans ce travail, nous nous concentrons sur l’amélioration des performances des ordonnanceurs en ligne. Nous étudions des stratégies mixtes, créées en combinant plusieurs tâches caractéristiques dans une expression linéaire pondérée, par opposition à les politiques pures classiques qui n’utilisent qu’une seule caractéristique. Ce une plus grande classe de politiques de planification vise à offrir plus de flexibilité et adaptabilité. Nous utilisons la couverture d’espace et l’optimisation de la boîte noire techniques pour explorer ce nouvel espace de politiques mixtes et nous étudions Comment peuvent-ils s’adapter aux changements de la charge de travail? Nous réalisons une vaste campagne expérimentale à travers laquelle nous montrons que (1) même la meilleure politique pure est loin d?être optimale et que (2) l?utilisation d?une politique mixte soigneusement adaptée permettrait de améliorer de manière significative les performances du système. (3) nous aussi fournir des preuves empiriques qu’il n’y a pas de politique uniforme, en montrant que l’évolution rapide de la charge de travail semble empêcher algorithmes classiques d’apprentissage en ligne d’être efficaces.

Domaines: Informatique [cs]

Arnaud Legrand, Denis Trystram, Salah Zrigui. Adapting Batch Scheduling to Workload Characteristics: What can we expect From Online Learning?. [Research Report] Grenoble 1 UGA - Université Grenoble Alpe. 2018, pp.1-23. ⟨hal-01896121⟩