From Heterogeneous Task Scheduling to Heterogeneous Mixed Data and Task Parallel Scheduling

Frédéric Suter (1) , Henri Casanova (2) , Frédéric Desprez , Vincent Boudet

1 REMAP - Regularity and massive parallel computing
2 LIP - Laboratoire de l'Informatique du Parallélisme

Mixed-parallelism, the combination of data- and task-parallelism, is a powerful way of increasing the scalability of entire classes of parallel applications. Exploiting both types of parallelism simultaneously makes it possible to deploy these applications on platforms comprising multiple compute clusters, which have become increasingly popular in the last decade. However, high performance application executions are only possible if effective scheduling strategies are available. While multi-cluster platforms are predominantly heterogeneous, previous work on mixed-parallel application scheduling targets only homogeneous platforms. In this paper we develop a method for extending existing scheduling algorithms for task-parallel applications on heterogeneous platforms to the mixed-parallel case. After detailing the foundations of our method and our assumptions, we present a case study in which we generate a mixed-parallel version of the popular HEFT scheduling algorithm, which we evaluate with an extensive set of simulation experiments.

Le parallélisme mixte, qui est la combinaison des parallélismes de tâches et de données, est un moyen puissant d'augmenter l'extensibilité de classes entières d'applications parallèles. L'exploitation simultanée des deux types de parallélismes permet de déployer ces application sur des grappes de grappes. Cependant, des exécutions performantes ne sont seulement possibles que si des stratégies efficaces d'ordonnancement an parallélisme mixte ciblent uniquement des plateformes hétérogènes. Nous avions développé une méthode pour étendre des algorithmes existants, permettant d'ordonnancer des applications exhibant du parallélisme de tâches sur des plateformes hétérogènes, afin d'utiliser le parallélisme mixte. Après avoir détaillé les fondations et les hypothèses de notre travail, nous avons présenté une étude de cas dans laquelle nous générons une version "mixte" de l'algorithme d'ordonnancement HEFT. Nous évaluons cette étude par un ensemble complet de simulations.

Mots clés: MIXED PARALLELISM; HETEROGENEOUS TASK SCHEDULING

Mots clés: PARALLELISME MIXTE; ORDONNANCEMENT DE TACHES SUR PLATEFORMES HETEROGENE

Domaines: Autre [cs.OH]

Frédéric Suter, Henri Casanova, Frédéric Desprez, Vincent Boudet. From Heterogeneous Task Scheduling to Heterogeneous Mixed Data and Task Parallel Scheduling. [Research Report] RR-4995, LIP RR-2003-52, INRIA, LIP. 2003. ⟨inria-00071583⟩