Vers une plate-forme MapReduce tolérant les fautes byzantines

Luciana Arantes (1) , Jonathan Lejeune (1) , Madeleine Piffaretti (1) , Olivier Marin (1) , Pierre Sens (1) , Julien Sopena (1) , Alysson N. Bessani (2) , Vinicius V. Cogo (2) , Miguel Correia (2) , Pedro Costa (2) , Marcelo Pasin (2)

1 Regal - Large-Scale Distributed Systems and Applications
2 LaSIGE [Lisboa]

Les pannes arbitraires sont inhérentes aux calculs massivement parallèles tels que ceux visés par le modèle MapReduce ; or les implémentations courantes du MapReduce ne fournissent pas d’outils permettant de tolérer les fautes byzantines. Il est donc impossible de certifier l’exactitude des résultats obtenus au terme des traitements longs et coûteux. Nous présentons dans cet article une architecture permettant de répliquer les tâches dans le modèle MapReduce afin de garantir l’intégrité des traitements et d’isoler les tâches défaillantes. Dans une première étude de performances nous avons évalué certains mécanismes liés à la réplication. Une seconde étude, effectuée avec un prototype implémentant l’ensemble de l’architecture, a permis de valider certains choix en montrant qu’il est possible de minimiser le surcoût de la tolérance aux fautes byzantines.

Domaines: Informatique [cs]

Luciana Arantes, Jonathan Lejeune, Madeleine Piffaretti, Olivier Marin, Pierre Sens, et al.. Vers une plate-forme MapReduce tolérant les fautes byzantines. Revue des Sciences et Technologies de l'Information - Série TSI : Technique et Science Informatiques, 2012, 31 (8-10), pp.1079-1099. ⟨10.3166/tsi.31.1079-1099⟩. ⟨hal-01197421⟩