Empirical study of Amdahl’s law on multicore processors

Carsten Bruns (1, 2, 3) , Sid Touati (1, 3, 2)

1 KAIROS - Logical Time for Formal Embedded System Design
2 COMUE UCA - COMUE Université Côte d'Azur (2015-2019)
3 Laboratoire I3S - COMRED - COMmunications, Réseaux, systèmes Embarqués et Distribués

Since many years, we observe a shift from classical multiprocessor systems tomulticores, which tightly integrate multiple CPU cores on a single die or package. This shift doesnot modify the fundamentals of parallel programming, but makes harder the understanding andthe tuning of the performances of parallel applications. Multicores technology leads to sharing ofmicroarchitectural resources between the individual cores, which Abel et al. [1] classified in storageand bandwidth resources. In this work, we empirically analyze the effects of such sharing onprogram performance, through repeatable experiments. We show that they can dominate scalingbehavior, besides the effects described by Amdahl’s law and synchronization or communicationconsiderations. In addition to the classification of [1], we view the physical temperature and powerbudget also as a shared resource. It is a very important factor for performance nowadays, sinceDVFS over a wide range is needed to meet these constraints in multicores. Furthermore, wedemonstrate that resource sharing not just leads a flat speedup curve with increasing thread countbut can even cause slowdowns. Last, we propose a formal modeling of the performances to allowdeeper analysis. Our work aims to gain a better understanding of performance limiting factors inhigh performance multicores, it shall serve as basis to avoid them and to find solutions to tune theparallel applications.

Cela fait plusieurs années que les systèmes multi-processeurs ont évolué vers des systèmesmulti-cœurs. Cette évolution ne bouleverse pas les fondements de la programmation parallèle, mais rendplus difficile l’analyse et l’optimisation des performances des codes. La technologie multi-cœurs engendreun partage de ressources micro-architecturales entre les cœurs individuels, classifiées en ressources destockage ou de bande passante d’après les travaux d’Abel et al [1]. Dans ce document, nous effectuonsune analyse fine et empirique des effets de ce partage de ressources sur les performances. Nous montronsqu’ils dominent la scalabilité des temps d’exécution, au delà des considérations de synchronisation etde communication modélisées dans la loi d’Amdahl. En plus de la classification étudiée dans [1], nousregardons la température physique et la puissance électrique comme des ressources partagées. Ellesdeviennent des facteurs très importants pour les performances actuellement; la modulation de fréquence(DVFS) est utilisée dans presque tous les systèmes multi-cœeurs à hautes performances. Aussi, nousmontrons que le partage de ressources micro-architecturales engendre non seulement une stagnationdes accélérations (lespeedupde l’application en fonction du nombre de threads parallèles sur cœursphysiques), mais parfois une dégradation (slowdown). En dernier, nous proposons une modélisationformelle des performances d’applications parallèles permettant une analyse plus fine. Notre travailpermet une meilleure compréhension des facteurs limitants les performances des applications parallèlessur systèmes multi-cœurs, servant de base ensuite pour l’analyse et l’optimisation de ces performances.

Mots clés: OpenMP; Benchmarking; Calability of parallel applications; Multicore processors; Shared resources; Band-width saturation; Shared power and temperature budget; Dynamic frequency scaling; Amdahl’slaw; Program performance modeling

Domaines: Informatique; Calcul parallèle, distribué et partagé [cs.DC]; Modélisation et simulation; Performance et fiabilité [cs.PF]

Carsten Bruns, Sid Touati. Empirical study of Amdahl’s law on multicore processors. [Research Report] RR-9311, INRIA Sophia-Antipolis Méditerranée; Université Côte d'Azur, CNRS, I3S, France. 2019. ⟨hal-02404346v1⟩