Iterative methods for solving linear systems on massively parallel architectures
Méthodes itératives de résolution de systèmes linéaires sur des architectures parallèles
Résumé
Krylov methods are widely used for solving large sparse linear systems of equations. On distributed architectures, their performance is
limited by the communication needed at each iteration of the algorithm. In this thesis, we first study the use of so-called Enlarged Krylov subspaces for reducing the number of iterations, and therefore the overall communication, of Krylov methods. We consider a reformulation of the Conjugate Gradient (CG) method using these enlarged Krylov subspaces: the Enlarged Conjugate Gradient (ECG) method. This method is first studied from a theoretical point of view. In particular, we show that its convergence speed is close to that of the so-called Deflated Conjugate Gradient method.
In order to mitigate the effect of the extra arithmetic operations induced by the method, we explain how to dynamically reduce the number of search directions during the iterations. We then present the parallel design of two variants of the ECG method as well as their corresponding dynamic versions. Using a block Jacobi preconditioner, we show that our implementation scales up to several thousands of cores, and it can be significantly faster than the PETSc implementation of the CG method. We then focus on the Cosmic Microwave Background (CMB) analysis. We investigate the usage of so--called recycling strategies in this context. As a result of the multiplicity of the smallest eigenvalue, these techniques may not improve the convergence in some cases. Hence, we propose a cheap procedure to adapt the initial guess that permits to reduce the overall number of iterations in such situations.
Les méthodes de Krylov sont largement utilisées pour résoudre des systèmes linéaires creux de grande taille. Sur une architecture distribuée, leur performance est souvent limitée par les communications requises à chaque itération de l'algorithme. Dans cette thèse, nous commençons par étudier l'utilisation des sous--espaces dits de Krylov élargis pour réduire le nombre d'itérations, et ainsi le nombre de communications, des méthodes de Krylov. Nous nous intéressons à une reformulation de la méthode du Gradient Conjugué (CG) qui utilise ces sous--espaces de Krylov élargis : la méthode du Gradient Conjugué Elargi (ECG). Cette méthode est d'abord étudiée d'un point de vue théorique. En particulier, nous montrons que sa vitesse de convergence est proche de celle de la méthode dite du Gradient Conjugué Déflaté. Afin d'atténuer l'effet des opérations arithmétiques supplémentaires requises par la méthode, nous expliquons comment réduire dynamiquement le nombre de directions de recherche pendant les itérations. Nous présentons ensuite le design parallèle des deux variantes de la méthode ECG ainsi que les versions dynamiques qui correspondent. En utilisant un préconditionneur de type bloc Jacobi, nous montrons que notre implémentation est scalable jusqu'à plusieurs milliers de processeurs, et qu'elle peut être significativement plus rapide que l'implémentation de la méthode CG présente dans la librairie PETSc. Nous nous concentrons ensuite sur l'analyse des observations du fond diffus cosmologique. Nous évaluons l'usage des techniques dites de recyclage dans ce contexte. En raison de la multiplicité de la plus petite valeur propre, ces techniques ne permettent pas d'améliorer la convergence dans certains cas. Par conséquent, nous proposons une procédure peu coûteuse pour adapter la solution initiale qui permet de réduire le nombre total d'itérations dans ces situations.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...