Differentially Private Federated Learning for Bandwidth and Energy Constrained Environments
Apprentissage fédéré avec confidentialité différentielle pour les environnements contraints en bande passante et énergie
Résumé
Machine Learning models are increasingly used in our daily life. For instance, these models can be used for content recommendation during a purchase or to help doctors while making medical decisions,etc. However, to obtain accurate and useful models, we generally need to train the models with large amount of data. Therefore, several entities with limited datasets may want to collaborate in order to improve their local model accuracy. In traditional machine learning, such collaboration requires to first store all entities’ data on a centralized server before training the model on it. Such data centralization might be problematic when the data are sensitive and data privacy is required. Instead of sharing the training data, Federated Learning shares the model parameters between a server, which plays the role of aggregator, and the participating entities. More specifically, the server sends at each round the global model to some participants (downstream). These participants then update the received model with their local data and sends back the updated gradients’ vector to the server (upstream). The server then aggregates all the participants’ updates to obtain the new global model. This operation is repeated until the global model converges. Although Federated Learning improves both the privacy and the accuracy, it is not perfect. In fact, sharing gradients computed by individual parties can leak information about their private training data. Several recent attacks have demonstrated that a sufficiently skilled adversary, who can capture the model updates (gradients) sent by individual parties, can infer whether a specific record or a group property is present in the dataset of a specific party. Moreover, complete training samples can also be reconstructed purely from the captured gradients. Furthermore, Federated Learning is not only vulnerable to privacy attacks, it is also vulnerable to poisoning attacks which can drastically decrease the model accuracy. Finally, Federated Learning incurs large communication costs during upstream/downstream exchanges between the server and the parties. This can be problematic for applications based on bandwidth and energy-constrained devices, as it is the case for mobile systems, for instance. In this thesis, we first propose three bandwidth efficient schemes to reduce the bandwidth costs up to 99.9%. We then propose differentially private extensions of these schemes which are robust against honest-but- curious adversaries (server or participants) and protect the complete dataset of each participant (participant-level privacy). Moreover, our private solutions outperform standard privacy-preserving Federated Learning schemes in terms of accuracy and/or bandwidth efficiency. Finally, we investigate the robustness of our schemes against security attacks performed by malicious participants and discuss a possible privacy-robustness tradeoff which may spur further research.
En apprentissage automatique, plusieurs entités peuvent vouloir collaborer afin d’améliorer la précision de leur modèle local. Dans l’apprentissage automatique traditionnel, une telle collaboration nécessite de stocker d’abord les données de toutes les entités sur un serveur centralisé avant d’entraîner le modèle sur ces données. Cette centralisation des données peut s’avérer problématique lorsque les données sont sensibles et que leur confidentialité est requise. Au lieu de partager les données d’entraînement, l’apprentissage fédéré partage les paramètres du modèle entre un serveur, qui joue le rôle d’agrégateur, et les entités participantes. Plus précisément, le serveur envoie à chaque tour le modèle global à certains participants (en aval). Ces participants mettent ensuite à jour le modèle reçu avec leurs données locales et renvoient le vecteur des gradients mis à jour au serveur (en amont). Le serveur agrège alors toutes les mises à jour des participants pour obtenir le nouveau modèle global. Cette opération est répétée jusqu’à ce que le modèle global converge. Bien que l’apprentissage fédéré améliore la confidentialité, il n’est pas parfait. En effet, le partage des gradients calculés par les parties individuelles peut entraîner une fuite d’informations sur leurs données d’entraînement privées. Plusieurs attaques récentes ont démontré qu’un adversaire suffisamment habile, qui peut capturer les mises à jour du modèle (gradients) envoyées par les parties individuelles, peut déduire si une donnée spécifique ou une propriété de groupe est présent dans l’ensemble de données d’un participant. De plus, des échantillons d’entraînement complets peuvent également être reconstruits uniquement à partir des gradients capturés. En outre, l’apprentissage fédéré n’est pas seulement vulnérable aux attaques contre la vie privée, il est également vulnérable aux attaques par empoisonnement qui peuvent réduire considérablement la précision du modèle. Enfin, l’apprentissage fédéré entraîne des coûts de communication importants lors des échanges amont/aval entre le serveur et les parties. Cela peut être problématique pour les applications basées sur des dispositifs à bande passante et à énergie limitée comme c’est le cas pour les systèmes mobiles, par exemple. Dans cette thèse, nous proposons d’abord trois schémas efficaces en termes d’optimisation de la bande passante pour réduire les coûts jusqu’à 99,9 %. Ensuite, nous proposons une extension basée sur la confidentialité différentielle de nos schémas optimisés avec des garanties théoriques et qui surpassent en termes de précision le schéma standard d’apprentissage fédéré protégé avec la confidentialité différentielle. Enfin, nous étudions la robustesse de nos schémas contre les attaques de sécurité et nous discutons d’un compromis possible entre la confidentialité et la robustesse, ce qui pourrait ouvrir de nouvelles perspectives de recherches futures.
Domaines
Web
Origine : Fichiers produits par l'(les) auteur(s)