Apprentissage fédéré dans des topologies dynamiques sur application médicale et environnementale

Le Laboratoire d’Informatique, Systèmes, Traitement de l’Information et de la Connaissance (LISTIC) est une Unité de Recherche (UR) de l’Université Savoie Mont Blanc (USMB), reconnue depuis 2003 par le Ministère en tant qu’équipe d’accueil (EA3703). Son projet scientifique se concentre sur l’apprentissage automatique et la fusion d’information ainsi que sur les réseaux et les systèmes. Ses travaux portent sur la modélisation, la spécification et le développement de théories, d’algorithmes et de systèmes pour extraire et gérer les connaissances, notamment dans les domaines de l’observation de la Terre et du comportement humain.

L’apprentissage fédéré (Google, 2016) est une approche d’apprentissage distribué permettant d’entraîner un modèle global à partir de données réparties chez plusieurs clients, sans centraliser ces données. Cette méthode est particulièrement utilisée dans les domaines sensibles (santé, embarqué, IoT) pour des raisons de confidentialité. Chaque client du système possède un jeu de données local qui lui permet de s’entraîner et partager ensuite sa connaissance. Ce partage permet l’agrégation des modèles, une étape critique qui consiste en la fusion des paramètres obtenus par chaque client pour créer un modèle global plus général et redistribué à tous les participants. Néanmoins, les méthodes d’agrégation issues de l’état de l’art prennent peu en compte le changement de topologie des clients. En effet, dans un système distribué, ceux-ci peuvent rejoindre ou quitter le système à tout moment. Cela se produit par exemple en cas de déconnexion d’une machine au système à cause d’une panne du réseau. Une fois la panne surmontée, la machine pourra se reconnecter au système pour continuer son apprentissage. Ces aléas illustrent des cas d’utilisation réels et augmentent le risque de pénaliser les performances du modèle général. 

Nous nous concentrerons notamment sur deux aspects : (1) comprendre les effets de la déconnexion ou reconnexion d’un client au système sur l'optimisation des modèles locaux et du modèle global, (2) la recherche et l'évaluation d’une technique capable de réduire les effets négatifs de ces évènements sur l’apprentissage du système. 

Le travail sera réalisé à l’aide d’un framework développé au laboratoire. Les tâches seront les suivantes : 

• Prise en main et enrichissement du framework et des jeux de données. 
• Etat de l’art sur l’apprentissage fédéré, les fonctions d’agrégation, l’apprentissage fédéré décentralisé et l’apprentissage continuel. 
• Proposition d’une solution pour améliorer l’apprentissage des modèles locaux et globaux dans l’apprentissage fédéré dans le cas de connexion et déconnexion de clients au système. 
• Rédaction d’un article de recherche 

Ce stage vous permettra d’apprendre à : 

• Maîtriser les principes et défis du deep learning et de l’apprentissage fédéré. 
• Développer des compétences de méthodologie scientifique (lecture critique, évaluation, comparaison). 
• Rédiger une publication scientifique (en tant que co-auteur). 
• Préparer une éventuelle poursuite en doctorat ou en R&D dans l’industrie. 

Nous recherchons un stagiaire de niveau bac+5, en master ou en école d'ingénieur.

Pour candidater, il est nécessaire d'avoir suivi une formation en informatique. Les connaissances attendues du candidats portent sur le deep learning, Tensorflow et Python.