Vers un apprentissage auto-supervisé frugal et interprétable par des méthodes tensorielles de rang faible // Efficient and interpretable self-supervised learning using low-rank tensor methods
ABG-133738
ADUM-67765 |
Thesis topic | |
2025-10-09 | Other public funding |
Université de Lorraine
Vandoeuvre-lès-Nancy - Grand Est - France
Vers un apprentissage auto-supervisé frugal et interprétable par des méthodes tensorielles de rang faible // Efficient and interpretable self-supervised learning using low-rank tensor methods
- Computer science
Apprentissage auto-supervisé, Décompositions tensorielles, Représentations démêlées, IA Interpretable, Apprentissage fédéré, Modèles de rang faible
Self-supervised learning, Tensor decompositions, Disentangled representations, Interpretability in AI, Federated learning, Low-rank models
Self-supervised learning, Tensor decompositions, Disentangled representations, Interpretability in AI, Federated learning, Low-rank models
Topic description
L'apprentissage auto-supervisé a joué un rôle central dans les progrès récents en IA et dans ce que l'on appelle les modèles de fondation, permettant d'exploiter de grandes quantités de données non-étiquetées (texte, image, vidéo, etc.) pour apprendre des représentations qui peuvent ensuite être adaptées pour diverses tâches de prédiction ultérieures [1,2]. Cependant, malgré l'importance pratique de ces approches, la compréhension des performances des représentations apprises reste une question ouverte. Cette question est intimement liée à la capacité d'apprentissage des représentations démêlées [3], y compris l'influence des choix d'architecture sur leur stabilité. En particulier, la réponse aux questions suivantes a un impact direct sur des applications critiques de l'IA :
• dans quelles conditions les représentations apprises sont-elles interprétables, et quelle est l'influence de l'architecture et de la méthode d'apprentissage sur leur stabilité et sur la performance des tâches en aval, en particulier si l'on considère la spécialisation sur des ensembles de données petits ?
• comment se comportent-elles face à des données hétérogènes (par exemple, personnalisées ou dont les distributions statistiques ne sont pas identiques dans tous les ensembles de données), ce qui est fréquent dans les applications médicales, en particulier dans le cadre de l'apprentissage fédéré ?
• Dans quelles conditions des modèles plus petits (avec un impact carbone plus faible) peuvent-ils obtenir de bonnes performances pour des tâches spécialisées ?
Objectifs : Pour relever ces défis, ce projet vise à : 1) étudier les aspects théoriques des représentations construites par des approches d'apprentissage auto-supervisé (et faiblement supervisé), qui se rapportent à leurs propriétés d'unicité, et, sur la base de ces résultats théoriques, 2) développer de nouvelles approches d'apprentissage auto-supervisé et non-supervisé assurant leur stabilité et interprétabilité même dans des conditions difficiles et sur des données hétérogènes. Un intérêt particulier sera porté au développement de petits modèles à faible consommation énergétique et impact environnemental réduit pour effectuer des tâches spécialisées, y compris, par exemple, l'adaptation efficace de grands modèles pré-entraînés (comme dans les travaux de LoRA [4]), et la compréhension de leur interaction avec les grands modèles généralistes.
Ces objectifs seront atteints en exploitant les connexions entre les modèles d'IA (par exemple, les réseaux neuronaux) et les décompositions tensorielles (multicouches) de rang faible [5,6,7], qui fournissent un cadre mathématique rigoureux pour développer des nouveaux algorithmes et architectures et pour comprendre leur comportement. Ces techniques seront validées sur des applications d'IA difficiles, telles que la séparation de différents processus cérébraux dans des données de résonance magnétique fonctionnelle dans un cadre d'apprentissage fédéré [8], ou l'analyse d'images hyperspectrales/de télédétection provenant de plusieurs scènes [9].
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Self-supervised learning has been one of the main pillars of recent progress in AI and in the so-called foundation models, allowing algorithms to leverage large amounts of unlabeled data (text, image, video, etc.) to learn representations that can later be adapted to different predictive (downstream) tasks [1,2]. However, despite the practical importance of such approaches, understanding the performance of learned representations is still an open question. This is intimately linked to the learnability of disentangled representations [3], including the influence of architecture choices on their stability. In particular, answering the following key questions has direct impact on critical AI applications:
• when can learned representations be interpreted, and what is the influence of architecture and learning method on both their stability and on the performance of downstream tasks, especially on considering specialization over small or heterogeneous datasets?
• how do they perform on heterogeneous (e.g., personalized, or whose statistical distributions is not identical across all datasets) data, which is common in medical applications, in particular, in the framework of federated learning?
• under which conditions can smaller models (with lower carbon impact) perform well on specialized tasks?
Goals: To tackle these challenges, in this project we aim to: 1) study the theoretical aspects of representations constructed by self-supervised (and weakly supervised) learning approaches, which relates to their disentanglement properties, and, based on these theoretical findings, 2) develop new approaches to self-supervised and unsupervised learning guaranteeing stability and interpretability of latent representations under challenging conditions and heterogeneous datasets. Particular interest will be given on developing small models (with low energy and environmental/carbon footprint) to perform in specialized tasks, including, for example, the efficient adaptation of large pretrained models (as in LoRA works [4]), and understanding their interplay and links with large generalist (foundation) models.
These objectives will be achieved by leveraging connections between AI models (e.g., neural networks) and (multilayer) low-rank tensor decompositions [5,6,7], which supply a rigorous mathematical framework to develop new algorithms and model architectures and to understand their behavior. These techniques will be validated on challenging AI applications, such as the separation of different brain processes in functional magnetic resonance data in a federated learning setting [8], or cross-scene hyperspectral/remote sensing image analysis [9].
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Début de la thèse : 01/02/2026
• dans quelles conditions les représentations apprises sont-elles interprétables, et quelle est l'influence de l'architecture et de la méthode d'apprentissage sur leur stabilité et sur la performance des tâches en aval, en particulier si l'on considère la spécialisation sur des ensembles de données petits ?
• comment se comportent-elles face à des données hétérogènes (par exemple, personnalisées ou dont les distributions statistiques ne sont pas identiques dans tous les ensembles de données), ce qui est fréquent dans les applications médicales, en particulier dans le cadre de l'apprentissage fédéré ?
• Dans quelles conditions des modèles plus petits (avec un impact carbone plus faible) peuvent-ils obtenir de bonnes performances pour des tâches spécialisées ?
Objectifs : Pour relever ces défis, ce projet vise à : 1) étudier les aspects théoriques des représentations construites par des approches d'apprentissage auto-supervisé (et faiblement supervisé), qui se rapportent à leurs propriétés d'unicité, et, sur la base de ces résultats théoriques, 2) développer de nouvelles approches d'apprentissage auto-supervisé et non-supervisé assurant leur stabilité et interprétabilité même dans des conditions difficiles et sur des données hétérogènes. Un intérêt particulier sera porté au développement de petits modèles à faible consommation énergétique et impact environnemental réduit pour effectuer des tâches spécialisées, y compris, par exemple, l'adaptation efficace de grands modèles pré-entraînés (comme dans les travaux de LoRA [4]), et la compréhension de leur interaction avec les grands modèles généralistes.
Ces objectifs seront atteints en exploitant les connexions entre les modèles d'IA (par exemple, les réseaux neuronaux) et les décompositions tensorielles (multicouches) de rang faible [5,6,7], qui fournissent un cadre mathématique rigoureux pour développer des nouveaux algorithmes et architectures et pour comprendre leur comportement. Ces techniques seront validées sur des applications d'IA difficiles, telles que la séparation de différents processus cérébraux dans des données de résonance magnétique fonctionnelle dans un cadre d'apprentissage fédéré [8], ou l'analyse d'images hyperspectrales/de télédétection provenant de plusieurs scènes [9].
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Self-supervised learning has been one of the main pillars of recent progress in AI and in the so-called foundation models, allowing algorithms to leverage large amounts of unlabeled data (text, image, video, etc.) to learn representations that can later be adapted to different predictive (downstream) tasks [1,2]. However, despite the practical importance of such approaches, understanding the performance of learned representations is still an open question. This is intimately linked to the learnability of disentangled representations [3], including the influence of architecture choices on their stability. In particular, answering the following key questions has direct impact on critical AI applications:
• when can learned representations be interpreted, and what is the influence of architecture and learning method on both their stability and on the performance of downstream tasks, especially on considering specialization over small or heterogeneous datasets?
• how do they perform on heterogeneous (e.g., personalized, or whose statistical distributions is not identical across all datasets) data, which is common in medical applications, in particular, in the framework of federated learning?
• under which conditions can smaller models (with lower carbon impact) perform well on specialized tasks?
Goals: To tackle these challenges, in this project we aim to: 1) study the theoretical aspects of representations constructed by self-supervised (and weakly supervised) learning approaches, which relates to their disentanglement properties, and, based on these theoretical findings, 2) develop new approaches to self-supervised and unsupervised learning guaranteeing stability and interpretability of latent representations under challenging conditions and heterogeneous datasets. Particular interest will be given on developing small models (with low energy and environmental/carbon footprint) to perform in specialized tasks, including, for example, the efficient adaptation of large pretrained models (as in LoRA works [4]), and understanding their interplay and links with large generalist (foundation) models.
These objectives will be achieved by leveraging connections between AI models (e.g., neural networks) and (multilayer) low-rank tensor decompositions [5,6,7], which supply a rigorous mathematical framework to develop new algorithms and model architectures and to understand their behavior. These techniques will be validated on challenging AI applications, such as the separation of different brain processes in functional magnetic resonance data in a federated learning setting [8], or cross-scene hyperspectral/remote sensing image analysis [9].
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Début de la thèse : 01/02/2026
Funding category
Other public funding
Funding further details
ANR Financement d'Agences de financement de la recherche
Presentation of host institution and host laboratory
Université de Lorraine
Institution awarding doctoral degree
Université de Lorraine
Graduate school
77 IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES
Candidate's profile
Étudiant.e en MASTER (niveau bac + 5), compétences dans le traitement du signal, IA, et/ou mathématiques appliquées. Une solide formation en mathématiques est requise. Bonne capacité de communication en anglais.
Master degree or equivalent, with experience in one or more of the following fields: signal processing, machine learning, applied mathematics. A strong mathematical background and good communication skills in English are required.
Master degree or equivalent, with experience in one or more of the following fields: signal processing, machine learning, applied mathematics. A strong mathematical background and good communication skills in English are required.
2025-11-20
Apply
Close
Vous avez déjà un compte ?
Nouvel utilisateur ?
More information about ABG?
Get ABG’s monthly newsletters including news, job offers, grants & fellowships and a selection of relevant events…
Discover our members
SUEZ
ANRT
Groupe AFNOR - Association française de normalisation
Nokia Bell Labs France
Généthon
ONERA - The French Aerospace Lab
Tecknowmetrix
CASDEN
ADEME
MabDesign
PhDOOC
Laboratoire National de Métrologie et d'Essais - LNE
CESI
TotalEnergies
ASNR - Autorité de sûreté nucléaire et de radioprotection - Siège
Aérocentre, Pôle d'excellence régional
Institut Sup'biotech de Paris
Ifremer
MabDesign
-
JobRef. 133127Tokyo, JaponFellowship of the JSPS (Japan Society for the Promotion of Science) at LIMMS/CNRS-IIS (IRL 2820), Tokyo
PD fellowship of the JSPS on the project : Development of Novel Light–Matter Coupled Systems in the Ultrastrong Coupling Regime Using Semiconductor Nanostructures
Scientific expertises :Physics - Electronics
Experience level :Junior
-
JobRef. 133531Paris , Ile-de-France , FranceUniversité Paris Cité
Postdoctoral position: DNA Origami Molecular Tools to Investigate and Interact with Biological Systems
Scientific expertises :Biotechnology - Biochemistry - Biology
Experience level :Junior