FUSION MULTIMODALE SÉMIOTIQUE : QUANTIFICATION DE LA REDONDANCE, DE LA COMPLÉMENTARITÉ ET DE LA SYNERGIE PAR LA DÉCOMPOSITION DE L'INFORMATION // SEMIOTIC MULTIMODAL FUSION: QUANTIFYING REDUNDANCY, COMPLEMENTARITY, AND SYNERGY THROUGH INFORMATION DECOMPOS

Ce projet de thèse vise à développer un cadre innovant pour la fusion de données multimodales, fondé sur une approche sémiotique intégrant trois niveaux d'information : syntaxique, sémantique et pragmatique. Alors que les méthodes actuelles se concentrent principalement sur la combinaison des données ou l'alignement des représentations, elles négligent souvent la dimension contextuelle, ce qui limite leur robustesse et leur capacité de généralisation en conditions réelles.

La méthodologie proposée s'appuie sur les réseaux de neurones graphiques (GraphNets) pour modéliser les interactions entre modalités hétérogènes, ainsi que sur la décomposition de l'information partielle (PID) afin de quantifier explicitement la redondance, la complémentarité et la synergie entre les sources de données. Cette approche permet de concevoir des stratégies de fusion adaptées à différents objectifs : robustesse, performance prédictive ou enrichissement de l'inférence.

Le cadre sera validé sur des applications cliniques exigeantes, notamment en imagerie médicale (pronostic de l'AVC), où l'intégration multimodale est essentielle et la variabilité inter-domaines constitue un enjeu majeur.

Les contributions attendues sont :
un cadre théorique unifié pour la fusion multimodale,
de nouvelles métriques et méthodes basées sur la théorie de l'information,
des modèles robustes, interprétables et transférables en pratique.

Ce travail se situe à l'interface entre intelligence artificielle, théorie de l'information et médecine, avec un fort potentiel d'impact scientifique et clinique.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

This PhD project aims to develop a novel framework for multimodal data fusion based on a semiotic perspective, integrating syntactic, semantic, and pragmatic levels of information. While most existing approaches focus on combining raw data or aligning representations, they often neglect the contextual dimension of information, which limits their robustness and transferability in real-world applications.

The proposed methodology relies on Graph Neural Networks (GraphNets) to model heterogeneous modalities and their interactions, combined with Partial Information Decomposition (PID) to explicitly quantify redundancy, complementarity, and synergy between data sources. This allows the design of fusion strategies tailored to specific objectives such as robustness, predictive performance, or enriched inference.

The framework will be validated on clinically relevant tasks, particularly in medical imaging (e.g., stroke outcome prediction), where multimodal data integration is critical and domain variability remains a major challenge.

The expected contributions include:
a unified theoretical framework for multimodal fusion,
novel information-theoretic metrics and learning strategies,
and robust, interpretable models suitable for real-world deployment.

This work lies at the intersection of machine learning, information theory, and medical AI, with strong potential for both scientific and clinical impact.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/09/2026

Contrats ED : Programme blanc GS-ISN

Université Paris-Saclay GS Informatique et sciences du numérique

580 Sciences et Technologies de l'Information et de la Communication

Le candidat idéal doit posséder de solides compétences en apprentissage automatique, traitement du signal et des images, ainsi qu'en analyse de données multimodales. Une maîtrise de Python, notamment avec des frameworks de deep learning tels que PyTorch, est requise. Il devra être capable de manipuler des données hétérogènes issues du monde réel, incluant bruit et données manquantes, et de les intégrer dans des pipelines opérationnels. Au-delà des compétences techniques, ce poste requiert une ouverture transdisciplinaire, à l'interface entre intelligence artificielle, théorie de l'information, neurosciences et applications cliniques. Une excellente maîtrise de l'anglais est indispensable dans ce contexte international.
The ideal candidate should have strong foundations in machine learning, signal/image processing, and multimodal data analysis. Proficiency in Python programming, particularly with deep learning frameworks such as PyTorch, is required. The candidate should be able to handle heterogeneous and real-world data, including noisy and incomplete datasets, and integrate them into operational pipelines. Beyond technical skills, the position requires a transdisciplinary mindset, with an interest in bridging artificial intelligence, information theory, neuroscience, and clinical applications. Strong communication skills in English are essential in an international research environment.