Un cadre sémiotique pour la fusion multimodale : intégration pragmatique-sémantique-syntaxique dans le pronostic des accidents vasculaires cérébraux // A Semiotic Framework for Multimodal Fusion: Pragmatic-Semantic-Syntactic Integration in Stroke Prognosi

La fusion de données multimodales est un domaine de recherche essentiel dans des domaines tels que l'apprentissage automatique, les neurosciences et l'imagerie médicale. Traditionnellement, les stratégies de fusion ont été explorées principalement sous l'angle syntaxique (structural) et sémantique (basé sur le sens). Cependant, la dimension pragmatique, qui saisit l'impact contextuel de l'information, reste largement sous-explorée. Ce projet de doctorat propose un nouveau cadre pour la fusion de données multimodales, fondé sur la théorie sémiotique, classant systématiquement les stratégies de fusion selon les niveaux syntaxique, sémantique et pragmatique. La fusion syntaxique consiste à intégrer des caractéristiques brutes ou de bas niveau, généralement par des méthodes de fusion précoces. La fusion sémantique implique l'alignement de représentations partagées, telles que les espaces d'inclusion ou les mécanismes de co-attention, où le sens devient le fondement de la fusion. La contribution novatrice de cette recherche réside dans la formalisation de la fusion pragmatique, qui saisit la manière dont l'information est transférée et interprétée différemment selon le système ou le contexte récepteur – un principe fondamental de l'adaptation de domaine et de l'apprentissage par transfert.

Le projet introduit un cadre de décomposition partielle de l'information (DPI) pour opérationnaliser ce modèle théorique. Cette approche classe les stratégies de fusion en fonction de leurs objectifs informationnels: robustesse par redondance, optimisation des performances par complémentarité et enrichissement des inférences par synergie.

Cela concorde avec les nouvelles avancées en neurosciences, où l'intégration multimodale dans le cerveau implique des régions distinctes traitant des signaux redondants et synergiques. Cet alignement avec les modèles biologiques offre une base d'inspiration biologique au cadre proposé.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Multimodal data fusion is a critical area of research across fields such as machine learning, neuroscience, and medical imaging. Traditionally, fusion strategies have been explored primarily through syntactic (structural) and semantic (meaning-based) lenses. However, the pragmatic dimension—which captures the context-dependent impact of information—remains significantly underexplored. This PhD project proposes a novel framework for multimodal data fusion grounded in semiotic theory, systematically classifying fusion strategies into syntactic, semantic, and pragmatic levels. Syntactic fusion deals with integrating raw or low-level features, typically through early fusion methods. Semantic fusion involves the alignment of shared representations, such as embedding spaces or co-attention mechanisms, where meaning becomes the basis of fusion. The novel contribution of this research lies in formalizing pragmatic fusion, which captures how information is transferred and interpreted differently depending on the receiving system or context—a core principle in domain adaptation and transfer learning.

The project introduces a Partial Information Decomposition (PID) framework to operationalize this theoretical model. This approach classifies fusion strategies based on their informational objectives: robustness through redundancy, performance optimization via complementarity, and synergy-based inference enrichment.

This aligns with emerging insights in neuroscience, where multimodal integration in the brain involves distinct regions processing redundant versus synergistic signals. Such alignment with biological models offers a biologically inspired foundation for the proposed framework.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/2025
WEB : https://satt-paris-saclay.fr/vitrine-technologique/faust/

Contrats ED : Programme blanc GS-ISN

Université Paris-Saclay GS Informatique et sciences du numérique

580 Sciences et Technologies de l'Information et de la Communication

Capacité à comprendre et à développer des algorithmes d'apprentissage adaptatif, à traiter des données médicales, à les indexer et à les utiliser dans un système opérationnel afin d'atteindre les objectifs décrits ci-dessus. Compétences en programmation : Python. Une expérience avec TensorFlow et PyTorch serait un atout. La maîtrise du français n'est pas obligatoire, mais l'anglais du candidat doit être courant. Le travail sera mené au laboratoire IBISC sur le campus d'Évry de l'Université Paris-Saclay. L'IBISC mène des recherches théoriques et appliquées multidisciplinaires en sciences de l'information et en ingénierie, avec une forte orientation vers les applications en santé. Le candidat sélectionné aura l'opportunité de travailler au sein d'une équipe interdisciplinaire et en collaboration avec un consortium de scientifiques des données et de cliniciens issus du CHSF (Centre Hospitalier Sud Francilien), de l'hôpital de la Timone et du CHRU de Tours. Ce projet multidisciplinaire se situe à l'interface de l'apprentissage automatique, de l'informatique et de la médecine.
The ideal candidate should demonstrate the ability to understand and design adaptive learning algorithms, particularly in processing complex medical data. This includes the capacity to index, manage, and integrate such data into operational systems in alignment with the objectives outlined in the proposed research project. Proficiency in programming languages such as Python is essential. Familiarity or hands-on experience with deep learning frameworks like TensorFlow or PyTorch would be a significant asset. While fluency in French is not mandatory, the candidate must possess a strong command of English, both written and spoken, to engage in an international and interdisciplinary research environment effectively. The research will be conducted at the IBISC Laboratory (Informatics, Bioinformatics, and Complex Systems) on the Évry campus of Université Paris-Saclay campus. IBISC is recognized for its multidisciplinary research in computer science and engineering, with a dedicated focus on applications in healthcare and biomedical technologies.