Multimodal AI algorithm for predicting the locomotor behavior of aquatic animals in turbulent flows

The objective of this thesis is to develop a deep neural network model capable of predicting the behavior of aquatic animals in novel environments. The model will be trained on a hybrid corpus combining video data and fluid flow data derived from numerical simulations and experimental measurements.

Proposed Methodology:

1. Automated Video Analysis: Detection and segmentation of animals to extract their locomotor and physiological characteristics ;
2. Data Fusion: Alignment of biological parameters with the physical characteristics of the flow ;
3. Multimodal Training: Design of an AI model capable of simultaneously interpreting heterogeneous data sources ;
4. Prediction: Generation of trajectories in new habitats or hydrological contexts ;
5. Evaluation: Comparison between predicted trajectories and observed data.

Scientific Challenges:
Collaborative work between XLIM and MIA (Rabu2026) has demonstrated the superiority of Deep Learning approaches in processing complex videos characterized by turbulence and visual artifacts. Two major challenges have been identified:

1. Extraction of physiological characteristics: Small-amplitude movements (gills, fins, antennae) are difficult to capture. This thesis plans to use motion magnification methods combined with Physics-Informed Neural Networks (PINNs). These networks allow for the coupling of visual data with mathematical swimming models to accurately estimate their parameters ;
2. Multimodal AI Architecture: Proposing an architecture capable of effectively merging video, experimental, and simulated data to ensure reliable prediction of aquatic animal behavior across different experimental or simulated configurations.

Full subject :

https://mimme.ed.univ-poitiers.fr/wp-content/uploads/sites/817/2026/01/LP11_BRINGIER-Benjamin_Subject_2027.pdf

https://mimme.ed.univ-poitiers.fr/wp-content/uploads/sites/817/2026/01/LP11_BRINGIER-Benjamin_Sujet_2027.pdf

XLIM UMR CNRS 7252, c’est un savoir-faire centré sur l’électronique et les hyperfréquences, l’optique et la photonique, les mathématiques, l’informatique et l’image, la CAO, dans les domaines spatial, des réseaux télécom, des environnements sécurisés, de la bio-ingénierie, des nouveaux matériaux, de l’énergie et de l’imagerie.

XLIM est un Institut de Recherche pluridisciplinaire, localisé sur plusieurs sites géographiques :

• sur les sites de la Faculté des Sciences et Techniques, de l‘ENSIL-ENSCI et d’Ester-Technopole à Limoges ;
• sur le Campus Universitaire de Brive ;
• sur le site de la Technopole du Futuroscope à Poitiers ;
• et sur le site de l’IUT d’Angoulême.

La thèse se déroulera au sein de l'équipe ICONES de l'axe ASALI :

https://www.xlim.fr/recherche/pole-mathematiques-informatique-image/synthese-analyse-dimages/

https://www.xlim.fr/icones/

• diplômé d'un M2 en Traitement du Signal et des Images ou équivalent ;
• Compétences en traitement du signal et de l'image,  analyse de données, apprentissage profond, et programmation ;
• Rigueur scientifique, méthodologie et autonomie.