Reconstruction 3D différentiable et segmentation sémantique d'arbres fruitiers pour l'évaluation de leur résilience // Differentiable 3D Reconstruction and Semantic Segmentation of Fruit Trees for Structure-Function Based Resilience Assessment

L'agriculture de précision s'appuie de plus en plus sur l'analyse structurelle détaillée des arbres fruitiers (pommier, abricotier, citronnier, pêcher). L'organisation spatiale des branches, feuilles et fruits influence directement l'interception lumineuse, la photosynthèse, la productivité et les réponses aux stress. Pourtant, les outils existants ne permettent pas de capturer la complexité architecturale 3D nécessaire à une évaluation fiable de la résilience des arbres.

Cette thèse de trois ans, financée par le programme PEPR TreeD-Resist, vise à développer de nouvelles méthodes de reconstruction 3D et de segmentation sémantique d'arbres fruitiers, en combinant plusieurs sources de données — images RGB, LiDAR, multispectral et infrarouge thermique — adaptées à des architectures végétales complexes.

Deux défis majeurs sont abordés. D'une part, sur le plan géométrique, le projet s'appuie sur le Gaussian Splatting — une technique récente permettant des représentations 3D optimisées par descente de gradient en temps réel — afin d'extraire des maillages volumétriques biologiquement cohérents (respect de la ramification hiérarchique, de la continuité des organes et des contraintes morphologiques), allant bien au-delà de la simple fidélité visuelle visée dans les applications jeux vidéo ou XR. D'autre part, sur le plan de la segmentation, le projet répond à la rareté des données 3D annotées en générant des jeux de données synthétiques à grande échelle via des outils de simulation procédurale (notamment le modèle MAppleT), à partir desquels masques et cartes de profondeur sont extraits automatiquement dans des environnements comme OpenAlea ou Blender.

L'ambition finale est d'extraire des traits agronomiques à haute résolution et géoréférencés difficile à mesurer de manière conventionnelles.

Le projet est co-encadré par trois équipes complémentaires : le CIRAD (modélisation végétale, Frédéric Boudon), l'Inria (vision par ordinateur et traitement géométrique, Florent Lafarge) et le De Vinci Research Center (apprentissage automatique et reconstruction 3D, Mathieu Seurin). La thèse sera rattachée à l'école doctorale ED I2S de l'Université de Montpellier, avec des séjours partagés entre Montpellier et Sophia Antipolis.

Le candidat idéal est titulaire d'un Master en informatique, mathématiques appliquées ou intelligence artificielle, avec de solides compétences en apprentissage profond, reconstruction 3D (NeRF/Gaussian Splatting), segmentation sémantique et programmation Python/PyTorch. Un intérêt pour l'agronomie est un atout, sans être obligatoire.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Precision agriculture increasingly relies on detailed structural analysis of fruit trees (apple, apricot, lemon, peach). The spatial organization of branches, leaves, and fruits directly influences light interception, photosynthesis, productivity, and stress responses. Yet existing tools fall short of capturing the fine-grained, 3D architectural complexity needed to assess tree resilience reliably.

This three-year PhD, funded by the PEPR TreeD-Resist programme, aims to develop novel methods for 3D reconstruction and semantic segmentation of fruit trees, combining multiple data sources — RGB images, LiDAR, multispectral, and thermal infrared — tailored to complex plant architectures.

Two main challenges are addressed. First, on the geometry side, the project builds on Gaussian Splatting — a recent technique enabling real-time, gradient-optimized 3D representations — to extract volumetric meshes that are biologically consistent (respecting hierarchical branching, organ continuity, and morphological constraints), going well beyond the visual/perceptual fidelity targeted in video game or XR applications. Second, on the segmentation side, the project tackles the scarcity of annotated 3D plant data by generating large-scale synthetic datasets using procedural plant simulation tools (notably the MAppleT apple tree model), from which masks and depth maps are automatically extracted in environments like OpenAlea or Blender.

The ultimate goal is to extract high-resolution, spatially referenced agronomic traits — such as compensatory growth or early senescence — that are invisible to conventional global measurements.

The project is jointly supervised by three complementary teams: CIRAD (plant modelling expertise, Frédéric Boudon), Inria (computer vision and geometric processing, Florent Lafarge), and the De Vinci Research Center (machine learning and 3D reconstruction, Mathieu Seurin). The PhD will be enrolled at the ED I2S doctoral school of the University of Montpellier, with work split between Montpellier and Sophia Antipolis.

The ideal candidate holds a Master's in computer science, applied mathematics, or AI, with strong skills in deep learning, 3D reconstruction (NeRF/Gaussian Splatting), semantic segmentation, and Python/PyTorch programming. An interest in agronomy is a plus, though not mandatory.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/2026

Autre financement public

ANR Financement d'Agences de financement de la recherche

Université de Montpellier

166 I2S - Information, Structures, Systèmes

Le candidat idéal est titulaire d'un master en informatique, en mathématiques appliquées ou en intelligence artificielle, et possède de solides compétences en apprentissage profond, en reconstruction 3D (NeRF/Gaussian Splatting), en segmentation sémantique et en programmation Python/PyTorch. Un intérêt pour l'agronomie est un atout, mais n'est pas obligatoire.
The ideal candidate holds a Master's in computer science, applied mathematics, or AI, with strong skills in deep learning, 3D reconstruction (NeRF/Gaussian Splatting), semantic segmentation, and Python/PyTorch programming. An interest in agronomy is a plus, though not mandatory.