Super-résolution spatiale des capteurs LWIR non refroidis par fusion RGB / SWIR et reconstruction neuronale multi-image // Spatial super-resolution of uncooled LWIR sensors through RGB/SWIR fusion and multi-image neural reconstruction

Ce sujet de thèse s'inscrit dans le projet OSIRIS (Institut Pascal, équipe DREAM, Université Clermont Auvergne) et porte sur l'augmentation de la résolution spatiale des capteurs infrarouges thermiques LWIR non refroidis, par fusion multimodale et super-résolution assistée par intelligence artificielle.
Les capteurs LWIR non refroidis (bande 8-14 µm) présentent un intérêt stratégique majeur pour les plateformes embarquées contraintes — drones légers, têtes Pan-Tilt-Zoom, systèmes de sécurité civile et de défense — car ils s'affranchissent de tout système cryogénique, réduisant coût, masse et consommation. Cet avantage se paie toutefois par une résolution spatiale intrinsèquement limitée (pas pixel élevé, diffraction accrue, bruit thermique), pénalisant la chaîne de détection, reconnaissance et identification (DRI) à distance.
La thèse vise à repousser cette résolution effective sans recourir à un détecteur refroidi, en exploitant l'information complémentaire des modalités RGB haute définition et SWIR disponibles sur la plateforme OSIRIS, combinée à des techniques de reconstruction par apprentissage profond. Trois axes complémentaires sont proposés : (1) super-résolution guidée par la voie RGB et l'amplification de photons en régime nocturne, avec attention croisée pondérée par une mesure de fiabilité inter-modale pour éviter toute hallucination thermique ; (2) exploitation du recouvrement spectral avec le SWIR lointain (eSWIR), plus cohérent avec le LWIR en conditions dégradées (brume, fumée) ; (3) super-résolution multi-image par micro-balayage contrôlé et reconstruction neuronale, sous contrainte de temps réel embarqué (GPU Jetson Orin, FPGA Agilex).
L'originalité réside dans la combinaison adaptative de ces trois leviers selon les conditions opérationnelles, avec une exigence forte de fidélité radiométrique. Les verrous couvrent le recalage multimodal, la rareté des données appariées, le compromis latence/qualité et la généralisation. Les retombées attendues incluent de nouvelles méthodes de SR guidée, un jeu de données ouvert, des publications de rang A et un brevet, contribuant à la souveraineté technologique européenne et à la montée en TRL d'une brique valorisable par SMA-RTY.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

This PhD topic is part of the OSIRIS project (Institut Pascal, DREAM team, Université Clermont Auvergne) and addresses increasing the spatial resolution of uncooled LWIR thermal infrared sensors through multimodal fusion and AI-assisted super-resolution.
Uncooled LWIR sensors (8-14 µm band) offer a major strategic advantage for constrained embedded platforms — lightweight drones, Pan-Tilt-Zoom heads, civil security and defense systems — since they require no cryogenic system, reducing cost, mass and power consumption. This advantage comes, however, at the cost of intrinsically limited spatial resolution (large pixel pitch, stronger diffraction, thermal noise), penalizing long-range Detection, Recognition and Identification (DRI).
The thesis aims to push this effective resolution beyond physical limits without a cooled detector, by exploiting complementary information from the high-definition RGB and SWIR modalities available on the OSIRIS platform, combined with deep-learning-based reconstruction. Three complementary directions are proposed: (1) RGB-guided super-resolution with photon amplification for night operation, using cross-attention weighted by a cross-modal reliability measure to avoid thermal hallucination; (2) exploitation of spectral overlap with far SWIR (eSWIR), more coherent with LWIR under degraded conditions (haze, smoke); (3) multi-image super-resolution via controlled micro-scanning and neural reconstruction, under embedded real-time constraints (Jetson Orin GPU, Agilex FPGA).
The originality lies in the adaptive combination of these three levers according to operational conditions, with a strong requirement for radiometric fidelity. Challenges include multimodal registration, scarcity of paired data, the latency/quality trade-off, and generalization. Expected outcomes include new guided SR methods, an open dataset, rank-A publications, and a patent, contributing to European technological sovereignty and to raising the TRL of a building block valorizable by SMA-RTY.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/09/2026
WEB : https://www.sma-rty.fr/en/

Financement d'établissement de l'Union Européenne

Université Clermont Auvergne

70 Sciences pour l'Ingénieur

Diplôme d'ingénieur ou master recherche en vision par ordinateur, traitement du signal et de l'image, ou apprentissage automatique. Solides compétences en apprentissage profond (PyTorch), en programmation(Python, C++/CUDA apprécié) et goût pour l'expérimentation matérielle. Une sensibilité à l'imagerie infrarouge, à l'optique ou au calcul embarqué (GPU/FPGA) constitue un atout.
Engineering degree or research master's in computer vision, signal and image processing, or machine learning. Strong skills in deep learning (PyTorch), programming (Python; C++/CUDA a plus), and an interest in hardware experimentation. A background in infrared imaging, optics, or embedded computing (GPU/FPGA) is an asset.