CNN léger et GNN causal pour la compréhension des scènes // Lightweight CNN and Causal GNN for scene understanding

La compréhension des scènes est un défi majeur dans le domaine de la vision par ordinateur. Les approches récentes sont dominées par les transformers (ViT, LLM, MLLM), qui offrent des performances élevées mais à un coût computationnel important. Cette thèse propose une alternative innovante combinant des réseaux neuronaux convolutifs légers (Lightweight CNN) et des réseaux neuronaux graph causaux (Causal GNN) pour une analyse spatio-temporelle efficace tout en optimisant les ressources computationnelles. Les Lightweight CNN permettent une extraction haute performance des caractéristiques visuelles, tandis que les Causal GNN modélisent les relations dynamiques entre les objets dans un graphe de scène, répondant ainsi aux défis de la détection d'objets et de la prédiction des relations dans des environnements complexes. Contrairement aux modèles actuels basés sur les transformers, cette approche vise à réduire la complexité de calcul tout en conservant une précision compétitive, avec des applications potentielles dans la vision embarquée et les systèmes en temps réel.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Scene understanding is a major challenge in computer vision, with recent approaches dominated by transformers (ViT, LLM, MLLM), which offer high performance but at a significant computational cost. This thesis proposes an innovative alternative combining lightweight convolutional neural networks (Lightweight CNN) and causal graph neural networks (Causal GNN) for efficient spatio-temporal analysis while optimizing computational resources. Lightweight CNNs enable high-performance extraction of visual features, while causal GNNs model dynamic relationships between objects in a scene graph, addressing challenges in object detection and relationship prediction in complex environments. Unlike current transformer-based models, this approach aims to reduce computational complexity while maintaining competitive accuracy, with potential applications in embedded vision and real-time systems.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Systèmes et Circuits Intégrés Numériques (LIST)
Service : DSCIN
Laboratoire : Laboratoire Systèmes-sur-puce et Technologies Avancées
Date de début souhaitée : 01-09-2026
Ecole doctorale : Sciences et Technologies de l’Information et de la Communication (STIC)
Directeur de thèse : MARTINET Jean
Organisme : Université Côte d'Azur
Laboratoire : I3S (Laboratoire d'Informatique, Signaux et Systèmes de Sophia Antipolis (UMR CNRS 7271)

Public/private mixed funding

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Systèmes et Circuits Intégrés Numériques (LIST)
Service : DSCIN

Master's degree in Computer Science. Strong knowledge in neural networks and algorithms. Optional knowledge in embedded programming.