Exploitation des modèles vision-langage pour l’analyse du comportement utilisateur dans un contexte inclusif

Les modèles vision-langage ont démontré leur capacité de description sémantique des contenus image et vidéo. Les avancées récentes permettent à ces modèles de résoudre des problèmes visuels complexes exigeant un raisonnement spatio-temporel. Elles permettent aussi de traiter une grande variété de tâches non entrainées spécifiquement (Zero-shot Learning). Malgré ces avancées techniques, il existe un écart critique entre le développement de ces modèles et leur application pratique et efficace dans le domaine spécifique de l'accessibilité.

Dans le cadre d’un projet Interreg visant l’amélioration de l’accessibilité par l’usage de l’intelligence artificielle générative, nous proposons un projet de thèse visant à exploiter l’information visuelle spatio-temporelle pour analyser l’état et le comportement d’un utilisateur dans un contexte inclusif.

Par la suite, les informations extraites serviront d’entrée pour l’optimisation de l’interaction des personnes fragilisées avec un système numérique. L’objectif est d’ouvrir un champ d’opportunités et d’applications pour améliorer l’autonomie des personnes handicapées.

Ce projet de thèse sera porté par l’équipe FOX (CRIStAL, Université de Lille) et l’équipe CSM (JUNIA/FUPL). Les précédentes collaborations ont mis en lumière plusieurs nouveaux besoins, en particulier celui de l’optimisation des modèles pour les personnes à besoins spécifiques, ainsi que l’absence de données d’apprentissage et d’évaluation pour les phénomènes rares à forte criticité.

Le travail comprendra :

• Un état de l’art sur les avancées récentes relatives aux modèles génératifs vision-langage, avec un focus sur leur potentiel d’analyse et de compréhension des vidéos présentant des sujets humains.
• Collecte de données d’apprentissage et d’évaluation relatives au contexte inclusif, en collaboration avec les partenaires du projet. A défaut, un nouveau dataset sera créé et partagé.
• Proposition et évaluation d’approches d’analyse et de compréhension de l’état et du comportement des utilisateurs dans un contexte inclusif.

CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) est une unité mixte de recherche (UMR 9189) sous la tutelle du CNRS, de l’Université Lille, de Centrale Lille, en collaboration avec Inria de l’Université de Lille. CRIStAL couvre de nombreuses thématiques des sciences du numérique des plus fondamentales aux plus appliquées.

JUNIA est un établissement d’enseignement supérieur et de recherche présent à Lille, Bordeaux et Châteauroux. Il se distingue par une forte orientation vers l’innovation, la transition durable et les technologies du futur. Son écosystème riche en laboratoires et partenariats industriels en fait un cadre propice à la recherche et au développement doctoral.

Ingénieur ou Master en Informatique / IA / Data Science.