Conception d'un système robuste pour la prédiction de mouvements à partir de caméras Fisheye // Design of a robust system for motion prediction from Fisheye cameras

La compréhension de la dynamique des mouvements de foule est devenue cruciale pour la surveillance, la gestion du trafic et la santé. La modélisation des foules joue un rôle clé, car le manque de connaissance sur leur dynamique et leur psychologie est considéré comme l'un des principaux facteurs contribuant aux catastrophes liées aux foules [1]. Dans le domaine de la conduite autonome, des prévisions précises de mouvements futurs des personnes pourraient aider à éviter un grand nombre d'accidents de la circulation. C'est pourquoi la mise en place de systèmes de reconnaissance et de prédiction des mouvements des humains est devenue cruciale.
L'objectif est alors de proposer une approche innovante pour la collecte et la prédiction de mouvements via des caméras Fisheye. Nous nous intéressons, par exemple, à la reconnaissance et à la prédiction des mouvements des patients au sein des hôpitaux, afin de permettre une intervention rapide en cas d'alerte. Ces mouvements peuvent être localisés, impliquant un membre spécifique du corps, ou globaux, englobant le déplacement et la trajectoire de la personne.
Plutôt que d'installer plusieurs caméras dans les différentes zones de déplacement des patients, nous proposons d'exploiter les caméras fisheye, qui offrent un large champ de vision. Cette approche présente plusieurs avantages : elle réduit le nombre de caméras nécessaires, diminue le temps de réponse en évitant la fusion de données issues de multiples capteurs et optimise les coûts financiers.
Les caméras fisheye offrent un champ de vision à 360 degrés, mais leur distorsion d'image soulève d'importants défis. Les méthodes conventionnelles de prédiction des mouvements ne sont pas encore adaptées pour gérer ces distorsions, ce qui nécessite le développement de nouvelles approches pour surmonter ces obstacles [3-5]. Des techniques de calibration ont été proposées pour corriger ces distorsions, transformant les images fisheye en images planes [6,7]. Cependant, ces méthodes entraînent une perte d'information pouvant atteindre 30 % du champ de vision de l'image [8]. Dans ce contexte, Dans ce contexte, l'UR Euromov DHM a proposé un modèle adapté aux caméras fisheye [9], mais limité au suivi des objets mobiles sans aborder la prédiction de leurs trajectoires. De son côté, l'équipe de recherche de Caplogy a développé un modèle de prédiction de trajectoires adapté aux caméras fisheye[10], mais dans des conditions très contrôlées, et se concentrant sur le mouvement d'une seule personne. Une généralisation de ce modèle à des contextes plus réalistes, nécessite de mettre en place de nouveaux modèles plus performants et plus robustes. En effet, un grand défaut des réseaux de neurones profonds est de fournir, parfois, des prédictions erronées avec un très grand niveau de certitude [17] ce qui peut être un obstacle pour leur utilisation à grande échelle. Il est donc crucial de concevoir et d'implémenter des systèmes d'IA robustes (par exemple, des architectures robustes, des couches adaptatives, etc.) [11-15], tout en garantissant des résultats statistiques fiables pour assurer la conformité des prédictions [16]. La quantification de l'incertitude aléatoire due aux données d'apprentissage et la quantification de l'incertitude épistémique due à l'inférence, permettent aux systèmes d'IA de produire une information sur la confiance qu'ils ont dans la prédiction fournie [18]. Ainsi, en étant conscient de son incertitude, le système d'IA prédira un intervalle pour le suivi du mouvement à un instant donné, en cas d'incertitude sévère [16].
Le modèle de prédiction de mouvement ainsi conçu vise à être générique et applicable dans divers domaines. Il pourrait notamment servir dans la surveillance et la sécurité pour détecter et suivre des individus suspects au sein d'une foule, ainsi que dans le secteur des véhicules autonomes afin de réduire les risques d'accidents.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Understanding crowd movement dynamics has become essential in various application domains such as surveillance, traffic management, and healthcare. Crowd modeling plays a crucial role, as the lack of knowledge about their dynamics and psychology is considered one of the main factors contributing to crowd-related disasters [1]. For instance, one of the deadliest tragedies in recent years occurred during the Hajj pilgrimage in Saudi Arabia [2], where a stampede near Mecca led to the death of at least 717 people and injured hundreds more.
Similarly, in the field of autonomous driving, accurate predictions of future human movements could help prevent a significant number of traffic accidents. According to the World Health Organization (WHO), approximately 270,000 pedestrians die each year on the roads worldwide, accounting for about 22% of all road accident fatalities . This highlights the urgent need for advanced human motion recognition and prediction systems.
The objective of this PhD research is to propose an innovative approach for motion data collection and prediction using fisheye cameras. Our focus is on recognizing and predicting patient movements within hospitals using fisheye cameras to enable rapid intervention in case of an emergency. These movements may be localized (involving a specific body part) or global (encompassing a person's displacement and trajectory).
Rather than installing multiple cameras in different areas where patients move, we propose leveraging fisheye cameras, which offer a wide field of view. This approach provides several advantages
• Reduces the number of cameras needed
• Minimizes response time by avoiding the fusion of data from multiple sensors
• Optimizes financial costs
Fisheye cameras provide a 360-degree field of view, but their image distortion presents significant challenges. Traditional motion prediction methods are not yet well-suited to handle such distortions, requiring the development of new approaches to overcome these obstacles [3-5]. Calibration techniques have been proposed to correct these distortions, transforming fisheye images into rectilinear images [6,7]. However, these methods result in a loss of up to 30% of the image's field of view [8].
In this context, the EuroMov DHM research unit (University of Montpellier & IMT Mines Alès) has proposed a model specifically designed for fisheye cameras [9]. However, this model is limited to tracking moving objects without addressing trajectory prediction. Meanwhile, Caplogy's research team has developed a trajectory prediction model for fisheye cameras [10], but under very controlled conditions, focusing on a single individual's movement. Generalizing this model to more realistic scenarios require the development of more efficient and robust models. Indeed, a major drawback of deep neural networks is that they sometimes provide high-confidence incorrect predictions [17], which limits their scalability. It is therefore crucial to design and implement robust AI systems (e.g., robust architectures, adaptive layers, etc.) [11-15] while ensuring statistically reliable results to guarantee the conformity of predictions [16].
Quantifying the random uncertainty due to the training data and quantifying the epistemic uncertainty due to the inference (the data used for the prediction does not follow the same law as the training data), enables AI systems to produce information about the confidence they have in the prediction provided [18]. Thus, by being aware of its uncertainty, the AI system will predict an interval for tracking the movement at a given moment, in the context of severe uncertainty [16].
The motion prediction model developed in this research aims to be generic and applicable in various fields. Possible applications include surveillance & security e.g. etecting and tracking suspicious individuals in crowds), autonomous vehicles (e.g reducing accident risks by predicting pedestrian movements).
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/2025

https://www.imt-mines-ales.fr/

M2 ou école d'ingénieurs en informatique ou mathématiques appliquées (probabilités et statistiques (Bayésiennes)) avec connaissances dans le domaine de l'apprentissage automatique en particulier dans le deep learning. Forte connaissance en traitement des images et vision par ordinateur. Forte autonomie dans la mise en oeuvre pratique des concepts et modèles développés dans les travaux de thèse Utilisation de Python, Pytorch, calculs sur GPU via accès distant à des conteneurs
Master degree or engineering school in computer science or applied mathematics (probability and (Bayesian) statistics) with knowledge in the field of machine learning, in particular in deep learning. Strong knowledge of image processing and computer vision. Strong autonomy in the practical implementation of the concepts and models developed in the thesis work Use of Python, Pytorch, computations on GPU via remote access to containers Knowledge in biomechanics related to human movement would be a plus