Fusion de capteurs par transport optimal pour l'aide à la conduite // Sensor fusion by optimal transport for assisted driving

La multiplication des capteurs et de la puissance de calcul embarqué sur les véhicules automobiles permet de proposer des systèmes d'aide à la conduite de plus en plus perfectionnés.

Ces systèmes nécessitent une connaissance précise de l'état du véhicule et de son environnement. Dans cette thèse, nous développerons des méthodes de fusion de capteurs permettant d'exploiter au mieux l'information disponible.

Un premier problème d'intérêt est la fusion de données caméra-RADAR. Nous ferons l'hypothèse de véhicules équipés
- de caméras, fournissant des images de l'environnement du véhicule
- et de capteurs RADAR, permettant la détection d'objets, et l'estimation de leur distance et vitesse radiale relatives au véhicule. Caméra et RADAR sont complémentaires. En effet, une caméra sera sensible à la couleur, la texture, la forme, permettant d'identifier un objet, tandis qu'un RADAR pourra estimer précisément sa distance et sa vitesse. Ainsi, fusionner les données provenant des caméras et des RADAR permet une caractérisation complète de l'environnement du véhicule.

La fusion de données RADAR et image a fait l'objet de nombreuses publications [1], avec comme applications
- la détection et classification des objets entourant le véhicule (autres véhicules, piétons, mobilier urbain, etc.),
- l'estimation de la trajectoire de ces objets.
Cependant, les méthodes de l'état de l'art ne permettent pas d'estimer l'incertitude des quantités estimées, et sont lourds en temps de calculs.

De plus, les estimations de distances obtenues par RADAR présentent des limitations, notamment par rapport au LIDAR :
- les points RADAR sont peu denses,
- la hauteur des points est le plus souvent inconnue,
- l'angle et la distance des points RADAR présentent des erreurs non négligeables,
- de nombreux points aberrants apparaissent.

L'objectif de la thèse est de contribuer à la robustesse de la fusion de données caméra-RADAR [2]. La méthodologie proposée se place en rupture avec l'état de l'art, d'une part en utilisant une modélisation tridimensionnelle des points d'intérêt, là où la plupart des travaux récents considèrent une vue de face ou de haut de la scène, et d'autre part, en prenant en compte la dynamique des images et points RADAR. Cette méthodologie pourra se baser sur l'interprétation des points RADAR et des images comme des marginales de la configuration tridimensionnelle de l'environnement [3], et sur des algorithmes de tracking de nuages de points [4].

Les résultats attendus sont une amélioration de l'estimation de l'environnement du véhicule, une meilleure robustesse aux points RADAR aberrants, et une demande en puissance de calcul réduite. Cette réduction de puissance de calcul est rendue possible par l'utilisation directe des points RADAR de densité réduite, propriété le plus souvent perçue comme une limite du RADAR.

Dans la suite de la thèse, d'autres problématiques de fusion pourront être abordées, mettant en jeu des capteurs LIDAR, ultrasons, ou des capteurs internes à l'habitacle.

Le développement des méthodes s'appuiera sur des jeux de données publics (ex. nuscenes, radical), et/ou collecté en interne, et l'expertise des équipes du L2S et de Forvia (apprentissage profond, traitement d'image, traitement de signaux RADAR, transport optimal)
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

The increased availability of onboard sensors and computational power in consumer cars allows more and more Advanced Driver-Assistance Systems (ADAS), enhancing driving safety.

ADAS need precise knowledge on the vehicle state and its environment. In this PhD project, we will develop sensors fusion methods aiming at exploiting the available information in an efficient way.

A first topic of interest is Camera-RADAR fusion. We assume that vehicles are equipped with
- cameras, imaging the environment of the vehicle
- RADAR sensors, detecting objects, and estimating their distance and radial velocities relative to the vehicle.

Cameras and RADAR are complementary. Indeed, a camera is sensitive to shape, color, texture, allowing the identification of objects of interest (cars, people, bikes, fixed equipment, etc.), whereas RADAR sensors can estimate their distances and velocities with respect to the vehicle precisely. Fusing this heterogeneous set of information yield an accurate characterization of the environment of the vehicle.

There is a substantial state of the art for this fusion problem [1], with applications such as detection and classification of objects surrounding the vehicle and estimation of their trajectories. However, the methods from the state of the art cannot quantify the uncertainties of the estimated parameters, and are computationally intensive. Based on neural networks, these methods operate on two-dimensional bird's eye views, or front views, while the problem is three-dimensional. Additionally, transforming the RADAR data into an image is necessary to use it as an input of a neural network, losing its particular structure.

The originality of the proposed methodology lies in the three-dimensional representation of the points of interest that will be used, as well as the exploitation of raw RADAR data. In particular, we will consider optimal transport based methods [3], that are able to process data in heterogeneous modalities. A distribution of points of interest will be estimated by balancing
- the optimal transport cost between the estimated distribution and features extracted from the image using computer vision methods (convolutional networks, etc.), and
- the fit between the estimated distribution and the measured RADAR data, evaluated using the physical model of RADAR measurements.
Additionally, the dynamics of the environment will be considered, using optimal transport or point cloud tracking algorithms [4].

The expected outcomes are an improvement of the estimation of the environment of the vehicle, a better robustness with respect to RADAR outliers, and reduced computational efforts, made possible by modeling of the environment as a sparse cloud of points, which is generally understood as a limitation of RADARs.

Several additional fusion problems are also considered, involving LIDAR, ultrasound sensors, and internal sensors.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/09/2024

Cifre

Financement par une entreprise - hors CIFRE

Université Paris-Saclay GS Sciences de l'ingénierie et des systèmes

580 Sciences et Technologies de l'Information et de la Communication

Master 2 ou diplôme d'ingénieur en traitement du signal ou des images, science des données, apprentissage, etc.
The candidate should have an engineering or Master 2 degree in signal or image processing, data science or machine learning.