Techniques dépliées de factorisation matricielle non-négative pour la séparation de sources audiophoniques dans les enregistrements de « boîtes noires aéronautiques »

Le Laboratoire LISIC est le laboratoire en sciences du numérique de l'Université du Littoral Côte d'Opale. Le LISIC compte 5 équipes dont l'équipe LoRAL (Low-Rank Approximation and Learning) qui propose ce stage. Cette équipe compte actuellement 8 enseignant-chercheurs, 2 enseignant-chercheurs émérites, 3 chercheurs post-doctorants et 11 doctorants. Une grosse partie de l’équipe travaille sur des problématiques de type SAS et le ou la stagiaire recruté(e) pourra interagir avec l’ensemble du personnel.

Le stage aura lieu dans l’antenne de Longuenesse du LISIC. Le laboratoire est situé en plein cœur du Parc Naturel Régional « Caps et Marais d’Opale », à proximité de Lille, l’Angleterre, la Belgique et l’Europe du Nord. Ses locaux à Longuenesse sont situés à côté de la résidence universitaire du CROUS et proche de toutes les commodités (tout peut être réalisé à pied ou en bus). L’équipe pédagogique peut aussi mettre en contact le ou la stagiaire recruté(e) avec les loueurs privés.

Contexte :

Les avions civils et étatiques sont équipés de deux enregistreurs de vol (aussi connus sous le nom de « boîtes noires »), c.-à-d. le Cockpit Voice Recorder (CVR) et le Flight Data Recorder. En cas d’incident ou d’accident, tous deux doivent être retrouvés et analysés par les autorités compétentes. Le service audio du BEA (Bureau d’Enquêtes et d’Analyses pour la sécurité de l’aviation civile) et RESEDA sont les autorités françaises en charge des analyses des CVR des avions respectivement civils et étatiques. Les CVR sont des équipements renforcés protégeant une information importante pour la détermination des facteurs contributifs à la survenue d’un accident ou d’un incident aérien. Pour cette raison la qualité audio des enregistrements, l’audibilité des alarmes du cockpit et l’intelligibilité des échanges vocaux sont cruciales pour les enquêteurs du BEA et RESEDA. Les contenus des CVR sont alors transcrits par des enquêteurs spécialisés (analystes audio) pour les bénéfices de l’enquête de sécurité.

Les limitations de conception des CVR contraignent les constructeurs d’avion à mélanger les sources sonores audibles dans le cockpit et dans les casques des pilotes (émissions et réceptions radio, échanges sur l’intercom, annonces aux passagers, alarmes sonores, etc) en un nombre réduit de canaux audio envoyés vers le CVR, qui en fait une acquisition numérique et protège cette donnée en cas d’accident. Ainsi l’activation simultanée de plusieurs sources sonores peut conduire à une réduction significative de l’intelligibilité des échanges vocaux, voire un masquage complet d’une ou de plusieurs sources audio.
L’extraction d’informations dans les données CVR s’appuie sur l’expérience des analystes audio du BEA/RESEDA et sur leur capacité à détecter des sources sonores enfouies dans des mélanges audio difficiles. Dans nos récents travaux [1], nous avons proposé un modèle de mélange audio dans les CVR par rétro-ingénierie et nous avons montré que les méthodes de la littérature de séparation de sources (SAS) pouvaient être appliquées. La SAS cherche à estimer un ensemble de signaux inconnus à partir de mélanges de ceux-ci, le mélange étant lui-aussi inconnu.

Dans le cadre du projet ANR BLeRIOT qui finance ce sujet de stage, nous ne souhaitons pas développer des méthodes d’apprentissage profond nécessitant une grande base d’apprentissage. Au contraire, les contraintes des enquêtes de sécurité nous poussent à développer des approches qui soient non ou faiblement supervisées et qui soient interprétables.

Les méthodes de factorisation matricielle non-négative (NMF) ont constitué l’état de l’art avant l’apparition du deep learning au début des années 2010, et remplissent les deux critères ci-dessus. Cependant, elles ne fournissent pas toujours de bonnes performances de séparation lorsqu’on les applique à des signaux CVR. Le principe des techniques déroulées ou dépliées permet de transformer des approches classiques itératives en méthodes d’apprentissage profond et permettent un bon compromis entre performance, interprétabilité du modèle et taille de la base d’apprentissage [2]. Ces techniques ont été combinées à la NMF pour un certain nombre d’applications, avec des spécificités propres aux méthodes proposées [3-6].

Dans le cadre de ce stage, nous proposerons des méthodes de NMF dépliées que nous appliquerons aux données issues de CVR. En particulier, nous avons identifié des cas où le modèle proposé dans [1] n’est plus valide, soit à cause d’effets de saturation des canaux audio dûs au système audio avionique, soit à cause d’effets de codage avec perte dûs à un modèle de CVR particulier. Ces différents effets ont pu être étudiés séparément dans la littérature [8, 9] mais jamais à notre connaissance conjointement ni pour les signaux CVR. Un point important du stage consistera à comparer les performances de méthodes classiques ou dépliées de NMF pour de tels scénarios.

Références bibliographiques :

[1] Matthieu Puigt, Benjamin Bigot, and Hélène Devulder. Introducing the “cockpit party problem”: Blind source separation enhances aircraft cockpit speech transcription. Journal of the Audio Engineering Society, 73(1/2), 2025
[2] Vishal Monga, Yuelong Li, and Yonina C Eldar. Algorithm unrolling : Interpretable, efficient deep learning for signal and image processing. IEEE Signal Process. Mag., 38(2) :18–44, 2021.
[3] Scott Wisdom, Thomas Powers, James Pitton, and Les Atlas. Deep recurrent nmf for speech separation by unfolding iterative thresholding. In Proc. WASPAA’17, pages 254–258. IEEE, 2017.
[4] Rami Nasser, Yonina C Eldar, and Roded Sharan. Deep unfolding for non-negative matrix factorization with application to mutational signature analysis. Journal of computational biology, 29(1) :45–55, 2022.
[5] Christophe Kervazo, Abdelkhalak Chetoui, and Jérémy E Cohen. Deep unrolling of the multiplicative updates algorithm for blind source separation, with application to hyperspectral unmixing. In Proc. EUSIPCO’24, pages 656–660. IEEE, 2024.
[6] Sheng Shu, Ting-Zhu Huang, Jie Huang, and Gemine Vivone. Nesterov-accelerated non-negative matrix factorization unrolling network for hyperspectral unmixing. Neurocomputing, page 131202, 2025.
[7] Amir Adler, Valentin Emiya, Maria G Jafari, Michael Elad, Rémi Gribonval, and Mark D Plumbley. Audio inpainting. IEEE Audio, Speech, Language Process., 20(3) :922–932, 2011.
[8] Çağdaş Bilen, Alexey Ozerov, and Patrick Pérez. Joint audio inpainting and source separation. In Proc. ICA/LVA’15, pages 251–258. Springer, 2015.
[9] Matthieu Puigt, Emmanuel Vincent, Yannick Deville, Anthony Griffin, and Athanasios Mouchtaris. Effects of audio coding on ICA : an experimental study. In Proc. IEEE ECMSM’13, Toulouse, France, June 24–26, 2013.

Etudiant en sciences de données (traitement du signal et des images, informatique avec un focus autour de l’intelligence artificielle / apprentissage automatique, mathématiques appliquées), vous êtes curieux et très à l’aise en programmation (Matlab et/ou Python). Vous lisez et parlez l’anglais courant sans difficulté. Vous êtes capable d’expliquer clairement vos travaux, même à des publics non-experts. Bien que non requis, une première expérience en factorisation matricielle (par exemple, en décomposition matricielle ou tensorielle, en séparation de sources, en apprentissage de dictionnaire) sera appréciée.

Les candidats doivent impérativement être de nationalité française ou citoyens d’un état membre de l’Union Européenne, d’un état faisant parti de l’Espace Economique Européen ou de la Confédération Suisse.