Projet GDeepEquine II – Analyse multimodale de la locomotion du cheval.

Efrei Paris, école d’ingénieurs, composante de l’Université Paris-Panthéon-Assas, est un établissement privé d’enseignement supérieur technique, reconnu par l’Etat, EESPIG, dont dépend le laboratoire Efrei Research Lab, dirigé par Etienne PERNOT.

L’Efrei Research Lab est le laboratoire de recherche de l’Efrei. Il se compose d’une cinquantaine d’enseignants-chercheurs en informatique et électronique ainsi que d’autant de doctorants. Depuis janvier 2022, en intégrant l’université Paris-Panthéon-Assas, Efrei Research Lab est reconnu comme le laboratoire numérique de l’Université, unité de recherche 202224306D, rattaché à l’école doctorale ED 455 EGIC, délivrant le doctorat en informatique.

Ses domaines de recherche se concentrent sur les domaines du numérique à travers quatre axes :

• données et Intelligence Artificielle ;
• sécurité, résilience et confiance numérique ;
• réseaux de communication ;
• systèmes embarqués intelligents.

Le Laboratoire se concentre sur de la recherche appliquée avec deux domaines d’applications majeurs : les sciences du vivant (santé, agriculture et biodiversité, sport, éducation) et les territoires intelligents (entreprises, habitations, réseaux).

L’Efrei Research Lab s’est engagé dans la mise en œuvre de sa responsabilité sociétale vis-à-vis des enjeux environnementaux à travers l’ensemble des activités du laboratoire. Le chercheur de l’Efrei Research Lab s’engage à prendre en compte la transition écologique pour un développement soutenable dans ses activités de recherche menées au sein de l’Efrei Research Lab.

L’EFREI, grande école du numérique, et l’Institut Français du Cheval et de l’Equitation (IFCE) collaborent à un projet de recherche sur l’analyse automatisée de la locomotion du cheval grâce à la vision par ordinateur et au Deep Learning.

Analyser la locomotion des chevaux permet de les comparer, sélectionner les meilleurs, détecter des boiteries, etc. Cette analyse repose historiquement sur une observation par des experts. Depuis une trentaine d’années, le développement des accéléromètres puis des centrales inertielles a permis d’étudier la locomotion des chevaux, en conditions de terrain, grâce à des capteurs. Plus récemment, l’estimation de pose ouvre la voie à une analyse de la locomotion à partir de vidéos.

Des méthodes d’apprentissage automatisé ont déjà été développées pour reconnaître l’allure du cheval (pas, trot, galop) à partir de centrales inertielles ou de données de pose.

L’objet de ce stage sera de développer une approche multimodale, associant données inertielles et données vidéos ou données de pose, pour améliorer ces méthodes d’analyse de la locomotion équine.

Nous utiliserons pour cela un jeu de données récemment construit par l’IFCE. Dans ce jeu de données, les données vidéos ont été collectés simultanément par 10 caméras synchronisées et les chevaux étaient équipés de 5 centrales inertielles. Un ensemble de mouvements aux différentes allures est réalisé par ces chevaux.

Plusieurs problématiques seront à traiter dans ce stage :

• Les capteurs inertiels et les capteurs vidéo ayant des fréquences d’acquisition et des horloges différentes, comment aligner temporellement les données inertielles et les données vidéos ?
• Comment tenir compte des relations spatiales entre données inertielles et estimations de pose, pour réaliser une tâche de prédiction multimodale ?
• Si on masque l’une des modalités, pourraiton reconstituer ses valeurs à partir des autres modalités ? Ceci permettrait de répondre en cas de capteurs absents ou d’impossibilité de réaliser une captation vidéo.

Ce stage se déroulera à l’EFREI Research Lab, à Villejuif (94), sous la responsabilité de Faten Chackhouk, enseignante-chercheur, et sera co-encadré par Benoît Pasquiet, ingénieur de recherche à l’IFCE.

Elève Ingénieur en recherche de stage M2 en informatique ayant des connaissances solides en : 

• Développement OO Python 
• Apprentissage profond
• Connaissances en vision par ordinateur, analyse d’images/vidéos