Apprentissage automatique explicable pour l’analyse biomécanique des activités locomotrices quotidiennes à partir de capteurs embarqués

Contexte et problématique :

La reconnaissance d’activités humaines (Human Activity Recognition – HAR) constitue aujourd’hui un domaine stratégique à l’interface entre biomécanique, traitement du signal et apprentissage automatique. Elle joue un rôle clé dans des applications telles que la santé numérique, la rééducation fonctionnelle, l’assistance à la mobilité, la robotique d’assistance et les environnements intelligents. Dans ces contextes, l’objectif est de caractériser et d’interpréter les comportements locomoteurs humains à partir de données issues de capteurs, dans des conditions proches de la vie quotidienne, tout en garantissant robustesse, interprétabilité et exploitabilité opérationnelle.

Les approches basées sur des capteurs visuels ont démontré leur efficacité pour l’analyse fine des mouvements humains, en s’appuyant sur des architectures profondes capables de modéliser des dépendances spatiales complexes [1–3]. Des variantes exploitant des optiques grand angle ont été proposées afin d’élargir le champ de perception [4,5]. Toutefois, ces solutions restent sensibles aux conditions environnementales, aux occultations et aux contraintes de calibration, limitant leur déploiement dans des scénarios réels non contrôlés.

Parallèlement, les approches exploitant les variations des signaux WiFi (CSI) ont émergé comme solutions non intrusives pour la reconnaissance d’activités [6,7]. Bien que prometteuses, ces méthodes fournissent des observations indirectes fortement dépendantes de l’environnement, rendant difficile leur interprétation biomécanique et leur généralisation.

Dans ce contexte, les capteurs inertiels embarqués (IMU) représentent une alternative particulièrement adaptée à l’analyse locomotrice en conditions écologiques. Leur faible coût, leur portabilité et leur indépendance vis-à-vis de l’environnement permettent une capture directe du mouvement humain. Cependant, les signaux inertiels sont bruités et sensibles à la calibration capteur-segment, qui constitue un verrou critique pour la fiabilité biomécanique. Des travaux récents ont montré que l’intégration de contraintes biomécaniques dans des schémas d’estimation améliore significativement la précision cinématique [8,9], soulignant l’importance de représentations respectant la cohérence physique du mouvement.

Les progrès de l’apprentissage profond ont ensuite permis le développement de modèles séquentiels capables de capturer la dynamique temporelle du mouvement humain, notamment pour la reconnaissance de modes locomoteurs en temps réel [10]. Bien que performants pour analyser les séquences de mouvement, ces modèles fonctionnent comme des boîtes noires, ce qui peut poser un problème dans des applications nécessitant des décisions explicables.

Afin de répondre aux enjeux d’interprétabilité et de robustesse, des approches hybrides intégrant logique floue et mécanismes d’attention ont été proposées pour enrichir la représentation des données et introduire une explicabilité partielle des décisions [11,12]. Ces travaux montrent qu’il est possible de concilier performance, robustesse au bruit et interprétabilité, trois propriétés essentielles pour des systèmes embarqués exploitables industriellement.

Malgré ces avancées, plusieurs verrous scientifiques subsistent :

• la définition de représentations biomécaniques robustes capables de capturer la variabilité naturelle du mouvement humain ;
• la conception de modèles frugaux fonctionnant avec peu de données annotées ;
• la modélisation efficace de dépendances spatio-temporelles complexes ;
• l’intégration d’explicabilité compatible avec des contraintes temps réel ;
• la fusion cohérente de données multi-capteurs dans des pipelines embarqués.

Ces verrous sont directement liés aux besoins industriels : déploiement sur matériel contraint, adaptation à des utilisateurs variés, robustesse terrain et capacité d’interprétation. La thèse vise ainsi à développer une approche intégrée conciliant biomécanique, apprentissage explicable et frugalité computationnelle, afin de produire des solutions exploitables dans des environnements réels.

Ce sujet présente un intérêt scientifique fort pour le laboratoire LISSI et constitue également une opportunité pour le pôle R&D de Caplogy DATA d’explorer et de structurer des approches avancées d’analyse de données issues de capteurs embarqués, avec des perspectives applicatives à moyen et long terme.

Objectifs de recherche :

L’objectif de cette thèse est de développer des approches d’apprentissage automatique explicables, robustes et frugales pour l’analyse biomécanique d’activités locomotrices de la vie quotidienne, telles que la marche, les transitions posturales ou la locomotion sur terrains variés, à partir de capteurs embarqués. Les méthodes développées devront être compatibles avec des contraintes de déploiement temps réel et d’exploitabilité industrielle.

Cet objectif général se décline en plusieurs sous-objectifs :

1. Analyser et caractériser la variabilité des données locomotrices issues de capteurs inertiels :
   Étudier la variabilité intra- et inter-sujets des signaux inertiels liée aux différences morphologiques, aux styles de marche, aux contextes environnementaux et aux types d’activités, afin d’identifier les sources de variation pertinentes pour l’analyse biomécanique. Cette étape vise à améliorer la robustesse des modèles face aux conditions réelles d’utilisation et à favoriser leur généralisation inter-sujets.
    
2. Définir des représentations et des caractéristiques biomécaniques générales et robustes :
   Concevoir et valider des caractéristiques biomécaniques exploitables pour différentes activités locomotrices (marche, transitions posturales, terrains variés), en respectant les contraintes fondamentales du mouvement humain, continuité temporelle, causalité, cohérence inter-phases, tout en favorisant des représentations stables et transférables vers des systèmes embarqués.
    
3. Développer des modèles séquentiels capables de capturer la complexité spatio-temporelle du mouvement : Mettre en œuvre et adapter des architectures séquentielles (notamment de type LSTM ou apparentées) afin de modéliser efficacement les dépendances temporelles riches et non linéaires présentes dans les données inertielles, tout en garantissant un fonctionnement en temps réel compatible avec des contraintes computationnelles embarquées. 
    
4. Concevoir des modèles frugaux adaptés à des jeux de données limités :
   Proposer des stratégies d’apprentissage permettant de fonctionner avec un nombre restreint de sujets et des données majoritairement issues de populations saines, tout en conservant de bonnes capacités de généralisation. Cela inclut des approches de régularisation, de partage de représentations, d’apprentissage auto-supervisé, ainsi qu’une maîtrise du coût computationnel pour faciliter l’intégration industrielle.
    
5. Intégrer des mécanismes d’explicabilité dans les modèles d’apprentissage :
   Explorer des approches favorisant l’interprétabilité des décisions des modèles, telles que des représentations intermédiaires interprétables, des mécanismes d’attention ou des contraintes biomécaniques explicites, afin de relier les sorties des modèles à des phénomènes biomécaniques compréhensibles, condition essentielle pour leur acceptabilité et leur exploitation dans des contextes applicatifs.
6. Étudier la fusion et la synchronisation de données multi-capteurs hétérogènes : Intégrer des données issues de plusieurs capteurs inertiels ou de modalités complémentaires au sein d’un pipeline cohérent et synchronisé, afin d’améliorer la robustesse et la précision de l’analyse tout en maîtrisant la complexité du système et les contraintes d’implémentation embarquée.
7. Valider les approches proposées sur des scénarios réalistes et applicatifs : Évaluer les méthodes développées sur des scénarios représentatifs de la vie quotidienne en analysant leurs performances en termes de précision, robustesse, généralisation, coût computationnel, explicabilité et exploitabilité dans des conditions proches d’un déploiement industriel.

Bibliographie :

[1] D. R. Reda, F. Chaieb, H. Drira and A. Aberkane, "ConViViT - A Deep Neural Network Combining Convolutions and Factorized Self-Attention for Human Activity Recognition," 2023 IEEE 25th International Workshop on Multimedia Signal Processing (MMSP), Poitiers, France, 2023, pp. 1-6, doi: 10.1109/MMSP59012.2023.10337696.

[2] S. Achouche, S. Bouzayane and K. Msheikh. "Visual-HAR: A Real-Time Human Activity Recognition Model Based on Visual Sensors," 2024 4th International Conference on Electrical, Computer, Communications and Mechatronics Engineering (ICECCME), Male, Maldives, 2024, pp. 1-6, doi: 10.1109/ICECCME62383.2024.10796463.

[3] Coulibaly, A., Chabi AdjobO, E., Gammoudi, A., & Saadaoui, W. (2026). Hybrid architecture GNNConViVit for the recognition of human activities. Communication présentée à ACDSA 2026 – International Conference on Artificial Intelligence, Computer, Data Sciences and Applications, Boracay Island, Philippines, 5–7 février 2026.

[4] Bouzayane, S., Kahouadji, M. & Magnier, B. "FORT-RAJ: a fisheye-optimized deep learning model for real-time trajectory prediction". Pattern Anal Applic 28, 114 (2025). https://doi.org/10.1007/s10044-025-01485-y

[5] Y. Amrouche, S. Bouzayane and B. Magnier, "FORT-RAJ: A Hybrid Fisheye Model for Real-Time Pedestrian Trajectory Prediction," 2024 9th International Conference on Frontiers of Signal Processing (ICFSP), Paris, France, 2024, pp. 128-132, doi: 10.1109/ICFSP62546.2024.10785416.

[6] K. Meridja, I. Sekkiou, and A. Gammoudi, "Real-Time Human Activity Recognition Using Wi-Fi CSI: A Deep CNN Architecture Approach," 2024 IEEE Thirteenth International Conference on Image Processing Theory, Tools and Applications (IPTA), Rabat, Morocco, 2024, pp. 1-6, doi: 10.1109/IPTA62886.2024.10755870.

[7] Hajjem, S., Azzabi, A., & Gammoudi, A. (2026). Hybrid CNN–Transformer and Swin-Based Hierarchical Transformer Pipelines for Wi-Fi CSI Human Activity Recognition. Communication présentée à ICICT 2026 – 11th International Congress on Information and Communication Technology, London, United Kingdom, 24–27 février 2026.

[8] M. Adjel, R. Dumas, S. Mohammed and V. Bonnet, "Influence of Visual-Inertial Sensor-to-Segment Calibration on Upper Limb Joint Angles Estimation From Multiple Inverse Kinematics Methods," in IEEE Transactions on Automation Science and Engineering, vol. 22, pp. 11519-11528, 2025, doi: 10.1109/TASE.2025.3535857.

[9] R. Mallat et al., "Sparse Visual-Inertial Measurement Units Placement for Gait Kinematics Assessment," in IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 29, pp. 1300-1311, 2021, doi: 10.1109/TNSRE.2021.3089873. 

[10] H. Moon, O. Bey, A. Boubezoul, L. Oukhellou and S. Mohammed, "Real-Time LSTM-Driven Dynamic Gait Mode Detection for Enhanced Control of Actuated Ankle-Foot Orthosis," in IEEE Transactions on Robotics, vol. 41, pp. 4794-4809, 2025, doi: 10.1109/TRO.2025.3593111

[11] G. Khodabandelou, H. Moon, Y. Amirat, S. Mohammed, "A fuzzy convolutional attention-based GRU network for human activity recognition", Engineering Applications of Artificial Intelligence, Volume 118, 2023, 105702, ISSN 0952-1976,https://doi.org/10.1016/j.engappai.2022.105702.

[12] G. Khodabandelou, P. -G. Jung, Y. Amirat and S. Mohammed, "Attention-Based Gated Recurrent Unit for Gesture Recognition," in IEEE Transactions on Automation Science and Engineering, vol. 18, no. 2, pp. 495-507, April 2021, doi: 10.1109/TASE.2020.3030852.

[13] F. Attal, Y. Amirat, A. Chibani and S. Mohammed, "Automatic Recognition of Gait Phases Using a Multiple-Regression Hidden Markov Model," in IEEE/ASME Transactions on Mechatronics, vol. 23, no. 4, pp. 1597-1607, Aug. 2018, doi: 10.1109/TMECH.2018.2836934.

Le Laboratoire Images, Signaux et Systèmes Intelligents (LISSI) est une unité de recherche de l'Université Paris Est Créteil (UPEC) spécialisée dans les sciences de l'information et du numérique, avec un positionnement stratégique centré sur l'intelligence artificielle et les technologies pour la santé.
L'axe 1 de l'équipe SIRIUS, intitulé « Systèmes robotiques d'assistance à la mobilité et à la rééducation », se consacre à la modélisation et au contrôle-commande de systèmes robotiques portables tels que les exosquelettes et les orthèses. Ces activités visent à créer une interaction homme-robot symbiotique en intégrant l'intention de mouvement du sujet dans les algorithmes de commande pour assister les activités quotidiennes ou la rééducation neuro-musculaire. Les recherches de cet axe mobilisent de plus en plus l'intelligence computationnelle pour la reconnaissance en temps réel des modes de marche et des activités locomotrices à partir de capteurs embarqués, tout en cherchant à garantir la robustesse et l'explicabilité des modèles.

Nous recherchons un(e) candidat(e) passionné(e) par l’apprentissage automatique et le deep learning (PyTorch/TensorFlow) appliqué aux séries temporelles et à l’analyse de signaux. Une expérience avec les capteurs inertiels (IMU), la biomécanique du mouvement humain, et les modèles séquentiels (LSTM, GRU, Transformers) est un plus. Le projet valorise également les compétences en IA explicable et le déploiement de modèles sur systèmes embarqués, avec ROS1/ROS2 et C++ temps réel. Cette thèse est idéale pour un profil souhaitant combiner ML avancé, applications robotiques et IA embarquée dans des scénarios réels.