Modélisation de l'engagement dans les environnements de co-création musicale en réalité étendue : vers un framework multimodal de l'activité instrumentale distribuée. // Modeling Engagement in Extended Reality Environments for Musical Co-Creation: Toward

L'essor des technologies de réalité étendue (XR) ouvre de nouvelles perspectives pour la création musicale collaborative en environnement immersif. Toutefois, ces dispositifs restent encore peu évalués d'un point de vue scientifique, notamment en ce qui concerne l'engagement des utilisateurs et la qualité de l'expérience collective. Cette thèse propose d'étudier et de modéliser les mécanismes de l'engagement dans des contextes de co-création musicale en réalité virtuelle distribuée.

L'objectif principal est de concevoir un framework d'analyse multimodale capable de capturer, synchroniser et interpréter des données hétérogènes issues de l'activité instrumentale (gestes, flux audio, interactions sociales), afin de caractériser les dynamiques d'engagement individuel et collectif. Ce travail s'inscrit dans le champ de l'interaction humain-machine (IHM), à l'intersection des environnements collaboratifs et des technologies musicales numériques.

La démarche repose sur une approche expérimentale basée sur les standards ouverts du Web (WebXR, Web Audio), permettant de développer une plateforme instrumentée pour la co-création musicale immersive. Cette infrastructure servira à collecter des données en temps réel et à concevoir des outils de visualisation immersive, notamment sous forme de replays enrichis (heatmaps d'attention, trajectoires gestuelles, indicateurs de synchronie), facilitant l'analyse des sessions collaboratives.

La thèse s'articule autour de trois contributions principales : (1) la formalisation théorique de l'engagement créatif collectif à partir de données multimodales, (2) le développement d'un framework de visualisation immersive pour l'analyse de l'activité, et (3) la définition et la validation expérimentale de métriques objectives d'engagement. Ces contributions seront évaluées à travers des études utilisateurs impliquant des profils variés (musiciens, apprenants, enseignants), dans des contextes de performance et d'apprentissage.

Le cadre théorique mobilise notamment la théorie du flow, la cognition incarnée et les modèles de présence sociale, afin d'interpréter les interactions entre corps, technologie et collaboration. L'hypothèse centrale est que l'engagement créatif peut être modélisé par la corrélation de données multimodales, et que leur visualisation immersive constitue un levier d'analyse plus efficace que les approches traditionnelles.

Au-delà des contributions scientifiques en IHM et en XR, ce travail vise à proposer des recommandations pour la conception de systèmes collaboratifs immersifs ouverts, avec des retombées potentielles pour l'éducation musicale, la création artistique et les environnements numériques collaboratifs.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

The rapid development of extended reality (XR) technologies is opening new perspectives for collaborative music creation in immersive environments. However, these systems remain insufficiently evaluated from a scientific standpoint, particularly with regard to user engagement and the quality of the collective experience. This PhD project aims to investigate and model the mechanisms of engagement in distributed virtual reality contexts for musical co-creation.

The main objective is to design a multimodal analysis framework capable of capturing, synchronizing, and interpreting heterogeneous data derived from instrumental activity (gestures, audio streams, social interactions), in order to characterize both individual and collective engagement dynamics. This work is situated within the field of Human-Computer Interaction (HCI), at the intersection of collaborative environments and digital music technologies.

The research adopts an experimental approach based on open Web standards (WebXR, Web Audio), enabling the development of an instrumented platform for immersive musical co-creation. This infrastructure will support real-time data collection and the design of immersive visualization tools, notably through enriched replays (attention heatmaps, motion trajectories, synchrony indicators), facilitating the analysis of collaborative sessions.

The thesis is structured around three main contributions: (1) the theoretical formalization of collective creative engagement based on multimodal data, (2) the development of an immersive visualization framework for activity analysis, and (3) the definition and experimental validation of objective engagement metrics. These contributions will be evaluated through user studies involving diverse profiles (musicians, learners, teachers), in both performance and learning contexts.

The theoretical framework draws on flow theory, embodied cognition, and social presence models to interpret the interactions between body, technology, and collaboration. The central hypothesis is that creative engagement can be modeled through the correlation of multimodal data, and that immersive visualization provides a more effective analytical approach than traditional methods.

Beyond its scientific contributions to HCI and XR, this work aims to provide design recommendations for open immersive collaborative systems, with potential applications in music education, artistic creation, and collaborative digital environments.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/2026

Contrat doctoral EDSTIC-DS4H

Université Côte d'Azur

84 STIC - Sciences et Technologies de l'Information et de la Communication

Le candidat devra être titulaire d'un M2 ou grade équivalent au moment du recrutement. The candidate must hold a Master or equivalent degree when starting the PhD. Le candidat ou la candidate devra disposer d'une formation solide en informatique, idéalement en interaction homme-machine (IHM), réalité virtuelle/augmentée ou systèmes interactifs. Les compétences attendues sont : Compétences techniques : Programmation (JavaScript/TypeScript, éventuellement C++ ou Python) Développement Web (WebXR, Web Audio ou technologies associées appréciées) Conception de systèmes interactifs temps réel Compétences scientifiques : Intérêt pour l'IHM, les environnements immersifs et collaboratifs Connaissances en méthodes expérimentales (protocoles utilisateurs, analyse de données) Sensibilité à l'analyse de données multimodales (un plus) Compétences complémentaires : Intérêt marqué pour la musique, la création musicale ou les technologies audio (une pratique musicale est un atout) Connaissance des principes d'UX design et d'évaluation de l'utilisabilité Notions en visualisation de données Qualités personnelles : Autonomie, rigueur scientifique et esprit d'initiative Capacité à travailler en équipe interdisciplinaire Bon niveau d'anglais (oral et écrit)
The candidate should have a strong background in computer science, ideally in Human-Computer Interaction (HCI), virtual/augmented reality, or interactive systems. Required skills include: Technical skills: Programming (JavaScript/TypeScript, and possibly C++ or Python) Web development (WebXR, Web Audio, or related technologies are a plus) Design and development of real-time interactive systems Scientific skills: Interest in HCI, immersive, and collaborative environments Knowledge of experimental methods (user studies, data analysis) Familiarity with multimodal data analysis (a plus) Additional skills: Strong interest in music, musical creation, or audio technologies (musical practice is a plus) The candidate must hold a Master's degree (M2) or an equivalent qualification at the time of recruitment. Knowledge of UX design principles and usability evaluation Basic understanding of data visualization Personal qualities: Autonomy, scientific rigor, and initiative Ability to work in an interdisciplinary team Good command of English (spoken and written)