MULC-DRL : Classification multi-labels grâce à l’apprentissage par renforcement profond : application à la génération de typologies dans un système de recommandation

L'objectif principal de cette thèse est de d'améliorer qualitativement la recherche de composants sur le site de la société TraceParts pour qu’un utilisateur trouve, avec le moins d'interactions possibles, les documents pertinents liés à sa requête et donc, les modèles CAO à télécharger. Cela passe par l'amélioration et l'ajout de fonctionnalités concernant les suggestions de téléchargement que le système peut faire aux utilisateurs, pas seulement sur l’historique de ses propres téléchargements, mais aussi sur l’historique global.

Ce sujet de thèse fait suite aux premiers travaux proposés pour la formalisation sémantique du corpus documentaire de Traceparts et l’inclusion de la notion de recherche fondée sur les concepts [1, 2]

Dans ces travaux de thèse nous nous concentrerons sur la recommandation d’autres modèles CAO à télécharger en fonction de la requête initiale de l’utilisateur.  Mais nous proposons d’utiliser aussi les connaissances techniques du domaine pour associer les documents des pièces techniquement compatibles. 

Les humains experts sont peu disponibles, donc une approche de IA inductive, basée sur l’apprentissage automatique, sera utilisée.  En premier lieu, un pré-traitement des traces d’utilisation est à réaliser pour pouvoir identifier les documents qui sont téléchargés souvent ensemble, mais en prenant compte de la situation où un ingénieur peut travailler sur plusieurs projets de caractéristiques techniques différents (mécanique, hydraulique, électricité …) et que cette notion de « association de documents par type de projet » doit être prise en compte.  La première idée serait de pouvoir compter sur un / des experts(s) des différents domaines pour identifier des groupes de modèles CAO associés à leur type de projet.  Dans ce projet de recherche, en revanche, nous nous intéresserons à un processus de classification multi-label [3] qui nous permettra d’associer à un document à, éventuellement, plusieurs domaines techniques.

Dans la suite des travaux, on pourra également envisager de faire générer de nouveaux groupes (labels) automatiquement par le système, en utilisant les nouvelles techniques d’IA générative.

Une fois les regroupements obtenus, on pourra se consacrer au développement du système de recommandation en soi.  Pour ce faire, nous nous appuierons sur une approche innovante basée sur l’apprentissage par renforcement [4], pour augmenter la pertinence des recommandations.

En résumé, l’objectif principal de ces travaux est de classer des modèles CAO, avec la particularité de les grouper dans des labels (mots-clefs par exemple) similaires. L’idée serait de vérifier que la classification fonctionne bien grâce au historiques d’achats des utilisateurs, et aussi de permettre l’ajout à long-terme de nouveaux produits dans le système.

L’approche envisagée est fondée sur l’enrichissement des algorithmes à base de DeepRL (apprentissage par renforcement profond) [5] permettant de classer des produits sous plusieurs labels (initialement avec les mots-clefs/catégories associées) dans un système qui s’enrichirait au cours du temps. 

Les challenges intéressants à explorer seront donc : 

1. Comment proposer des keywords et des associations pertinentes entre modèles CAO en prenant en compte les achats/groupes faits par les utilisateurs et 
2. Comment maintenir la performance du système quand on ajoute des nouveaux modèles CAO dans le système.

Pour les techniques à investiguer, la première partie (classification) fonctionnerai effectivement très bien avec des algorithmes d’apprentissage automatique classiques (type clustering ou classification), mais nécessiterait des adaptations afin de prendre en compte les expériences utilisateurs (pas forcément directes). La seconde partie demandera d’explorer des approches plutôt par curriculum/life-long qui sont davantage représentées par de l’apprentissage par renforcement, et nous devront étudier la possibilité d’avoir un système unique ou hybride pour mener à bien cet objectif.

Classer, grouper, ou encore proposer une typologie pour un ensemble d’objets (ou de profils) est un problème plutôt bien exploré et couvert par les approches de « clustering », aussi appelées classification non-supervisée. Ces approches consistent à grouper des données à partir de leurs caractéristiques et à proposer un ensemble de catégories [6]. Chaque élément ainsi classé appartient alors à une seule et unique classe, et les groupes (clusters) couvre l’ensemble de l’espace des éléments. Ce type de classification, pourtant largement employé dans les systèmes de recommandation, limite beaucoup la flexibilité du système, notamment lorsque les classes ne sont pas fournies (ou connues a priori) [7]. Il est alors nécessaire d’explorer des stratégies multi-classes (ou multi-labels), qui permettent de mieux capturer la sémantique des objets à grouper.

Contrairement à l’apprentissage multi-classes, l’apprentissage automatique (classification) multi-label (plus général) s’intéresse à des problèmes ou un même input peut correspondre à un ensemble de classes non-exclusives (qu’on nomme labels). Une des branches de problèmes associés concerne les cas où le système dispose de retours experts (supervision) limités, ce qui est le cas dans le système de Traceparts. Dans ce cas, la littérature propose différentes approches, par exemple à base d’apprentissage par renforcement, de graphes ou encore de formes hybride d’apprentissage [3] qui méritent d’être explorées.

Enfin, une seconde problématique du domaine est de permettre au système de s’enrichir pendant son fonctionnement, des premières approches « en ligne » sont prometteuses mais semble encore décorrélées de l’usage lors de leur validation [8]. Une piste prometteuse, mais qui mérite davantage d’exploration, consiste à utiliser des algorithmes de classification par apprentissage profond avec des techniques non supervisées pour générer dynamiquement de nouveaux labels [9]. Une approche alternative que nous allons explorer concerne l’utilisation de l’IA générative pour créer les nouveaux labels.

L'intelligence artificielle générative et les modèles de langage de grande taille (LLMs) constituent des domaines en pleine expansion grâce à leurs capacités avancées de traitement du langage naturel et de génération de contenu. En particulier, l’IA générative désigne les systèmes capables de créer du contenu nouveau et original, que ce soit du texte, des images, de la musique ou d'autres formes de données. Ces systèmes reposent souvent sur des architectures de réseaux neuronaux, notamment les réseaux génératifs adverses (GANs) [10] et les transformeurs [11].

Références

1. Sesboüé, M., Delestre, N., Kotowicz, J.P., Khudiyev, A., Zanni-Merk, C., 2022. An operational architecture for knowledge graph-based systems. Procedia Computer Science 207, 1667-1676. https://doi.org/10.1016/j.procs.2022.09.224. 26th International Conference Knowledge-Based and Intelligent Information& Engineering Systems (KES202)
2. Schaeffer, M., Sesboüé, M., Kotowicz, J.P., Delestre, N., Zanni-Merk, C., 2023 : Olaf: An ontology learning applied framework. Procedia Computer Science 225, 2106-2115. https://doi.org/10.1016/j.procs.2023.10.201, 27th International Conference on Knowledge Based and Intelligent Information and Engineering Systems (KES 2023)
3. Liu, W., Wang, H., Shen, X., & Tsang, I. W. (2021). The emerging trends of multi-label learning. IEEE transactions on pattern analysis and machine intelligence, 44(11), 7955-7974.
4. Zhao, X., Xia, J., & Zhang, L. (2019). "Deep Reinforcement Learning for Personalized Recommender Systems: An Overview." IEEE Access, 7, 137593-137607.
5. Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., ... & Hassabis, D. (2015). "Human-level control through deep reinforcement learning." Nature, 518(7540), 529-533
6. Ezugwu, A. E., Ikotun, A. M., Oyelade, O. O., Abualigah, L., Agushaka, J. O., Eke, C. I., & Akinyelu, A. A. (2022). A comprehensive survey of clustering algorithms: State-of-the-art machine learning applications, taxonomy, challenges, and future research prospects. Engineering Applications of Artificial Intelligence, 110, 104743.
7. Roy, D., & Dutta, M. (2022). A systematic review and research perspective on recommender systems. Journal of Big Data, 9(1), 59
8. Du, J., & Vong, C. M. (2019). Robust online multilabel learning under dynamic changes in data distribution with labels. IEEE transactions on cybernetics, 50(1), 374-385.
9. Chen, S., Wang, R., & Lu, J. (2023). A meta-framework for multi-label active learning based on deep reinforcement learning. Neural Networks, 162, 258-270.
10. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). "Generative Adversarial Nets." Advances in Neural Information Processing Systems (NeurIPS), 27, 2014.
11. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). "Attention is All You Need." Advances in Neural Information Processing Systems (NeurIPS), 30, 2017.

Ce sujet convient aux étudiants qui s'intéressent recherche d’information et à l’apprentissage automatique. Il (elle) doit être titulaire d'un diplôme en informatique (Master ou Ingénieur), de préférence avec une spécialisation en Sciences des Données.

Les compétences requises sont notamment les suivantes :

• travail rigoureux,
• autonomie et réactivité,
• excellentes capacités de travail en équipe,
• un très bon anglais écrit et parlé,
• de solides bases en programmation et développement logiciel,
• des compétences fortes en apprentissage automatique sont  indispensables.