Intelligence artificielle en boucle fermée pour l’apprentissage de la commande neuronale d’un robot mobile

Laboratoire de recherche:    LabSTICC-CNRS 6285 (https://labsticc.fr/fr ), équipe Rambo , plateforme CERV (https://cerv.enib.fr/ ) ,

• Lieu du stage : LabSTICC-CNRS 6285, plateforme CERV, Technopole de Plouzané
• Financement : Institut Carnot ARTS-IRDL, projet AMARMSER
• Encadrant

Patrick Hénaff, prfesseur Bretagne INP/ENIB,  LabSTICC

Olivier Chcron ; Maitre de conférences HDR, Bretagne INP/ENIB, IRDL

Objectif :

Le travail proposé dans ce stage s’insère dans le projet de robotique sous-marine AMARSMER  (financement IsBlue)  dans lequel un robot sous-marin  à propulsion reconfigurable est contrôlé par un algorithme d’Intelligence Artificielle. Cet algorithme d’apprentissage par renforcement doit prendre en compte les différentes topologies de placement des propulseurs du robot, et donc ses différentes configuration cinématiques, pour apprendre en ligne (en boucle fermée) à contrôler le robot pour qu’il rejoigne une position dans l’espace 3D.

Les expérimentations sur un robot sous-marin étant souvent lourdes à réaliser, ce stage propose de transférer le problème à un robot mobile dont la configuration cinématiques est variable, c’est le cas du robot LIMO.

Le stage concerne donc l’application d’algorithmes d’apprentissage à la commande d’un robot mobile à roues (4 configurations cinématiques de propulsion) pour qu’il rejoigne un point et une orientation donnés, ce qui n’est pas un problème trivial selon la cinématique du robot. Pour ce faire, l’algorithme d’apprentissage par renforcement est embarqué sur le robot LIMO et apprend en-ligne à le commander.  

Méthodologie :

L’IA est un réseau de neurones de type perceptron multicouches qui contrôle le robot dans une boucle fermée (Figure 1, droite). L’entrée du contrôleur neuronal est constituée de la position et l’orientation courantes du robot et sa sortie, des commandes en vitesse des roues. Il s’agit ici de reproduire avec ce robot réel ce que l’on fait déjà au CERV en simulation avec Pytorch et le simulateur Copellia.

L’apprentissage par renforcement est effectué en boucle fermée afin que la commande neuronale s’améliore à chaque pas de temps. La fonction de coût qui sert à l’apprentissage par rétropropagation du gradient devra prendre en compte les différents modèles cinématiques du robot.

L’expérience devra être reproductible en suivant un protocole bien défini afin par exemple de pouvoir faire des démonstrations à des visiteurs du laboratoire. Les aspects mécaniques du stage, i.e. le calcul des modèles cinématiques, se feront en collaboration avec le département de mécatronique de l’ENIB (O. Chocron, responsable du projet AMARSMER, laboratoire IRDL).

Les étapes à suivre pour mener à bien ce projet sont les suivantes :

• Prise en main du robot : commande, navigation, interface, démonstrations. Ce robot est déjà en cours d’utilisation au LabSticc/CERV part des étudiants de l‘ENIB.
• Prise en main du code actuel en Python d’apprentissage (Pytorch)  en boucle fermée avec le simulateur CoppeliaSim et son modèle de robot mobile Pioneer.
• Prise en main de ROS (on programmera sous le framework ROS déjà existant sur le robot)
• Implémentation du code Python (Pytorch) sur le robot.
• Tests expérimentaux et réglage des paramètres d’apprentissage avec une configuration cinématique simple et fixée
• Mise en œuvre de la reproductibilité de l’expérimentation
• Tests expérimentaux et réglage des paramètres d’apprentissage avec une configuration cinématique variable, modification de la fonction de coût et calcul du gradient
• Rédaction des livrables.

Outils :

Le robot LIMO est un robot à quatre roues dotées d’une carte embarquée suffisamment puissante pour exécuter l’apprentissage neuronal en boucle fermée. L’algorithme d’apprentissage est la rétropropagation du gradient stochastique, modifié pour être appliqué en boucle fermée sur un robot.

L’algorithme d’apprentissage est programmé en python et le code existe déjà de telle façon qu’on peut actuellement faire la simulation de cet apprentissage en boucle fermée avec le simulateur CoppeliaSim et son modèle de robot mobile Pioneer.

Livrables attendus :

• Expérimentation répétable
• Code documenté
• Documentation permettant d’utiliser de mettre en œuvre l’expérience facilement.

• Master  ou ingénieur en informatique ou robotique avec des compétences en IA et si possible en ROS
• Compétences : programmation (python, C++), maîtrise de l’anglais,
• Ouverture d’esprit, autonomie, qualité rédactionnelle.