Apprentissage par renforcement, méthode policy-gradient, pour la commande en station-keeping d’un robot marin de surface

Laboratoire de recherche:    LabSTICC-CNRS 6285 (https://labsticc.fr/fr ), équipe Rambo , plateforme CERV (https://cerv.enib.fr/ ) ,

• Lieu du stage : LabSTICC-CNRS 6285, plateforme CERV, Technopole de Plouzané
• Financement : LabSTICC/Thales-DMS, projet  NeuroDyNav
• Encadrants :
  • Patrick Hénaff, Bretagne INP/ENIB,  LabSTICC
  • Olivier Chcron, Bretagne INP/ENIB, IRDL
  • Ingénieur  de Thales DMS, Brest

Objectif :

Le travail proposé dans ce stage de 6 mois s’insère dans un projet commun, entre le laboratoire LabSTICC et le centre Thales-DMS de Brest, sur le contrôle par intelligence artificielle d’un navire autonome de surface de type MMCM. L’objectif du stage concerne la mise en œuvre d’un contrôle par apprentissage en boucle fermée pour maintenir le navire à la même position de surface quelles ques soient les perturbations (station-keeping), le navire disposant de nombreux capteurs permettant la mesure de la position du navire, les vitesses et directions des courants marins et du vent.

Une première partie du stage consistera à proposer une modélisation (cinématique, dynamique) simplifiée du navire et de sa propulsion en vue d’une implémentation dans la simulation Gazebo de l’équipe  LabSTICC-IRDL. 

Une seconde partie, consistera à valider cette simulation en comparant les résultats avec le simulateur développé par l’équipe Thales DMS. 

La dernière partie du stage consistera à valider l’apprentissage de la commande du navire selon différents scenarii d’apprentissage. L’algorithme d’apprentissage par renforcement qui sera utilisé sera basé sur la rétropropagation du gradient adapté pour un apprentissage rapide en boucle fermée. Les résultats produits par l’IA seront comparés aux résultats produits par les algorithmes de contrôle basés modèle développés par l’équipe Thales-DMS. Des réunions régulières auront lieu entre les ingénieurs de Thales et l’équipe LabSTICC-IRD.

Méthodologie :

Les étapes à suivre pour mener à bien ce projet sont les suivantes :

• Modélisation du navire iso-actionné à 3ddl
• Simulation Gazebo en 3D du navire et de sa propulsion
• Validation du modèle simulé par comparaison  avec le simulateur de Thales-DMS.
• Apprentissage par IA de la commande du navire selon  3 ddl
• Comparaison des résultats IA et méthodes basées modèle
• Production des livrables (simulations répétables , code documenté)

.

• Nationalité d’un pays membre de l’UE.

• Master  ou ingénieur en informatique ou robotique + compétences en IA et si possible en ROS
• Compétences : programmation (python, C++), maîtrise de l’anglais,
• Ouverture d’esprit, autonomie, qualité rédactionnelle