Vers des modèles équivariants multi-échelles pratiques pour les systèmes moléculaires // Toward practical multi-scale equivariant models for molecular systems

L'avènement de l'intelligence artificielle (IA), et plus particulièrement de l'apprentissage profond (deep learning, DL), a profondément transformé la chimie et la biologie structurale, notamment dans les domaines de la prédiction et de la conception des protéines. Le prix Nobel de chimie 2024, récompensant des avancées majeures dans la prédiction de structures protéiques, illustre l'impact rapide et révolutionnaire de l'IA dans ces disciplines. Ces progrès ouvrent également de nouvelles perspectives pour la découverte thérapeutique et les biotechnologies liées à la santé.

Toutefois, plusieurs limites des modèles actuels persistent. L'un des principaux défis du domaine du DL réside dans le coût quadratique du mécanisme d'attention par rapport à la taille des données d'entrée. Ce mécanisme est couramment utilisé dans presque tous les domaines d'application du DL, y compris les architectures AlphaFold2/3 et celles dédiées à la conception de protéines. Le problème devient particulièrement manifeste lorsque la longueur des entrées augmente, par exemple pour des protéines comportant plusieurs domaines.

Les solutions actuelles à ce problème incluent l'accélération matérielle (par exemple, l'implémentation de Flash Attention), l'échantillonnage aléatoire, les opérations d'attention de faible rang et les modèles sous-quadratiques, tels que ceux utilisant les transformées de Fourier rapides ou les modèles d'espace d'états. Ce projet vise à explorer une nouvelle classe de modèles employant une représentation hiérarchique des données fondée sur des structures arborescentes, avec pour objectif une complexité évoluant en O(NlogN), voire en O(N), par rapport à la taille d'entrée N.

Un aspect essentiel de l'approche proposée consistera à préserver certaines symétries des données en construisant des opérations équivariantes par roto-translation. En d'autres termes, nous visons à développer des architectures équivariantes SE(3) et E(3), dont les paramètres entraînables du modèle restent invariants face aux transformations globales, voire locales, des données d'entrée. Nous appliquerons les mécanismes développés à des données biologiques spécifiques présentant une hétérogénéité structurelle discrète et continue, afin de faire progresser l'état de l'art en biologie structurale computationnelle. Nous visons principalement la prédiction des géométries moléculaires à l'aide de tâches de régression, ainsi que le flow matching et le transport optimal dans l'espace roto-translationnel SE(3)^N. Toutefois, nous testerons également les approches développées dans des applications de génération de séquences.

Le projet proposé s'appuie sur les activités des encadrants et constitue une continuité du projet de master du candidat. Sergei Grudinin (LJK) développe des modèles de DL invariants et équivariants appliqués à l'imagerie médicale et à la biologie structurale. Boris Thibert (LJK) est spécialiste de géométrie computationnelle et de transport optimal. Il supervisera la formulation des tâches génératives. Le collaborateur externe, Risi Kondor de l'Université de Chicago, est un spécialiste mondialement reconnu des approches de geometric deep learning et des réseaux équivariants appliqués à la conception moléculaire. Il supervisera la partie modélisation géométrique.

Les encadrants, ainsi que le doctorant, tiendront des réunions techniques hebdomadaires au cours desquelles le candidat présentera l'avancement du projet et où les stratégies futures seront discutées collectivement. Le candidat participera également activement aux réunions hebdomadaires de groupe et aux clubs de lecture scientifique. L'objectif ultime du projet est de proposer des réseaux géométriques à la fois expressifs et applicables à des systèmes biologiques de très grande taille, tels que les complexes protéine-ARN, capables d'être entraînés efficacement sur des données présentant une hétérogénéité structurelle.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

The advent of artificial intelligence (AI), and, particularly, deep learning (DL), has significantly impacted various applications in chemistry and structural biology, including protein structure prediction and design. This progress has brought us closer to understanding the underlying physical, biological, and evolutionary processes. The recent 2024 Nobel Prize in Chemistry, awarded for breakthroughs in protein design and structure prediction, showcases the rapid and transformative influence of AI in these fields. These advancements have not only transformed structural biology and bioinformatics but also have the potential to revolutionize therapeutic discovery and various other biotechnology sectors related to human health and life sciences. These breakthroughs largely stem from leveraging evolutionary signals and geometric information within the input data. Nevertheless, several limitations in current models persist. One significant challenge in the DL field is the quadratic cost of the attention mechanism in relation to the size of the input data. This mechanism is commonly used across nearly all DL application domains, including the AlphaFold2/3 architectures and those focused on protein design. The issue becomes particularly apparent as the input length increases, such as in proteins larger than several domains.

Current solutions to address this include hardware acceleration (e.g., flash attention implementation that achieves linear complexity for input sizes below several thousand tokens on current GPUs), random sampling, low-rank attention operations, and sub-quadratic models, such as those utilizing fast Fourier transforms or state-space models. This project seeks to explore a new class of models that employ a hierarchical tree-based representation of data, aiming for complexity that scales as O(NlogN) or even O(N) with respect to the input size N. A key aspect of our proposed approach will be preserving certain symmetries of the data by constructing operations that are roto-translationally equivariant. In essence, we aim to develop SE(3) and E(3)-equivariant architectures, featuring trainable model parameters invariant to global, or even local, transformations of the input data. We will apply the developed mechanisms to specific biological data featuring discrete and continuous structural heterogeneity, thereby advancing the current state of the art in computational structural biology. We primarily aim at predicting molecular geometries with regression tasks and also flow-matching and optimal transport in the roto-translational SE(3)N space. However, we will also test the developed approaches in sequence generation applications.

The proposed project builds on the activities of supervisors and serve as a continuation of the candidate's Master's project. Sergei Grudinin (LJK) has been developing invariant and equivariant DL models with applications in medical imaging and structural biology. Boris Thibert (LJK) is a specialist in computational geometry and optimal transport. He will supervise the formulation of the generative tasks. The external collaborator, Risi Kondor from Chicago University, is a world-leading specialist in geometric deep learning approaches and equivariant networks with applications to molecular design. He will oversee geometric modeling part. The supervisors, along with the Ph.D. candidate, will hold weekly technical meetings where the candidate will present updates on the project, and we will collaboratively discuss future strategies. The candidate will also actively participate in weekly group meetings and journal clubs. The ultimate goal of the project is to propose geometric networks that are expressive and applicable to very large biological systems, such as those composed of protein and RNA complexes, and can effectively train on data exhibiting structural heterogeneity.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/2026

Concours allocations

Université Grenoble Alpes

217 MSTII - Mathématiques, Sciences et technologies de l'information, Informatique

Nous recherchons des personnes créatives, passionnées et travailleuses, issues d'une formation en mathématiques appliquées et en informatique, possédant un talent exceptionnel pour l'informatique et les mathématiques et un intérêt pour la physique computationnelle et la biologie. D'excellentes compétences en communication orale, écrite et interpersonnelle sont essentielles (la langue de travail sera l'anglais – la connaissance du français est un plus). Une excellente connaissance de la science des données et de PyTorch est requise. Des connaissances en programmation parallèle/traitement du signal/apprentissage automatique/biologie structurale seront un atout.
We are looking for creative, passionate and hard-working individuals from applied math / computer science background with exceptional talent for computer science and mathematics and interest in computational physics and biology. Excellent oral, written and interpersonal communication skills are essential (working language will be English – knowledge of French is a plus). Excellent knowledge of data science and PyTorch is required. Knowledge of parallel programming / signal processing / machine learning / structural biology will be an asset.