Nous sommes une équipe d'ingénieurs et d'étudiants de troisième cycle qui étudions comment l'IA en général, et un sous-ensemble de l'IA appelé apprentissage automatique en particulier, peuvent transformer la propulsion des engins spatiaux. De l'optimisation des moteurs thermiques nucléaires à la gestion du confinement complexe du plasma dans les systèmes de fusion, l'IA redéfinit la conception et l'exploitation de la propulsion. Elle devient rapidement un partenaire indispensable dans la conquête des étoiles.

• Marcos Fernandez Tous 
• Preeti Nair 
• Sai Susmitha Guddanti 
• Sreejith Vidhyadharan Nair 

Apprentissage automatique et apprentissage par renforcement

L'apprentissage automatique est une branche de l'IA qui identifie des modèles dans des données sur lesquelles elle n'a pas été explicitement entraînée. C'est un vaste domaine avec ses propres branches et de nombreuses applications. Chaque branche de l'apprentissage imite l'intelligence de différentes manières : en reconnaissant des schémas, en analysant et en générant du langage, ou en apprenant de l'expérience. Ce dernier sous-ensemble, en particulier, communément appelé apprentissage par renforcement, enseigne aux machines à accomplir leurs tâches en évaluant leurs performances, ce qui leur permet de s'améliorer continuellement grâce à l'expérience.

Prenons l'exemple d'un joueur d'échecs. Ce dernier ne calcule pas chaque coup, mais reconnaît plutôt des schémas en jouant des milliers de parties. L'apprentissage par renforcement crée une expertise intuitive similaire chez les machines et les systèmes, mais à une vitesse et une échelle de calcul impossibles pour les humains. Il apprend par l'expérience et l'itération en observant son environnement. Ces observations permettent à la machine d'interpréter correctement chaque résultat et de déployer les meilleures stratégies pour que le système atteigne son objectif.

L'apprentissage par renforcement peut améliorer la compréhension humaine des systèmes extrêmement complexes - ceux qui mettent à l'épreuve les limites de l'intuition humaine. Il peut aider à déterminer la trajectoire la plus efficace pour un vaisseau spatial se dirigeant n'importe où dans l'espace, et ce, en optimisant la propulsion nécessaire pour y parvenir. Il peut également permettre de concevoir de meilleurs systèmes de propulsion, depuis la sélection des matériaux les plus performants jusqu'à l'élaboration de configurations optimisant le transfert de chaleur entre les composants du moteur.

L'apprentissage par renforcement est particulièrement utile lorsque nous souhaitons entraîner des IA à acquérir des compétences que nous ne maîtrisons pas pleinement. Contrairement à certaines techniques abordées jusqu'ici, l'apprentissage par renforcement s'intéresse généralement à la manière dont une IA effectue une tâche APRÈS l'avoir terminée. Et lorsqu'une IA accomplit cette tâche, déterminer quand et comment la récompenser (ce qu'on appelle l'attribution de crédit) est l'un des aspects les plus complexes de l'apprentissage par renforcement. © Crash Course AI est produit en association avec PBS Digital Studios

Apprentissage par renforcement pour les systèmes de propulsion

En matière de propulsion spatiale, l'apprentissage par renforcement se divise généralement en deux catégories : les techniques d'assistance à la conception - lorsque les ingénieurs définissent les besoins de la mission et les capacités du système - et celles qui soutiennent le fonctionnement en temps réel une fois le vaisseau spatial en vol.

Parmi les concepts de propulsion les plus prometteurs et les plus originaux figure la propulsion nucléaire, qui exploite les mêmes forces qui alimentent les bombes atomiques et le Soleil : la fission et la fusion nucléaires.

La fission consiste à scinder des atomes lourds comme l'uranium ou le plutonium pour libérer de l'énergie - un principe utilisé dans la plupart des réacteurs nucléaires terrestres. La fusion, quant à elle, fusionne des atomes plus légers comme l'hydrogène pour produire encore plus d'énergie, mais elle requiert des conditions beaucoup plus extrêmes pour se déclencher.

Une présentation de la propulsion nucléaire thermique. Pour obtenir une traduction en français assez fidèle, cliquez sur le rectangle blanc en bas à droite. Les sous-titres en anglais devraient alors apparaître. Cliquez ensuite sur l'écrou à droite du rectangle, puis sur « Sous-titres » et enfin sur « Traduire automatiquement ». Choisissez « Français ». © CoconutScienceLab, Nasa

La fission est une technologie plus mature qui a été testée sur certains prototypes de propulsion spatiale. Elle a même été utilisée dans l'espace sous la forme de générateurs thermoélectriques à radio-isotopes, comme ceux qui ont alimenté les sondes Voyager. Mais la fusion demeure une frontière fascinante.

La propulsion nucléaire thermique pourrait un jour permettre aux engins spatiaux d'atteindre Mars et au-delà à un coût inférieur à celui de la simple combustion de carburant. Elle permettrait d'y parvenir plus rapidement que la propulsion électrique, qui utilise un gaz chauffé composé de particules chargées appelé plasma.

Contrairement à ces systèmes, la propulsion nucléaire repose sur la chaleur générée par les réactions atomiques. Cette chaleur est transférée à un propergol, généralement de l'hydrogène, qui se détend et est expulsé par une tuyère pour produire la poussée et propulser l'engin.

Alors, comment l'apprentissage par renforcement peut-il aider les ingénieurs à développer et à exploiter ces technologies puissantes ? Commençons par la conception.

La source de chaleur nucléaire du rover Curiosity sur Mars, qui fait partie d'un générateur thermoélectrique à radio-isotopes, est enfermée dans une enveloppe de graphite. Le combustible devient incandescent en raison de la désintégration radioactive du plutonium-238. © Laboratoire national de l'Idaho

Le rôle de l'apprentissage par renforcement dans la conception

Les premiers prototypes de propulsion nucléaire thermique des années 1960, comme ceux du programme Nerva (Nuclear Engine for Rocket Vehicle Application) de la Nasa, utilisaient du combustible d'uranium solide moulé en blocs prismatiques. Depuis, les ingénieurs ont exploré différentes configurations, des lits de billes de céramique aux anneaux rainurés dotés de canaux complexes.

Pourquoi tant d'expérimentations ? Parce que plus un réacteur transfère efficacement la chaleur du combustible à l'hydrogène, plus sa poussée est importante.

C'est dans ce domaine que l'apprentissage par renforcement s'avère essentiel. Optimiser la géométrie et le flux de chaleur entre le combustible et le propergol est un problème complexe, impliquant d'innombrables variables : des propriétés des matériaux à la quantité d'hydrogène circulant dans le réacteur à un instant donné. L'apprentissage par renforcement permet d'analyser ces variations de conception et d'identifier les configurations qui maximisent le transfert de chaleur. Imaginez un thermostat intelligent, mais pour un moteur de fusée : mieux vaut ne pas s'en approcher de trop près, compte tenu des températures extrêmes.

Une présentation du programme Nerva à la fin des années 1960. Pour obtenir une traduction en français assez fidèle, cliquez sur le rectangle blanc en bas à droite. Les sous-titres en anglais devraient alors apparaître. Cliquez ensuite sur l'écrou à droite du rectangle, puis sur « Sous-titres » et enfin sur « Traduire automatiquement ». Choisissez « Français ». © Domaine public

Apprentissage par renforcement et technologie de fusion

L'apprentissage par renforcement joue également un rôle clé dans le développement de la technologie de fusion nucléaire. Des expériences à grande échelle, comme le tokamak JT-60SA au Japon, repoussent les limites de l'énergie de fusion, mais leur taille imposante les rend incompatibles avec les vols spatiaux. C'est pourquoi les chercheurs explorent des conceptions compactes telles que les polywells. Ces dispositifs originaux ressemblent à des cubes creux de quelques centimètres de diamètre et confinent le plasma dans des champs magnétiques afin de créer les conditions nécessaires à la fusion.

Contrôler les champs magnétiques au sein d’un polywell est un véritable défi. Ces champs doivent être suffisamment puissants pour maintenir les atomes d'hydrogène en mouvement jusqu'à leur fusion - un processus qui exige une énergie considérable à son démarrage, mais qui peut devenir auto-entretenu une fois amorcé. Relever ce défi est indispensable pour adapter cette technologie à la propulsion nucléaire thermique.

Illustration d'un habitat de transit martien et d'un système de propulsion nucléaire qui pourraient un jour permettre aux astronautes de se rendre sur Mars. © Nasa

Apprentissage par renforcement et production d’énergie

Cependant, le rôle de l'apprentissage par renforcement ne se limite pas à la conception. Il peut contribuer à la gestion de la consommation de carburant - une tâche cruciale pour les missions qui doivent s'adapter en temps réel. Dans l'industrie spatiale actuelle, on observe un intérêt croissant pour les engins spatiaux capables de remplir différentes fonctions selon les besoins de la mission et leur capacité d'adaptation aux changements de priorités.

Les applications militaires, par exemple, doivent réagir rapidement à l'évolution du contexte géopolitique. Le satellite LM400 de Lockheed Martin, doté de capacités variées telles que l'alerte antimissile et la télédétection, illustre parfaitement l'adaptation des technologies aux évolutions rapides.

Cependant, cette flexibilité engendre une part d'incertitude. Quelle quantité de carburant une mission nécessitera-t-elle ? Et à quel moment ? L'apprentissage par renforcement peut faciliter ces calculs.

Des vélos aux fusées, l'apprentissage par l'expérience - qu'elle soit humaine ou artificielle - façonne l'avenir de l'exploration spatiale. Tandis que les scientifiques repoussent les limites de la propulsion et de l'intelligence artificielle (IA), cette dernière joue un rôle croissant dans les voyages spatiaux. Elle pourrait permettre aux scientifiques d'explorer notre Système solaire et au-delà, ouvrant ainsi la voie à de nouvelles découvertes.