Un nouveau modèle d'IA transforme la compréhension du métal

Sep 21, 2023

13 mars 2023

Cet article a été révisé conformément au processus éditorial et aux politiques de Science X. Les éditeurs ont mis en évidence les attributs suivants tout en garantissant la crédibilité du contenu :

fact-vérifié

publication à comité de lecture

source fiable

relire

by Ecole Polytechnique Federale de Lausanne

Comment un iPhone prédit-il le prochain mot que vous allez taper dans vos messages ? La technologie derrière cela, et également au cœur de nombreuses applications d'IA, s'appelle un transformateur ; un algorithme d'apprentissage en profondeur qui détecte des modèles dans des ensembles de données.

Maintenant, des chercheurs de l'EPFL et du KAIST ont créé un transformateur pour Metal-Organic Frameworks (MOFs), une classe de matériaux cristallins poreux. En combinant des lieurs organiques avec des nœuds métalliques, les chimistes peuvent synthétiser des millions de matériaux différents avec des applications potentielles dans le stockage de l'énergie et la séparation des gaz.

Le "MOFtransformer" est conçu pour être le ChatGPT pour les chercheurs qui étudient les MOF. Son architecture est basée sur une IA appelée Google Brain qui peut traiter le langage naturel et constitue le cœur des modèles de langage populaires tels que GPT-3, le prédécesseur de ChatGPT. L'idée centrale derrière ces modèles est qu'ils sont pré-formés sur une grande quantité de texte, donc lorsque nous commençons à taper sur un iPhone, par exemple, des modèles comme celui-ci "savent" et complètent automatiquement le mot suivant le plus probable.

"Nous voulions explorer cette idée pour les MOF, mais au lieu de suggérer un mot, nous voulions qu'il suggère une propriété", explique le professeur Berend Smit, qui a dirigé la partie EPFL du projet. "Nous avons pré-formé le MOFTransformer avec un million de MOF hypothétiques pour apprendre leurs caractéristiques essentielles, que nous avons représentées sous forme de phrase. Le modèle a ensuite été formé pour compléter ces phrases afin de donner les caractéristiques correctes du MOF."

Les chercheurs ont ensuite affiné le MOFTransformer pour des tâches liées au stockage de l'hydrogène, telles que la capacité de stockage de l'hydrogène, son coefficient de diffusion et la bande interdite du MOF (une "barrière d'énergie" qui détermine la facilité avec laquelle les électrons peuvent se déplacer à travers un matériau ).

L'approche a montré que le MOFTransformer pouvait obtenir des résultats en utilisant beaucoup moins de données par rapport aux méthodes d'apprentissage automatique conventionnelles, qui nécessitent beaucoup plus de données. "Grâce à la pré-formation, le MOFTtransformer connaît déjà de nombreuses propriétés générales des MOF ; et grâce à cette connaissance, nous avons besoin de moins de données pour nous entraîner à une autre propriété", explique Smit. De plus, le même modèle pourrait être utilisé pour toutes les propriétés, alors que dans l'apprentissage automatique conventionnel, un modèle distinct doit être développé pour chaque application.

Le MOFTransformer change la donne pour l'étude des MOF, fournissant des résultats plus rapides avec moins de données et une compréhension plus complète du matériau. Les chercheurs espèrent que le MOFTransformer ouvrira la voie au développement de nouveaux MOF aux propriétés améliorées pour le stockage de l'hydrogène et d'autres applications.

Les résultats sont publiés dans la revue Nature Machine Intelligence.

Plus d'information: Jihan Kim, Un transformateur de pré-formation multimodal pour l'apprentissage par transfert universel dans les cadres métal-organiques, Nature Machine Intelligence (2023). DOI : 10.1038/s42256-023-00628-2. www.nature.com/articles/s42256-023-00628-2

Informations sur la revue :Intelligence des machines naturelles

Provided by Ecole Polytechnique Federale de Lausanne