2023 MRS 참가 후기 및 소재 분야에서의 AI 적용 동향

1. Introduction

미국 재료 학회(Materials Research Society, MRS)가 매년 봄/가을 개최하는 MRS Spring Meeting / Fall Meeting은 소재 분야에서 가장 대표적인 학회 중 하나로, 매회 1만 명 이상의 세계 연구자들이 참가합니다. 특히 머신러닝(Machine Learning) / 실험실 자동화(Lab Automation) 주제 관련 세션인 “Materials Computing and Data Science”의 규모는 매년 확대되고 있습니다. 2020년 MRS Fall Meeting까지만 해도 한 세션의 하부 주제로 진행되고 전체 세션 중 약 4% 정도 규모였으나, 이번 2023년 MRS Fall Meeting에서는 세션 수와 발표 수 기준으로 전체의 약 9% 정도를 차지할 정도로 관련 연구가 많아졌습니다. 특히 이번 학회의 시작을 알리는 기조 강연을 분자의 Inverse Design을 처음 개발한 AI 기반 소재 개발의 선두 주자, 토론토 대학의 앨런 아스푸루-구직(Alan Aspuru-guzik) 교수가 “The Future of Chemistry is Self-Driving”이라는 주제로 진행한 점에서 이러한 연구 트렌드를 직접적으로 확인할 수 있었습니다. (이미지 1) 뿐만 아니라, 이번 학회에는 구글(Google), IBM, 마이크로소프트(Microsoft)를 포함한 빅테크 기업들도 참가하면서 IT 업체들의 소재개발에 대한 관심을 확인할 수 있었습니다.

이미지 1. Alan Aspuru-guzik 교수의 기조강연 현장.
AI를 이용한 소재 발굴 및 이를 실현시키기 위한 실험 자동화에 대하여 소개

이번 글에서는 학회의 주요 연구 주제였던 AI 기반의 Interatomic Potential (IAP)^* 연구, Lab Automation 연구, 거대 언어 모델(LLM)의 활용에 대하여 소개하고자 합니다.

* IAP : 분자/소재 내 원자들의 포텐셜 에너지를 나타내며, 소재의 기계적 특징을 이해하거나 동역학적 특징을 알기 위한 시뮬레이션에 사용됨. Machine Learning 기반의 IAP는 ML-IAP로 불림

2. Materials Discovery - Google Deepmind
- Graph Networks of Material Exploration (GNoME)^[1]

이미지 2. GNoME 발표 현장

이번 학회에서 구글 딥마인드(Google Deepmind)는 소재 분야에서의 연구 성과를 깜짝 공개했습니다. (이미지 2) 발표 당일 Nature에 공개된 연구 내용으로 무기 소재에 관한 연구였습니다. 무기 소재 데이터 규모를 기존 대비 10배 확장함과 동시에 새로운 소재 후보들을 다수 발굴할 수 있었고, 신규 데이터베이스를 학습한 예측 모델의 일반화 성능이 향상되었다는 내용이었습니다.

무기 소재는 안정화도에 따라 하나의 소재가 두 개 이상으로 나누어지는 상분리가 가능하기에, 안정한 무기 소재에 대한 데이터(DB)를 확대하는 데 어려움이 있었습니다. 딥마인드는 이러한 어려움을 해결하면서 DB를 확대할 수 있는 Active Learning 기반의 소재 생성 방법을 사용했습니다. 우선 구조 및 조성에서 각각 새로운 소재를 생성하고, AI 모델을 이용해 생성된 소재 중에서 안정할 것으로 예측되는 소재들만 계산과학을 통해 계산하며 DB를 확장했습니다. 이를 반복함으로써, 기존에 10~20만 개의 구조에 머물러있던 소재의 DB 규모를 10배가량 증가된 220만 개로 확대하는데 성공했습니다. 이 과정에서 조성 기준 38만여 개의 새로운 안정한 소재들을 발굴할 수 있었는데, 이 중에는 배터리와 관련된 소재 543개가 포함되어 있습니다.

표 1. GNoME Active Learning Frame^[1]

신규 소재가 발굴되는 과정을 확인해 보면 Active Learning을 적용한 이후 일정 시점이 지났을 때부터 새로운 소재들이 급격히 발굴되는 것을 확인할 수 있었습니다. 이는 소재의 안정화도를 예측하는 모델의 성능이 향상되면서 가능해 졌습니다. 또한, 소재 DB를 지속적으로 확대하며 신규 소재에 대한 에너지 예측 성능이 향상되는 것을 확인할 수 있었습니다. (표 2)

표 2. (b) 시간에 따른 조성 기준 안정한 물질 소재 수, (c) 신규 소재 예시, (d) 안정화도 예측 성능 및
(e) 데이터 수에 따른 새로운 소재의 에너지 예측 성능(MAE)^[1]

표 3. 신규 DB로 학습된 모델의 예측 성능(분류(a), Force(b, c, d))^[1]

확대된 데이터를 이용하여 학습한 ML-IAP인 GNoME potential은 E(3)-equivariant model로 기존 SOTA 모델인 NequIP potential^[2]을 활용한 것으로, formation energy와 forces를 타겟으로 Huber loss를 이용하여 학습했습니다. 기존에 다양한 분야에서 Zero-shot으로 적용가능한 ML-IAP (Universal Neural Network Potential: UNNP)들인 M3GNet^[3], CHGNet^[4] 대비 향상된 성능을 가지는 것을 확인했습니다. (표 3)

3. Autonomous Laboratory (A-Lab) - 버클리 대학 거브란트 시더 교수^[5]

이미지 3. Autonomous Laboratory (A-Lab) 발표 현장

앞서 구글 딥마인드가 신규 소재 후보들을 제안하였는데, 이 후보 소재들에 대한 합성이 성공적으로 진행되었을 때 그 가치를 정확히 평가받을 수 있을 것입니다. 하지만, 새로운 소재를 합성하는 방법을 찾는 과정 또한 시간이 소모되는데, 배터리 소재 포함 무기 소재 분야의 저명한 버클리 대학의 거브란트 시더(Gerbrand Ceder) 교수가 이 문제를 해결할 수 있는 실마리인 실험 자동화(A-Lab: An autonomous laboratory for the solid-state synthesis of inorganic powders)에 대해 발표했습니다. (이미지 3)

A-Lab은 AI로 소재 합성 방법을 설계하는 것(Retrosynthesis) 뿐만 아니라 로봇을 이용하여 소재를 합성하고 합성된 소재에 대해서는 분석(X-ray diffraction)까지 자동으로 진행하여, 타겟 물질의 5_합성부터 합성의 성공 여부까지 판단하는 전체 과정을 자동화했습니다. (표 4) 전 과정 중 핵심 모델 중 하나인 소재 합성 설계(Retrosynthesis)를 하는 AI 모델^[6] 개발 과정에서는 사전에 Text mining을 통해 데이터를 수집하는 과정을 거치기도 했습니다. 그리고, 해당 설계안을 통한 합성이 실패한 경우에는 Active learning으로 새로운 설계안을 제안하고 다시 실험하는 반복 과정을 빠르게 진행했습니다. 그 결과 17일 동안 355번의 실험이 진행되었으며, 그 결과 58개의 신규 소재 후보 중에 41개 소재를 성공적으로 합성할 수 있었습니다. 특히, 58개 중 52개의 소재에 대해서는 이전에 알려진 합성 정보가 없었기에 이 결과는 더욱 고무적이었습니다. 추가적으로, 사람이 실패안들을 분석하여 설계안을 보완함으로써 최종적으로는 43개의 소재에 대해 합성할 수 있었습니다.

표 4. Autonomous materials discovery with the A-Lab^[5]

발표 마무리에서 시더 교수는 최종 성과를 내는 과정에서 Data, Software, Physics-Infused AI가 핵심이었다고 이야기하며, 하나의 큰 과제를 성공하기 위해서는 Big AI, Small AI가 모두 필요함을 상기시켰습니다. 현재는 합성 성공률이 70%대인데, 이는 향후 85~90%까지 향상될 수 있을 것으로 기대한다고 덧붙였습니다.

4. Multi-modal Learning - IBM

IBM은 이번 학회에서 언어 기반의 예측 모델이나 멀티모달리티(Mulit-modality)를 이용한 모델들을 공유했습니다. 본 글에서는 Best Poster 상을 받은 연구 결과(LLM-Prop^[7])를 소개해드리겠습니다.

기존 소재의 물성 예측에는 graph neural networks (GNN)가 초기 fingerprint 기반의 예측 모델들을 압도하면서 많이 활용되고 있었습니다. 본 연구는 최근 많은 분야에서 활용되고 있는 LLM을 소재 분야의 물성 예측 분야에 적용해본 것(표 5)으로, 물성 예측에서 LLM의 가능성을 확인시켜 주었습니다.

표 5. LLM-Prop architecture^[7]

표 6. 학습 데이터 규모에 따른 예측 성능 비교. (GNN models: CGCNN, MEGNet, ALIGNN, Language models: MatBERT, LLM-Prop)^[7]

LLM-Prop은 우선 무기 소재의 구조를 Robocrystallographer^[8]를 활용해 구조에 대한 설명(description)으로 변환한 후, 전처리(처음에 [CLS] token 추가, bond 길이, 각도의 token화)를 진행했습니다. 이후, 사전학습된 Encoder-Decoder 모델인 T5^[9]와 하나의 Linear layer를 이용하여 Finetuning하는 방식으로 최종 Regression/Classification task를 진행했습니다.

그 결과 LLM-Prop은 기존 GNN기반의 SOTA 모델 대비 band gap 예측에서 3~4% 뛰어난 성능을 보여주었으며, 도메인 특화된 Encoder 모델인 MatBERT보다 3배 경량화되어 있으면서도 성능이 뛰어남을 확인할 수 있었습니다. (표 6) 이러한 결과는 언어 모델들은 쉽게 반영할 수 있는 대칭성과 같은 거시적 특성들이 GNN에서는 반영하기 어려웠기 때문이었을 것으로 예상됩니다.

5. Conclusion

학계를 중심으로 소재 개발에 있어 AI를 활용한 사례가 점차 증가하고 있으며, 관련 연구들에 빅테크 기업들도 참여하기 시작하면서 연구를 발표하는 사례들이 점차 많아지고 있습니다. 이번 MRS Fall Meeting에 참가했던 구글, IBM, 마이크로소프트뿐만 아니라, 메타(Meta)에서도 관심을 가지고 학계 연구자들과 꾸준히 협력을 진행^[10]하고 있어, 이러한 트렌드는 일시적인 것이 아니라 지속적으로 확장될 것으로 예상됩니다. 그리고, 거대 언어 모델을 소재 분야에 활용한 연구들도 가능성을 보이기 시작하여 관련 연구도 늘어갈 것으로 예상됩니다.

이와 더불어, 실질적으로 소재를 다루는 실험 연구를 어떻게 더 효율적으로 진행할 수 있을지에 대한 고민으로 AI와 로봇을 이용한 실험 자동화에 대한 연구도 점점 확장하고 있습니다. 구글과 버클리 대학 간의 협력 사례는 사람이 최소한으로 개입하는 소재 개발 연구의 단편을 보여주었습니다. 장기적으로는 여러 자동화 설비가 연계되고 그에 맞는 AI들이 적용되어 진정한 의미에서의 소재 개발이 한층 더 가속화될 것으로 기대됩니다.

LG AI연구원 MI(Materials Intelligence) 랩에서도 최신 AI 기술을 적용해 다양한 신소재, 신물질 개발에 도전하고 있습니다. MI Lab은 Data와 AI 기술을 소재 개발에 활용하여 기존 연구 방식의 한계를 극복하고 과학자들의 연구 활동을 강화하며, 인류의 삶을 변화시킬 수 있는 연구를 이어나갈 예정입니다.