[ICML2026] 리만기하학으로 해결하는 데이터 부족 문제

AI for Science는 언어나 이미지처럼 일상적으로 접하는 데이터가 아니라 분자, 결정 구조, 화학 반응과 같이 전문적인 과학 지식이 필요한 대상을 다룹니다. 이러한 특성 때문에 컴퓨터공학뿐 아니라 물리학, 화학, 생명과학, 수학, 재료공학 등 다양한 전공의 연구자들이 함께 연구하고 있습니다.

최근, AI for Science를 표방하는 스타트업과 연구 조직이 빠르게 늘어나고 있습니다. 하지만 AI로 새로운 분자나 소재를 제안하는 것과 이를 실제 제품으로 구현하는 것은 다른 차원의 문제입니다. 후보 물질을 합성하고 물성을 측정한 뒤 제품 설계와 양산까지 이어가기  위해서는 대규모의 연구개발 및 생산 인프라가 필요합니다.

LG는 화학, 에너지, 전자, 디스플레이, 생활용품 등 다양한 제조 분야에서 이러한 인프라를 이미 갖추고 있습니다. 이를 바탕으로 AI를 활용한 후보 탐색부터 실험, 검증, 제품 개발과 양산까지 하나의 파이프라인으로 연결할 수 있다는 점은 LG가 AI for Science 분야에서 지닌 중요한 경쟁력입니다.

그러나 실제 소재 개발 현장에는 데이터와 관련한 근본적인 어려움이 있습니다. 물성에 따라 확보할 수 있는 데이터의 양이 크게 다르기 때문입니다. 어떤 물성은 수억 건 이상의 데이터를 확보할 수 있지만, 다른 물성은 수십 건에 불과하기도 합니다.

특히 측정에 많은 시간과 비용이 필요한 물성일수록 데이터가 부족한 경우가 많습니다. 이러한 물성은 실제 신소재 개발에서 중요한 목표가 되기도 합니다. 즉, AI를 가장 필요로 하는 문제일수록 정작 AI 학습에 필요한 데이터가 부족한 셈입니다.

이번 ICML 2026에서 발표한 GEAR와 Sim-GEAR는 이러한 과학 데이터의 불균형 문제를 해결하기 위해 시작된 연구입니다.

데이터 부족 문제를 해결하는 대표적인 방법 중 하나가 Transfer Learning입니다. 데이터가 충분한 Source Task로 모델을 먼저 학습한 뒤, 여기서 얻은 지식을 데이터가 부족한 Target Task에 전달하는 방식입니다.

기존 방법에서는 Source Model의 일부 Parameter를 Target Model에 복사하거나, 서로 다른 모델의 Latent Vector가 직접 유사해지도록 학습하는 경우가 많았습니다. 하지만 두 모델이 서로 다른 물성을 학습하면 내부의 Latent Space 역시 서로 다른 형태로 만들어질 수 있습니다.

예를 들어 하나의 모델은 분자의 끓는점을 예측하고, 다른 모델은 녹는점을 예측한다고 가정해 보겠습니다. 두 모델은 동일한 분자 구조를 입력으로 받지만 서로 다른 목표를 학습합니다. 따라서 두 모델의 Latent Vector는 같은 물질 정보를 포함하더라도 서로 다른 좌표와 형태로 표현될 수 있습니다.

LG AI연구원의 연구는 이러한 차이를 단순한 Vector 값이 아니라 공간의 기하학적 차이로 해석합니다.

딥러닝 모델은 여러 차례의 선형변환과 비선형 Activation을 통해 입력 데이터를 반복적으로 변형합니다. 모델 내부의 Latent Vector는 단순한 숫자 배열이 아니라, 입력 데이터를 예측하는 데 적합하도록 표현된 좌표라고 볼 수 있습니다.

기존 Transfer Learning에서는 이러한 Latent Vector가 평평한 유클리드 공간에 있다고 가정하고 두 Vector 사이의 거리를 직접 비교하는 경우가 많았습니다. 하지만 복잡한 비선형변환을 거쳐 만들어진 Latent Space가 전체적으로 평평하다고 보기는 어렵습니다.

구의 표면에서 두 점 사이의 거리를 평면상의 직선거리만으로 설명하기 어려운 것처럼, 서로 다른 모델의 Latent Space 역시 공간의 휘어진 구조까지 고려해야 정확하게 비교할 수 있습니다.

이러한 곡면의 구조를 다루는 수학이 리만 기하학입니다. LG AI연구원은 리만 기하학을 이용해 서로 다른 물성 예측 모델의 Latent Space를 연결하는 새로운 Transfer Learning 방법을 개발했습니다.

GEAR는 데이터가 풍부한 Source Model과 데이터가 부족한 Target Model의 Latent Space에서 곡률을 계산하고, 두 공간의 기하학적 구조가 유사해지도록 학습하는 방법입니다.

먼저 Source와 Target의 Latent Vector를 각각 Transformation Model을 통해 공통된 좌표계로 이동시킵니다. 두 모델은 동일한 분자나 고체 구조를 입력으로 받으므로, 공통 좌표계에서는 동일한 물질에 대응하는 표현이 서로 가까워지도록 정렬할 수 있습니다.

Transformation Model을 미분하면 Jacobian을 얻을 수 있습니다. Jacobian은 변환 전 Latent Space의 작은 변화가 공통 좌표계에서 어떤 방향과 크기로 나타나는지를 설명합니다.

이 Jacobian으로부터 Latent Space의 거리와 각도를 정의하는 Metric을 계산할 수 있습니다. 행렬 형태로는 $g=J^{\tau }J$로 표현되며, 이를 Induced Metric이라고 부릅니다.

Metric을 미분하면 곡면 위에서 Vector의 변화를 설명하는 Connection을 얻을 수 있으며, 이를 다시 조합하면 공간의 곡률을 계산할 수 있습니다. GEAR에서는 복잡한 곡률 정보를 하나의 값으로 축약한 Ricci Scalar를 사용했습니다.
Source와 Target Latent Space의 Ricci Scalar가 유사해지도록 학습하면, Target Model은 Source Model의 좌표 값을 그대로 복사하는 것이 아니라 데이터가 풍부한 Source Task가 학습한 공간의 기하학적 구조를 전달받게 됩니다.

이러한 접근은 서로 다른 모델 구조나 Embedding을 사용하는 경우에도 적용할 수 있습니다. Latent Vector의 실제 좌표는 모델에 따라 달라질 수 있지만, 곡률은 단순한 좌표 변환에 영향을 받지 않는 기하학적 특성이기 때문입니다.

GEAR의 개념은 비교적 직관적이지만, 실제 구현은 매우 복잡합니다. Ricci Curvature를 계산하려면 Transformation Model에 대한 1차 미분뿐 아니라 Metric과 Connection을 얻기 위한 고차 미분이 반복적으로 필요합니다.

PyTorch의 Autograd를 중첩해 이러한 계산을 수행하면 Computational Graph가 매우 커지고 GPU 메모리 사용량이 급격하게 증가합니다. Latent Dimension이나 Batch Size가 커질 경우 현실적인 환경에서 모델을 학습하기 어려워집니다.

연구진은 이 문제를 해결하기 위해 Transformation Model을 구성하는 SiLU Activation과 각 Layer의 미분식을 직접 유도했습니다. 이후 Chain Rule에 따라 Layer별 미분값을 결합해 전체 모델의 Jacobian과 곡률을 계산하도록 구현했습니다.

이를 통해 Autograd가 모든 중간 계산을 저장할 필요가 없도록 만들었으며, 곡률 기반 Transfer Learning을 현실적인 시간과 메모리 범위 안에서 수행할 수 있었습니다.

GEAR는 이러한 연구 성과를 인정받아 ICML 2026 메인 콘퍼런스에 채택되었습니다.

GEAR는 Latent Space의 기하학을 Transfer Learning에 활용할 수 있다는 가능성을 제시했지만, 두 가지 한계가 있었습니다.

첫 번째는 계산량입니다. Metric으로부터 Connection과 Curvature를 계산하려면 여러 단계의 고차 미분이 필요합니다. 직접 미분식을 구현해 계산 효율을 높였지만, 곡률 계산 자체가 복잡하다는 문제는 여전히 남아 있었습니다.

두 번째는 정보의 축약입니다. GEAR가 사용하는 Ricci Scalar는 공간의 곡률 정보를 하나의 숫자로 요약합니다. 비교하기 쉽다는 장점이 있지만, 공간의 방향별 거리와 각도 정보를 모두 보존하지는 못합니다. 따라서 서로 다른 형태의 공간이 비슷한 Ricci Scalar를 가질 가능성도 있습니다.

이러한 한계에서 새로운 질문이 생겼습니다.

우리의 목표는 Curvature 자체를 계산하는 것이 아니라, Source와 Target Latent Space가 서로 대응되는 기하학적 구조를 갖게 하는 것입니다. 그렇다면 Curvature를 계산하기 전 단계인 Metric을 직접 비교하는 것이 더 효과적일 수 있습니다.

이 아이디어에서 출발한 방법이 Sim-GEAR입니다.

Sim-GEAR는 GEAR와 마찬가지로 Transformation Model의 Jacobian을 이용해 Latent Space의 Metric을 계산합니다. 하지만 Metric을 다시 미분해 Curvature를 계산하지 않고, Source와 Target의 Metric을 직접 정렬합니다.

Metric은 공간에서 거리와 각도를 정의합니다. 따라서 두 공간의 Metric이 대응한다는 것은 동일한 입력 주변의 거리 구조와 변화 방향이 서로 유사하다는 것을 의미합니다.

이러한 관계는 Basis의 관점에서도 이해할 수 있습니다. 공간의 각 지점에는 여러 방향을 나타내는 Basis Vector가 존재하고, Metric은 이 Basis Vector 사이의 내적 관계를 표현합니다.
Transformation Model의 Jacobian은 변환 전 Latent Space의 Basis가 공통 좌표계에서 어떻게 변환되는지를 나타냅니다.

따라서 Source와 Target의 Metric과 Basis 구조를 정렬하면 단순히 두 Latent Vector의 위치만 맞추는 것이 아니라, 그 주변에서 입력 변화가 표현되는 방식까지 전달할 수 있습니다.

예를 들어 Source Latent Space에서 특정 방향의 변화가 물성 예측에 중요한 역할을 한다면, Target Latent Space에도 이에 대응하는 방향이 형성되도록 학습하는 것입니다.

Sim-GEAR는 GEAR의 기하학적 관점을 유지하면서도, Curvature보다 더 직접적인 Metric 정보를 활용합니다. Ricci Scalar가 여러 방향의 정보를 하나의 값으로 압축하는 것과 달리 Metric은 방향별 거리와 각도 정보를 행렬 형태로 보존합니다.

Sim-GEAR에서는 Curvature 계산이 제거되기 때문에 복잡한 고차 미분과 대규모 Computational Graph가 크게 줄어듭니다.

계산 복잡도는 GEAR의 대략적인 4차 규모에서 Sim-GEAR의 3차 규모 연산으로 낮아집니다. Latent Dimension이 커질수록 이러한 계산 효율의 차이는 더욱 크게 나타납니다.

실험에서 Sim-GEAR는 GEAR와 비교해 계산 속도를 약 91.1% 향상시켰으며, 메모리 사용량은 약 62.6% 줄였습니다. 이를 통해 동일한 하드웨어 환경에서 더 큰 Latent Dimension과 Batch Size를 활용할 수 있게 되었습니다.

일반적으로 계산을 단순화하면 성능 손실이 발생할 수 있습니다. 그러나 Sim-GEAR는 GEAR보다 단순한 구조를 사용하면서도 다양한 분자 물성 데이터셋에서 안정적인 Transfer Learning 성능을 보였습니다.

이는 Curvature 계산을 제거한 것이 기하학적 정보를 포기한 것이 아니라, Transfer Learning에 실제로 필요한 정보를 Metric 단계에서 더 직접적으로 활용한 결과로 해석할 수 있습니다.

LG AI연구원은 ICML 2026 메인 콘퍼런스에서 GEAR를 발표하고, AI for Science 워크숍에서 Sim-GEAR를 소개했습니다.

두 연구는 데이터가 풍부한 물성에서 학습한 정보를 데이터가 부족한 물성에 전달한다는 공통된 목표를 가집니다. GEAR가 곡률을 활용한 새로운 기하학적 Transfer Learning의 가능성을 제시했다면, Sim-GEAR는 이를 더 단순하고 효율적인 형태로 발전시킨 연구입니다.

학회 현장에서는 연구 발표뿐 아니라 소재 개발에 AI를 적용하는 방법, 과학 데이터의 불균형, 그리고 AI의 예측 결과를 실제 실험과 생산으로 연결하는 과정에 대한 논의가 활발하게 이루어졌습니다.

이는 AI for Science가 모델의 Benchmark 성능을 높이는 수준을 넘어, 실제 과학적 발견과 산업적 개발 과정에 적용되는 단계로 진입하고 있음을 보여줍니다.

더 다양한 과학 문제로의 확장

향후에는 GEAR와 Sim-GEAR를 더 다양한 분자 및 고체 물성 데이터와 모델 구조에 적용해 방법론의 범용성을 검증할 계획입니다.

현재 연구는 동일한 분자나 고체 구조를 입력으로 사용하는 서로 다른 물성 예측 Task를 중심으로 진행되고 있습니다. 앞으로는 계산 데이터와 실험 데이터, 분자와 결정 구조, 서로 다른 Modality와 Task 사이에서 기하학적 정보를 전달하는 방향으로 확장할 수 있습니다.

제한된 데이터에서도 동작하는 AI

AI for Science에서 데이터가 부족한 물성은 오히려 산업적으로 가장 중요한 물성일 가능성이 높습니다. 따라서 제한된 데이터로도 안정적으로 학습하고, 기존 과제의 지식을 새로운 문제에 전달하는 기술은 신소재 개발의 핵심 기반이 될 수 있습니다.

LG AI연구원은 앞으로도 기하학, 물리학, 화학과 딥러닝을 결합해 과학 데이터의 근본적인 한계를 해결하고자 합니다.

궁극적으로 목표로 하는 것은 데이터가 많은 문제에서만 잘 동작하는 AI가 아닙니다. 제한된 실험 데이터와 불완전한 관측 속에서도 물리·화학적 구조를 이해하고, 기존에 학습한 지식을 새로운 문제로 확장할 수 있는 AI입니다.

GEAR와 Sim-GEAR는 이러한 목표를 향해 딥러닝과 미분기하학을 연결한 연구이며, 향후 실제 소재 개발과 산업 현장에 활용할 수 있는 AI for Science 기술로 발전시켜 나갈 계획입니다.