SciNO: A Functional Diffusion Model with Neural Operators for Causal Ordering

Introduction

미국 샌디에고에서 개최된 세계 최고 수준의 인공지능 학회 NeurIPS (Neural Information Processing Systems) 2025는 전 세계 연구자들이 최신 연구 흐름과 기술적 방향성을 공유하는 자리였습니다. 이번 학회에는 2만 편 이상의 논문이 제출되었으며, 생성 모델과 거대 언어 모델(Large Language Model, LLM)을 중심으로 한 연구가 여전히 큰 비중을 차지하였습니다. 학회 전반에서는 성능의 단순한 양적 성장을 넘어, 모델의 추론 능력과 신뢰성을 어떻게 확보할 것인가에 대한 논의가 두드러졌습니다.

이러한 흐름 속에서 변수 간의 인과적 관계를 규명하기 위한 Causal Discovery 연구 역시 꾸준히 주목을 받았습니다. 특히 올해 Causal Discovery 분야의 핵심 화두는 ‘Scalability’와 ‘LLM과 인과 추론의 결합’이었습니다. 이는 Causality 연구가 이론적 탐구 뿐만 아니라 복잡한 현실 세계의 문제를 해결할 수 있는 실용적인 기술로 진화하고 있음을 시사합니다. LG AI연구원 역시 이러한 연구 흐름에 발맞추어 고차원 데이터 환경에서도 안정적이고 확장 가능한 인과 추론을 가능하게 하는 프레임워크 SciNO(Score-informed Neural Operator)^[1]를 발표하였습니다.

Causal Discovery

복잡한 데이터 속에서 인과 관계를 밝혀내는 Causal Discovery는 신뢰할 수 있는 의사결정의 근거를 마련하는 핵심 기술입니다. 그러나 변수의 수가 증가할수록 전체 인과 그래프 구조를 직접 탐색하는 방식은 계산적으로 비효율적이기 때문에, 최근에는 변수들의 인과 순서를 먼저 추정하여 탐색 공간을 줄이는 순서 기반 Causal Discovery 접근법이 주목받고 있습니다. 이 접근법은 인과 그래프를 한 번에 복원하는 대신 leaf node를 하나씩 식별하며 순차적으로 인과 순서를 추정하고, 이를 기반으로 최종 인과 그래프를 도출합니다. 이러한 순서 기반 접근법에서는 어떤 변수가 다른 변수들에 의해 영향을 받지 않는 leaf node인지 판단하는 기준이 핵심이 됩니다. Additive Noise Model(ANM) 가정 하에서는, 각 변수의 로그 밀도 함수의 Hessian diagonal이 해당 변수가 leaf node인지 여부를 판별하는 핵심 통계량으로 활용될 수 있음이 이론적으로 밝혀져 있습니다. 

기존의 SCORE^[2]나 CaPS^[3]와 같은 순서 기반 Causal Discovery 방법들은 Hessian diagonal 추정을 위해 Stein gradient estimator에 의존하며, 이로 인해 고차원 환경에서 메모리 사용량이 급격히 증가하는 한계를 가집니다. 이를 개선하기 위해 제안된 DiffAN^[4]은 diffusion model을 활용하여 확률 밀도의 score function을 직접 학습하고, 기존 방법 대비 고차원 데이터에서 확장 가능한 접근법을 제안하였습니다. 그러나 DiffAN은 MLP 기반의 모델 구조를 사용하기 때문에, 변수 수가 매우 커지는 고차원 환경에서는 여전히 미분 추정의 안정성 측면에서 한계를 가집니다. LG AI연구원은 이러한 관찰을 바탕으로, score function과 그 고차 도함수를 안정적으로 근사할 수 있는 새로운 방법론의 필요성을 인식하였으며, 이를 해결하기 위해 score function과 그 미분을 함수 공간에서 보다 안정적으로 학습할 수 있는 functional diffusion modeling을 도입하였습니다.

Score-informed Neural Operator

SciNO(Score-informed Neural Operator)는 이러한 한계를 보완하기 위해 제안된 Neural Operator 기반 functional diffusion model 프레임워크입니다. SciNO는 정확한 인과 순서 추론에 필요한 score function과 그 고차 도함수를 안정적으로 학습하는 것을 목표로 하며, 이를 위해 Hilbert Diffusion Model(HDM)^[5]의 이론적 관점을 채택합니다. 기존의 Diffusion Model이 유한 차원의 유클리드 공간에서 데이터 분포를 정의하는 것과 달리, HDM은 확률 분포를 Hilbert space 상에서 정의하고 이에 따른 확산 과정을 모델링합니다. 이러한 접근은 데이터를 단순한 벡터가 아닌 연속적인 함수로 취급함으로써, 데이터에 내재된 함수적 정보와 미분 구조를 보존하는 데 결정적인 역할을 합니다.

이러한 functional diffusion modeling은 Neural Operator와 자연스럽게 결합됩니다. SciNO는 미분 가능성을 보장하기 위해 Sobolev space를 고려하며, Sobolev Embedding Theorem에 의거하여 Neural Operator가 Score function뿐만 아니라 그 고차 도함수까지 안정적으로 근사할 수 있음을 이론적으로 증명하였습니다. 기존 MLP 기반 diffusion model이 고차원 데이터에서 Hessian diagonal 추정에 불안정성을 보였던 것과 달리, Neural Operator는 함수 간의 매핑을 학습함으로써 미분 추정을 더 정확하게 수행합니다.

이미지 1. Score-informed Neural Operator(SciNO) 모델 구조도^[1]

SciNO model architecture 

이러한 이론적 배경을 바탕으로, SciNO의 아키텍처는 time-conditioned Fourier Neural Operator(FNO)를 기반으로 설계되었습니다. 전체 모델 구조는 크게 입력 임베딩, Fourier 레이어, 출력 헤드로 구성됩니다.

먼저 입력 데이터는 초기 MLP 레이어를 통해 고차원 공간으로 임베딩되며, 이후 여러 개의 Fourier 레이어를 통과합니다. 각 Fourier 레이어에서는 Fast Fourier Transform(FFT)를 통해 입력 신호를 주파수 영역으로 변환한 뒤, 이를 실수부와 허수부로 분리하여 처리합니다. 이 신호는 주파수 도메인 상에서 MLP를 거친 후 역변환을 통해 다시 공간 영역으로 복원됩니다. 

Diffusion Model의 시간 t는 Learnable Time Encoding(LTE) 모듈을 통해 처리됩니다. 이산적인 위치에 고정된 벡터를 할당하는 기존의 Positional Embedding과 달리, LTE는 연속적인 시간 변수에 대해 학습 가능한 임베딩을 제공합니다. 이렇게 생성된 Time Encoding은 주파수 도메인 신호에 Element-wise multiplication 연산으로 주입되는데, 이는 모델이 공간적·시간적 방향의 미분 정보를 동시에 학습할 수 있도록 합니다.

최종 출력 헤드는 각 변수에 대한 score function을 예측합니다. SciNO는 이를 활용하여 Hessian diagonal을 근사하고, 그 분산이 최소화되는 변수를 leaf node로 식별하여 제거하는 과정을 반복함으로써 인과 순서를 순차적으로 추정합니다.

이미지 2. Synthetic 데이터셋 및 real-world 데이터셋에서 DiffAN과 SciNO의 Causal Ordering 및 Causal Discovery 성능 비교^[1]

SciNO는 baseline인 DiffAN^[4]과 비교하여 합성 그래프에서 평균 42.7%, 실제 데이터셋에서 평균 31.5%의 Order Divergence 감소를 달성하여 Causal Ordering 정확도를 유의미하게 개선하였습니다. 특히 노드 수 100인 고차원 설정에서도 안정적인 성능을 유지하여 높은 확장성을 입증하였습니다.

이미지 3. LLM 기반 인과 순서 추론을 위한 확률적 제어 알고리즘^[1]

 

Combining LLMs and SciNO

더 나아가 본 연구에서는 SciNO를 LLM과 같은 autoregressive 모델과 결합하는 확률적 제어 알고리즘을 제안하여, 인과 순서 추론 과정에 의미적 정보를 통합할 수 있는 방법을 제시합니다. 제안된 알고리즘은 LLM의 시퀀스 생성 과정을 인과 순서 추론 과정으로 재해석합니다.

구체적으로, 이미 결정된 인과 순서와 각 변수에 대한 텍스트 설명이 주어졌을 때, 아직 선택되지 않은 변수들 중 가장 적절한 leaf node를 선택하도록 LLM 프롬프트를 구성합니다. 이 과정에서 LLM이 생성하는 토큰 확률을 의미적 정보에 기반한 사전 확률로 정의합니다. 한편, SciNO는 관측 데이터로부터 추정된 통계량을 기반으로 해당 변수가 leaf node일 가능성에 대한 데이터 기반 likelihood를 산출합니다. 최종적으로 이 두 정보를 결합하여 사후 확률을 업데이트하고, 이를 최대화하는 변수를 다음 leaf node로 선택합니다. 이러한 베이지안 업데이트 방식으로 LLM의 사전 지식을 SciNO의 데이터 기반 검증으로 보정함으로써 추론 과정을 확률적으로 제어할 수 있도록 합니다.

기존의 대표적인 LLM 기반 causal discovery 방식이 모든 변수 쌍의 관계를 질의하여 노드 개수 $D$에 대해 $O\left(D^2\right)$의 쿼리 복잡도를 갖는 것과 달리, 제안된 알고리즘은 변수 개수에 비례하는 $O\left(D\right)$의 복잡도를 달성합니다. 또한 별도의 fine-tuning이나 prompt engineering 없이도 적용 가능하다는 점에서 실용적인 이점을 갖습니다.

이미지 4. BNLearn 데이터셋에서 GPT-4o, uncontrolled LlaMA, SciNO 기반 control이 적용된 LlaMA의 Causal Ordering 성능 비교^[1]

실험 결과, SciNO 기반 제어 기법은 노드 수 40 이상의 고차원 데이터셋 전반에서 유의미한 성능 향상을 보였으며, 특히 노드 수가 100개 이상인 ARTH150 그래프에서 최대 75%의 성능 향상을 달성하였습니다. 또한 SciNO 단독 성능보다 높은 성능을 달성할 수 있다는 점에서, LLM의 의미적 정보가 인과 순서 추론 과정에서 효과적인 보조 정보로 활용될 수 있음을 시사합니다.

Conclusion

향후 LG AI연구원은 Scalable Causal Discovery 알고리즘의 고도화를 지속하는 한편, LLM을 활용한 causal reasoning 및 agent 기반 인과 분석 프레임워크로 연구를 확장해 나갈 계획입니다. 도메인 전문 지식과 데이터 기반 학습을 유기적으로 결합함으로써, 복잡한 현실 데이터에서도 인과 관계를 효과적으로 규명할 수 있는 자동화된 분석 파이프라인을 구축하고자 합니다. 이를 바탕으로 인과 추론 기술을 실제 비즈니스 문제 해결과 전략적 의사결정 과정에 활용 가능한 수준의 실용적이고 신뢰성 높은 기술로 발전시키겠습니다.

 

→ NeurlPS - SciNO 논문 보러가기