Seunghan Lee edited Seunghan Lee 2026.11.03

[ICML2026] 정형 데이터를 위한 파운데이션 모델, 그리고 시계열 딥러닝의 현재

들어가며

이미지와 언어를 중심으로 발전해 온 딥러닝은 눈부신 성과를 거뒀지만, 산업 현장에서 매일 쌓이는 데이터의 상당수는 여전히 Tabular 데이터와 시계열(Time Series) 데이터의 형태입니다. 공정 설비의 센서 로그, 반도체 수율 데이터, 금융 거래 내역, 병원의 전자의무기록은 모두 행과 열 또는 시간 축을 따라 정렬된 숫자의 나열입니다. 이러한 정형 데이터(Structured Data)는 산업 현장에서 가장 흔하게 접하는 데이터 유형이지만, 역설적으로 딥러닝이 가장 늦게 도달한 영역이기도 합니다. 지난 10여 년간 XGBoost와 LightGBM 같은 트리 기반 모델이 사실상의 표준으로 자리해 온 것이 이를 보여줍니다.

그러나 최근 2~3년 사이 이러한 흐름이 빠르게 바뀌고 있습니다. 대규모 합성 데이터로 사전학습한 뒤 별도의 학습 없이 한 번의 추론만으로 예측을 수행하는 파운데이션 모델(Foundation Model)이 정형 데이터 영역에도 본격적으로 등장했기 때문입니다. Tabular 데이터에서는 TabPFN이 Nature에 게재되며 기존 트리 모델을 앞서는 성능을 보였고^[1], 시계열에서도 제로샷 예측이 가능한 파운데이션 모델들이 잇따라 등장했습니다. "데이터셋마다 모델을 새로 학습시킨다"는 오랜 전제가 흔들리기 시작한 것입니다.

이러한 변화는 머신러닝 분야 최고 권위의 학회인 ICML(International Conference on Machine Learning) 2026에서도 뚜렷하게 나타났습니다. LG AI연구원은 2026년 7월 6일부터 11일까지 서울 코엑스에서 열린 ICML 2026에 참가해 연구 성과를 발표하고, 정형 데이터와 시계열 분야의 최신 동향을 확인했습니다. 이 글에서는 LG AI연구원이 발표한 연구와 함께 이번 학회에서 주목할 만한 시계열 딥러닝 연구들을 정리합니다.

ICML 2026, 서울에서 열리다

올해로 43회를 맞은 ICML 2026은 국내에서 처음 개최된 ICML로, 서울 코엑스에서 열렸습니다. 23,918편의 논문이 제출됐고, 그중 6,352편이 채택됐습니다(채택률 26.6%). 제출 편수는 전년 대비 두 배 가까이 늘어났습니다^[2].

올해 수상 결과의 중심에는 확산 모델(Diffusion Model)이 있었습니다. Outstanding Paper Award 두 편은 확산 언어 모델에서 임의 순서 생성이 갖는 가치를 재검토한 「The Flexibility Trap」과 확산 모델의 고정밀 샘플링을 다룬 「High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions」에 돌아갔습니다. Test of Time Award는 2016년 심층 강화학습의 이정표가 된 A3C 논문(Asynchronous Methods for Deep Reinforcement Learning)이 수상했습니다^[3]. 생성 모델이 주목받는 가운데, 정형 데이터를 다루는 연구들도 조용하지만 꾸준히 영역을 넓혀 가고 있습니다. 시계열을 다룬 논문들이 본회의에서 다수 발표되었고, 정형 데이터 파운데이션 모델을 주제로 한 워크숍도 올해 2회째를 맞았습니다.

LG AI연구원의 연구: Tabular 파운데이션 모델은 왜 소수 클래스를 놓치는가

문제 제기: TabPFN의 다수 클래스 편향

이번 ICML 2026에서 LG AI연구원이 발표한 연구는 「Mitigating Label Shift in Tabular In-Context Learning via Test-Time Posterior Adjustment」 입니다^[4]. Tabular 파운데이션 모델이 클래스 불균형 상황에서 성능이 저하되는 현상을 짚고, 추론 시점의 간단한 보정만으로 이를 완화하는 방법을 제안한 연구입니다.

TabPFN은 Tabular 데이터를 위한 파운데이션 모델입니다. 방대한 합성 데이터로 사전학습을 마친 뒤, 실제 문제를 풀 때는 학습 데이터 전체를 문맥(Context)으로 입력받아 단 한 번의 순전파(Forward Pass)만으로 예측을 수행합니다. 이른바 인컨텍스트 러닝(In-Context Learning, ICL) 방식으로, 파라미터 업데이트가 전혀 없다는 점에서 기존 모델과 기존 모델과 차이가 있습니다. 소규모 데이터셋에서 XGBoost를 능가하는 성능을 보이며 큰 주목을 받았습니다.

그런데 저희는 이 모델에서 그동안 간과되어 온 취약점 하나를 발견했습니다. 바로 레이블 분포 변화(Label Shift)입니다. 이는 학습 데이터와 테스트 데이터에서 클래스별 특성 분포 P(X|Y)는 같지만 클래스 비율 P(Y)가 달라지는 상황을 뜻합니다. 실제 산업 데이터에서는 이러한 상황이 오히려 일반적입니다. 불량품 검출, 이상 탐지, 질병 진단처럼 정작 찾아내야 하는 대상이 소수 클래스인 경우가 많기 때문입니다.

실제로 저희가 OpenML의 253개 Tabular 데이터셋을 분석한 결과, 약 85%(214개)가 클래스 불균형 상태였습니다. 그리고 TabPFN은 문맥으로 주어진 클래스 불균형을 예측에 그대로 반영합니다. 극단적인 사례에서는 전체 테스트 샘플의 98.3%를 다수 클래스로 예측해, 소수 클래스에 대한 재현율이 사실상 무너지는 현상을 관찰했습니다. 학습과 테스트가 같은 데이터셋에서 이루어졌음에도 이러한 결과가 나타났다는 점에서 문제의 심각성을 확인할 수 있습니다.

이미지 1. TabPFN은 다수 클래스로 예측이 쏠려 소수 클래스의 재현율이 크게 떨어진다. (출처: Lee ^[4], Figure 1)

해법: 학습 시점이 아닌 추론 시점의 보정, DistPFN

이 문제를 해결하기 위해 저희는 DistPFN을 제안했습니다. 핵심 아이디어는 의외로 단순합니다. TabPFN이 내놓은 예측 확률에, "이 예측이 학습 데이터의 클래스 비율에 비해 얼마나 높은가"를 나타내는 보정 계수를 추가로 곱하는 것입니다. 학습 데이터에서 비율이 높은 클래스일수록 이 계수는 작아지고, 비율이 낮은 클래스일수록 커집니다. 그 결과 학습 데이터의 클래스 비율이 예측에 미치는 영향은 줄고, 모델의 예측 결과는 상대적으로 더 크게 반영됩니다. 수식으로는 다음과 같습니다.

┌── 보정 계수 ──┐

\tilde{p}_D i s t P F N (y) = N o r m (\hat{p} (y) \times \hat{p} (y) / p_t r a i n (y))

여기서

\overset{\land}{p}

(y)는 TabPFN이 예측한 클래스 확률(사후분포, Posterior), p_train(y)는 학습 데이터에서 그 클래스가 차지하는 비율(사전분포, Prior)이며, Norm은 조정된 값들의 합이 다시 1이 되도록 맞춰 주는 정규화입니다. 이 방법의 가장 큰 장점은 모델 구조를 전혀 건드리지 않고, 재학습도 필요 없으며, 테스트 레이블 분포를 추정할 필요조차 없다는 점입니다. 기존의 레이블 시프트 보정 기법들(EME, BBE 등)이 테스트 사전분포를 별도로 추정해야 했던 것과 대비됩니다. 이러한 접근이 가능한 이유는 TabPFN 계열 모델이 학습 데이터를 문맥에 명시적으로 참조하기 때문입니다. 즉, 학습 데이터의 클래스 비율을 별도의 추정 없이 그대로 활용할 수 있습니다.

나아가 저희는 보정 강도를 상황에 맞게 조절하는 DistPFN-T도 함께 제안했습니다. 예측 분포와 학습 사전분포 사이의 교차 엔트로피(Cross-Entropy)를 온도(Temperature) 값으로 사용해, 두 분포의 괴리가 클수록 예측 분포를 더 부드럽게 만들어 과보정(Over-Adjustment)을 방지하는 방식입니다.

이미지 2. DistPFN의 전체 구조. 다수 클래스로 쏠린 TabPFN의 예측(좌)을 추론 시점의 분포 보정만으로 완화한다(우). (출처: Lee ^[4], Figure 4)

실험 결과

저희는 253개 OpenML 데이터셋에서 16개 베이스라인과 비교 실험을 수행했습니다. 또한 레이블 시프트의 정도를 단계적으로 조절할 수 있도록, 드문 클래스일수록 더 많이 뽑는 역빈도 오버샘플링 방식으로 평가 벤치마크(시프트 강도 β)를 설계했습니다. 주요 결과는 다음과 같습니다.

● 세 종류의 Tabular 파운데이션 모델(TabPFN-v2, TabICL, LoCalPFN) 모두에서 일관된 성능 향상을 확인했습니다. 예를 들어 시프트가 강한 조건(β=5)에서 TabICL의 정확도를 DistPFN은 12.3%, DistPFN-T는 13.7% 끌어올렸습니다(상대 개선율 기준).
● 시프트가 없는 일반적인 상황에서는 본래의 성능을 그대로 유지합니다. 반면 기존 보정 기법인 EME와 BBE는 시프트가 없을 때 오히려 최대 1.7%p의 성능 하락을 보였습니다. 즉, 시프트가 있을 때는 효과를 내면서도, 시프트가 없는 경우에는 성능 저하가 발생하지 않는 보정 방식인 셈입니다.
● 추가 연산 비용이 사실상 없습니다. TabPFN-v2 기준 평균 예측 시간이 1.002초에서 1.003초로 늘어났을 뿐입니다.
● 테스트 레이블의 실제 분포를 알고 있다고 가정한 오라클(Oracle) 성능에 근접했습니다. 여섯 단계의 시프트 강도에 걸친 평균 정확도 기준으로 오라클이 0.796, DistPFN-T가 0.792입니다.

정리하면, 이미 운영 중인 Tabular 파운데이션 모델을 그대로 둔 채 출력 단계에 간단한 보정 하나만 추가해 클래스 불균형 상황에서의 신뢰도를 끌어올릴 수 있다는 것이 DistPFN의 강점입니다.

ICML 2026 시계열 딥러닝 연구 동향

LG AI연구원이 이번 학회에서 특히 주목한 분야는 시계열 딥러닝입니다. 올해 발표된 시계열 연구의 흐름은 크게 네 갈래로 요약할 수 있습니다. ① 시계열을 어떻게 토큰화할 것인가, ② 예측 모델이 실제로 무엇을 학습하는가, ③ 누적되는 예측 오차를 어떻게 보정할 것인가, ④ 현실의 불규칙한 데이터를 어떻게 다룰 것인가입니다.

① 토큰화의 재발견: Byte Pair Encoding for Efficient Time Series Forecasting

시계열을 토큰으로 나누는 방식 자체를 다시 설계한 연구입니다^[5]. 지금까지의 시계열 파운데이션 모델은 대부분 고정된 개수의 샘플을 하나의 토큰으로 묶는(Patching) 방식을 사용해 왔습니다. 하지만 이 방식은 값이 오랫동안 변하지 않는 구간처럼 단순한 패턴에도 같은 수의 토큰을 소비하기 때문에 계산량 낭비가 큽니다.

저자들은 자연어 처리에서 널리 쓰이는 Byte Pair Encoding(BPE)에서 착안해, 자주 등장하는 모티프(Motif, 시계열에 반복적으로 나타나는 짧은 패턴 조각)들을 모아 어휘 사전을 만들고, 이를 기반으로 시계열을 적응적으로 압축하는 최초의 패턴 중심 토큰화 기법을 제안했습니다. 논문에 따르면 이 모티프 기반 토큰화는 최신 시계열 파운데이션 모델의 예측 성능을 평균 40% 개선하는 동시에 효율도 높였습니다. 여기에 그래디언트 계산이나 추가 연산 비용 없이 적용할 수 있는 사후 최적화 기법인 조건부 디코딩(Conditional Decoding)까지 더하면 MSE가 최대 48%까지 더 줄어든다고 보고합니다.

"시계열 토큰이 반드시 같은 길이일 필요는 없다"는 발상의 전환이 돋보이는 연구입니다. 언어 모델의 성숙한 설계 원리가 시계열로 확장된 사례이면서도, 단순히 이식하는 데 그치지 않고 시계열 고유의 특성인 반복되는 모티프를 정확히 겨냥했다는 점에서 의미가 있습니다.

이미지 3. 시계열을 이산 심볼로 양자화한 뒤, 반복되는 가변 길이 패턴을 하나의 모티프 토큰으로 병합한다. (출처: Gotz et al. ^[5], Figure 1)

② 모델은 정말 '동역학'을 배우고 있는가: Time Series Forecasting Through the Lens of Dynamics

시계열 예측 모델 아키텍처는 지난 몇 년간 폭발적으로 늘어났지만, 정작 "왜 어떤 모델은 높은 성능을 보이고 어떤 모델은 그렇지 못한가"에 대한 설명은 부족했습니다. 이 연구는 동역학(Dynamics)이라는 관점에서 그 질문에 답하려는 시도입니다^[6].

저자들은 좋은 예측 모델이라면 과거 시점과 미래 시점 사이의 직접적인 연결 관계, 즉 동역학을 학습해야 한다는 가설을 세우고, 기존 모델들을 이 관점에서 분류하는 PRO-DYN이라는 체계를 제안했습니다. 그 결과 두 가지 사실이 드러났습니다. 첫째, 성능이 낮은 아키텍처들은 동역학을 부분적으로만 학습하고 있었습니다. 둘째, 동역학을 담당하는 블록이 모델 내에서 어디에 위치하는지가 결정적으로 중요하며, 특히 모델 말단에 위치할 때 가장 효과적이었습니다.

새로운 SOTA 모델을 제안하는 대신 기존 모델들을 관통하는 설계 원리를 정리했다는 점에서, 실무적으로도 참고할 가치가 큰 연구입니다.

이미지 4. 시계열 예측 모델을 일반 처리(PRO) 함수와 동역학(DYN) 함수의 합성으로 분해하는 PRO-DYN 체계. (출처: Brachet et al.^[6], Figure 1)

③ 고전 기법의 귀환: Reviving Error Correction in Modern Deep Time-Series Forecasting

장기 구간을 예측할 때는 모델의 예측값을 다시 입력으로 넣어 그다음 구간을 예측하는 자기회귀(Autoregressive) 방식을 쓰는 경우가 많습니다. 문제는 앞선 예측에 섞인 오차가 다음 예측의 입력에 포함되면서, 뒤로 갈수록 오차가 눈덩이처럼 불어난다는 점입니다. 이러한 오차 누적은 시계열 분야의 고질적인 난제입니다. 고전 통계 모델에서는 이를 다루기 위한 오차 보정 메커니즘(Error Correction Mechanism, ECM)이 있었지만, 딥러닝 모델에 그대로 적용하기는 어려웠습니다.

이 연구는 현대적인 딥러닝 맥락에서 ECM의 역할과 필요성을 다시 검토하고, 예측값을 추세와 계절성 성분으로 분해해 각각을 따로 보정하는 범용 오차 보정기 UEC-STD를 제안합니다^[7]. 예측 모델의 구조와 관계없이 기존 예측기를 재학습시키지 않고 덧붙일 수 있다는 점이 특징입니다. 4개의 백본 모델과 10개 데이터셋에서 보정 정확도와 강건성이 크게 향상되는 결과를 보였습니다.

앞서 소개한 저희 연구 역시 이미 학습된 모델은 그대로 두고 출력만 사후에 보정한다는 발상을 공유합니다. DistPFN이 어떤 학습도 없이 추론 시점에만 개입하는 반면 UEC-STD는 보정기를 따로 학습시킨다는 차이는 있지만, "모델을 다시 학습시키지 않고 성능을 되찾는" 접근이 Tabular와 시계열이라는 서로 다른 문제에서 공통적으로 등장했다는 점은 주목할 만합니다.

④ 불규칙 시계열을 위한 시간-주파수 결합: Bridging Time and Frequency

현실의 시계열은 교과서처럼 일정한 간격으로 관측되지 않습니다. 의료 기록이나 IoT 센서 데이터는 관측 시점이 제각각이고 변수별로 비동기적으로 기록됩니다. 이런 불규칙 다변량 시계열(IMTS)에서는 등간격 샘플링을 전제하는 기존 모델은 물론, 주기성을 포착하는 데 강점이 있는 푸리에 변환 기반 기법도 적용하기 어렵습니다. 푸리에 변환 역시 일정한 간격으로 관측된 데이터를 전제로 하기 때문입니다.

TFMixer는 이 문제를 시간 영역과 주파수 영역을 함께 모델링하는 방식으로 접근합니다^[8]. 먼저 학습 가능한 비등간격 이산 푸리에 변환(Non-Uniform DFT)을 도입해, 불규칙한 관측 시점에서도 곧바로 주파수 성분을 뽑아내는 Global Frequency Module을 둡니다. 여기에 구간마다 다른 정보량을 보완하며 의미 있는 시간 패치를 골라 모으는 쿼리 기반 Local Time Module을 결합합니다. 마지막에는 두 영역의 표현을 합쳐 예측을 만들고, 역 NUDFT로 주파수 영역에서 찾아낸 주기 성분을 다시 시간 축으로 되돌려 계절성을 명시적으로 연장합니다. 불규칙성 때문에 주파수 분석을 포기하는 대신, 변환 자체를 불규칙성에 맞게 다시 설계해 문제를 해결한 연구입니다.

이미지 5. TFMixer의 구조. 학습 가능한 비등간격 푸리에 변환(NUDFT)으로 전역 주기성을, 쿼리 기반 패치 결합으로 지역 패턴을 포착한다. (출처: Qiu et al. ^[8], Figure 3)

Tabular와 시계열이 만나는 곳: Foundation Models for Structured Data 워크숍

학회 마지막 날인 7월 11일에는 정형 데이터 파운데이션 모델을 다루는 FMSD(Foundation Models for Structured Data) 워크숍이 코엑스 그랜드볼룸에서 열렸습니다^[9]. 지난해 ICML 2025에서 처음 열린 데 이어 올해 2회째를 맞았습니다. 이번 워크숍은 Tabular 데이터와 시계열 데이터를 별개의 분야가 아닌 하나의 문제군으로 바라보는 연구 흐름을 확인할 수 있는 자리였습니다. 특히 올해는 의료 진단에서 이미지와 Tabular 데이터를 함께 사용하거나 심전도 해석에서 텍스트와 시계열을 결합하는 것처럼 정형 데이터를 다른 모달리티와 통합하는 멀티모달 정형 파운데이션 모델을 주요 주제로 다뤘습니다.

이 가운데 주목할 만한 발표들은 다음과 같습니다.

● Causal Foundation Models for Time Series based on Prior-Data Fitted Networks^[10] - TabPFN의 근간이 되는 PFN(Prior-Data Fitted Network, 합성 데이터로 미리 학습해 두고 추론 시점에는 주어진 문맥만으로 예측하는 구조)을 시계열의 인과 추론으로 확장한 연구입니다. LG AI연구원이 다룬 Tabular 데이터 ICL과 시계열 예측이 결국 같은 뿌리에서 출발했음을 보여주는 사례입니다.
● TiViT: Time Series Representations for Classification Lie Hidden in Pretrained Vision Transformers^[11] - 사전학습된 비전 트랜스포머 내부에 이미 시계열 분류에 유용한 표현이 잠재해 있다는 관점에서, 모달리티 간 전이 가능성을 다시 짚어 본 연구입니다.
● Do Tabular Foundation Models Learn Rules or Memorize Exemplars?^[12] / Tabular Foundation Models Are Effectively Shallow^[13]- Tabular 파운데이션 모델이 실제로 무엇을 학습하는지 비판적으로 분석한 연구들입니다. 성능 경쟁을 넘어 모델의 작동 원리를 이해하려는 흐름이 뚜렷해지고 있음을 보여줍니다.
● Foundations without Fundamentals: Zero-Shot Blind Spots in Time Series FMs^[14] - 스포트라이트로 선정된 발표로, 시계열 파운데이션 모델의 제로샷 성능에 존재하는 사각지대를 지적했습니다. LG AI연구원이 Tabular 데이터에서 발견한 레이블 시프트 취약점과 문제의식이 맞닿아 있습니다.

마치며: 성능에서 신뢰로

이번 ICML 2026에서 두드러진 변화는, 정형 데이터 분야의 질문이 "얼마나 정확한가"에서 "얼마나 믿을 수 있는가"로 옮겨가고 있다는 점입니다. Tabular 데이터에서는 파운데이션 모델이 무엇을 학습하는지 해부하고, 시계열에서는 모델이 실제로 동역학을 학습하는지 검증하거나 제로샷의 사각지대를 찾는 연구가 등장했습니다. 저희가 발표한 DistPFN 역시 "TabPFN이 잘 작동하지 않는 조건은 무엇인가"라는 질문에서 출발했다는 점에서, 이러한 흐름과 궤를 같이합니다.

실제 산업 현장의 데이터는 언제나 불균형하고 불규칙하며, 시간이 지나면서 분포가 변하기도 합니다. 벤치마크의 평균 정확도만으로는 포착하기 어려운 이러한 간극을 메우는 일이야말로 정형 데이터 연구가 실질적인 가치를 만들어 내는 지점일 것입니다. LG AI연구원은 앞으로도 Tabular 데이터와 시계열 데이터를 아우르는 파운데이션 모델 연구를 이어가며, 분포 변화에 강건하고 현장에서 신뢰할 수 있는 AI 기술을 만들어 나가겠습니다.

참고

[1] Hollmann, N. et al. "Accurate predictions on small data with a tabular foundation model." Nature, 2025.

[2] ICML 2026 Conference, Seoul, Korea, July 6-11, 2026. https://icml.cc/

[3] "Announcing the ICML 2026 Awards." ICML Blog, 2026. https://blog.icml.cc/2026/07/05/announcing-the-icml-2026-awards/

[4] Lee, S. "Mitigating Label Shift in Tabular In-Context Learning via Test-Time Posterior Adjustment." ICML, 2026. https://arxiv.org/abs/2605.04363

[5] Gotz, L., Kollovieh, M., Gunnemann, S., Schwinn, L. "Byte Pair Encoding for Efficient Time Series Forecasting." ICML, 2026. https://arxiv.org/abs/2505.14411

[6] Brachet, A.-R., Richard, P.-Y., Hudelot, C. "Time Series Forecasting Through the Lens of Dynamics." ICML, 2026. https://arxiv.org/abs/2507.15774

[7] Nguyen, M.H. et al. "Reviving Error Correction in Modern Deep Time-Series Forecasting." ICML, 2026. https://arxiv.org/abs/2605.21088

[8] Qiu, X., Yan, K., Liu, X., Wu, X., Hu, J. "Bridging Time and Frequency: A Joint Modeling Framework for Irregular Multivariate Time Series Forecasting." ICML, 2026. https://arxiv.org/abs/2602.00582

[9] 2nd ICML Workshop on Foundation Models for Structured Data (FMSD), 2026. https://icml-structured-fm-workshop.github.io/

[10] Thumm, D. et al. "Causal Foundation Models for Time Series based on Prior-Data Fitted Networks." ICML 2026 Workshop on FMSD, 2026.

[11] Roschmann, S. et al. "TiViT: Time Series Representations for Classification Lie Hidden in Pretrained Vision Transformers." ICML 2026 Workshop on FMSD, 2026.

[12] Rezaei Balef, A. et al. "Do Tabular Foundation Models Learn Rules or Memorize Exemplars?" ICML 2026 Workshop on FMSD, 2026.

[13] Cannistraci, I., Vogt, J.E. "Tabular Foundation Models Are Effectively Shallow." ICML 2026 Workshop on FMSD, 2026.

[14] Ghoroghchian, N. et al. "Foundations without Fundamentals: Zero-Shot Blind Spots in Time Series FMs." ICML 2026 Workshop on FMSD, 2026.

목록보기