[AAAI-25] Tabular 데이터 예측 성능 향상을 위한 Truncated SVD 기반 Representation space에서의 새로운 증강기법

AAAI(The Association for the Advancement of Artificial Intelligence)는 인공지능 분야에서 가장 권위 있는 국제 학술대회 중 하나로, 최신 AI 기술과 연구 성과를 공유하고 토론하는 장입니다.

LG AI연구원 DI(Data Intelligence) Lab에서는 올해 열린 AAAI-25를 찾아 Tabular 데이터에 대한연구 성과를 발표하고, 세계 각국의 연구자들과 함께 다양한 논문에 대해 인사이트를 나눴습니다. AAAI-25에서는 학문적 깊이와 산업적 응용 가능성을 갖춘 주목할 만한 연구들이 다수 발표되었습니다. 자가 지도 학습(Self-Supervised Learning, SSL), 대규모 언어 모델(Large Language Models, LLMs), 멀티모달 학습(Multimodal Learning), 그래프 신경망(Graph Neural Networks, GNNs), 강화 학습(Reinforcement Learning, RL), 표형 데이터(Tabular Data) 등 다양한 주제가 다루어졌습니다.

특히, AI Alignment 및 신뢰성(Reliability)에 대한 연구가 주목받았으며, 대규모 모델이 현실 세계에서 더 안전하고 공정하게 활용될 수 있도록 하는 방법론에 대한 논의가 지속되었습니다. Fairness, Robustness, Interpretability, Human-AI Collaboration과 같은 주제들이 주요 연구 방향으로 부각되었으며, AI 시스템이 인간과 효과적으로 협력하는 방안을 탐색하는 다양한 접근법이 제안되었습니다. 또한, 멀티모달 데이터 처리 및 대규모 모델의 활용이 주요 흐름으로 자리 잡으면서, AI가 기존의 영상 및 자연어 처리뿐만 아니라 과학, 의료, 도시 분석, 금융 등 다양한 분야에 적용되는 사례가 증가한 점이 눈에 띄었습니다. 이러한 AI의 폭넓은 활용이 확산되면서, 일상적으로 널리 사용되는 표형 데이터(Tabular Data)에 대한 관심도 높아졌습니다. 그 결과, 올해 학회에서는 표형 데이터를 다루는 연구가 예년보다 더욱 활발하게 이루어졌습니다.

이번 글에서는 LG AI연구원이 AAAI-25에서 발표한 Representation Space Augmentation for Effective Self-Supervised Learning on Tabular Data^[10] 연구를 소개하고, 현장에서 주목할 만한 연구를 짚어봅니다.

LG AI연구원의 “Representation Space Augmentation for Effective Self-Supervised Learning on Tabular Data^[10]” 

현업에서 겪은 문제와 연구의 계기

LG AI연구원은 LG 계열사 공장의 효율성과 생산성 향상을 위한 AI 연구를 수행하는 과정에서, 제조 공정과 검사에서 생성되는 방대한 Tabular 데이터의 효과적인 활용이 핵심 과제임을 확인했습니다. 제조업에서는 공정 최적화, 품질 관리, 장비 유지보수, 생산 예측 등 주요 의사 결정이 센서 데이터, 장비 로그, 공정 변수 등으로 구성된 Tabular 데이터에 기반하여 이루어집니다. 그러나, 이러한 데이터는 고차원적이고 이질적인 특성을 가지며, 피처 간 복잡한 상호작용을 포함하고 있어 기존 방법으로는 효과적인 학습이 쉽지 않았습니다.

기존에는 이러한 문제를 해결하기 위해 XGBoost^[1] 등 트리 기반 모델이 주로 활용되었지만, 대규모 데이터를 학습할 때의 확장성 문제와 고차원 데이터에서의 표현 학습 한계가 존재했습니다. 이에 따라, LG AI연구원은 보다 강력한 표현 학습이 가능한 딥러닝 기반 접근법을 탐색했고, 특히 최근 주목받고 있는 SSL 기법을 활용하는 방안을 검토하게 되었습니다^{[2, 3, 4]}. 그러나, 기존의 Contrastive Learning 기반 SSL 기법은 이미지나 텍스트 데이터에 최적화되어 있어, 구조적으로 차이가 큰 Tabular 데이터에는 효과적으로 적용하기 어려웠습니다. 특히, 기존의 데이터 증강 기법(예: Masking^[5], Shuffling^[6], CutMix^[7] 등)이 Tabular 데이터의 핵심 피처 간 관계를 왜곡하거나 정보 손실을 초래하는 문제가 있었습니다.

이러한 배경에서 LG AI연구원은 기존의 데이터 증강 및 학습 방식의 한계를 극복하고, Tabular 데이터에서도 딥러닝 모델이 효과적으로 학습할 수 있도록 새로운 방법론을 개발하고자 했습니다. 이를 위해, 기존의 입력 공간(Input Space)에서 이루어지는 증강 방식이 아니라, 표현 공간(Representation Space)에서 데이터 증강을 수행하는 RaTab(Representation Space Augmentation for Tabular Data) 기법을 제안하게 되었고 AAAI-25에 Accept 되었습니다.

주요 연구 내용

RaTab은 Tabular Data에서 SSL의 효과를 극대화하기 위해 표현 공간에서의 증강(Representation Space Augmentation)을 수행하는 새로운 방법입니다. 기존의 데이터 증강 기법이 Input Space에서 직접 변형을 가하는 것과 달리, RaTab은 Encoder의 마지막 MLP 레이어에서 가중치 행렬을 변형하여 보다 의미 있는 표현을 생성하는 것이 핵심입니다.

이미지 1. RaTab 개요도^[10]
(a) RaTab 증강기법이 적용된 Self-supervised Pre-training 모식도 (b) RaTab 증강 모듈

1) 표현 공간에서의 증강 (Representation Space Augmentation)

RaTab은 Truncated SVD를 기반으로 표현 공간에서 증강을 수행하면서도, 핵심 정보를 유지하는 방식을 적용하여 표형 데이터의 특성을 효과적으로 반영합니다. 기존의 입력 공간에서 이루어지는 증강 기법들은 개별 피처를 변형하는 과정에서 데이터의 중요한 구조를 훼손할 위험이 크고, 피처 간 상호작용을 왜곡할 가능성이 높았습니다. 이러한 한계를 극복하기 위해 RaTab은 인코더의 마지막 MLP 레이어의 가중치 행렬을 변형하는 방식으로 증강을 수행하며, 이 과정에서 Truncated SVD를 적용하여 데이터의 Core Information를 유지하면서도 표현의 다양성을 확보할 수 있도록 합니다.

2) Truncated SVD 기반 증강

RaTab은 인코더의 마지막 레이어 가중치 행렬 $W$를 SVD를 이용해 분해합니다.

$W=U\Sigma V^T$

 

여기서 $U$는 왼쪽 특이 벡터 행렬 (Left Singular Vector), $\Sigma$는 특이 값 (Singular Values)을 포함하는 대각 행렬이고, $V^T$는 오른쪽 특이 벡터 행렬 (Right Singular Vector) 입니다.

$W_k=U_k{\Sigma }_k{V}_k^T$

 

여기서, $U_k,{\Sigma }_k,V_k^T$는 원래 행렬에서 상위 $𝑘$개의 특이 값을 선택한 Truncated SVD 버전이고, $𝑘$값은 하이퍼파라미터로 설정되며, 전체 랭크 대비 특정 비율(예: 50%, 60%, 70%)로 유지됩니다. 이렇게 변형된 가중치 행렬을 적용한 인코더를 $\widehat{f_{en}}$라고 하고, 이를 이용하여 새로운 증강 표현을 생성합니다.

$Z_{aug}=\widehat{f_{en}}\left(x\right)$

 

이 과정에서 ${\Sigma }_k$를 유지하는 것이 핵심이며, 이는 데이터의 중요한 정보를 보존하는 역할을 합니다. 특이값 행렬 $\Sigma$은 학습된 표현의 주요 성분을 담고 있기 때문에, 이를 기반으로 변형된 가중치를 사용하면 원본 데이터의 구조를 유지하면서도 새로운 표현을 생성할 수 있습니다. 따라서, 기존의 입력 공간 증강 방식과 달리, RaTab은 표현 공간에서 이루어지는 저차원 근사(Low-rank Approximation)를 활용하여 정보 손실을 최소화하면서도 증강 효과를 극대화합니다.

추가적으로, RaTab은 Dropout을 적용하여 표현 공간의 다양성을 더욱 증가시킵니다. Truncated SVD를 통해 중요한 정보는 유지하면서도, Dropout을 활용하여 가중치 행렬의 일부를 무작위로 제거함으로써 다양한 변형이 생성될 수 있도록 유도합니다. 이는 모델이 보다 일반화된 표현을 학습할 수 있도록 하며, 특정 패턴에 과적합되는 것을 방지하는 역할도 수행합니다. 결과적으로, Dropout을 적용함으로써 모델이 더욱 강건한 표현을 학습할 수 있도록 하며, 다양한 데이터 변형을 경험할 수 있도록 합니다.

이러한 접근 방식은 기존의 Contrastive Learning 기반 증강 기법들과 차별화됩니다. 기존 방법들이 입력 데이터를 직접 변형하는 방식이었던 반면, RaTab은 학습된 표현 공간 자체에서 변형을 수행하므로, 데이터의 본질적인 구조를 유지하면서도 증강의 효과를 극대화할 수 있습니다. 이를 통해, 표형 데이터에서도 보다 강건한 표현 학습이 가능하며, Contrastive Learning의 학습이 더욱 안정적으로 이루어질 수 있습니다.

3) 결과

이미지 2. 다양한 기존 증강기법과 RaTab 증강기법의 성능비교^[10]

이미지 3. 이전 SoTA 알고리즘과 RaTab의 성능비교^[10]

RaTab의 실험 결과는 Tabular Data에서 Contrastive Learning 기반 SSL의 성능을 효과적으로 향상시킨다는 점을 입증했습니다. 여러 개의 공개 데이터셋(OpenML 등)에서 기존 방법들과 비교 실험을 수행한 결과, RaTab은 기존의 입력 공간에서 이루어지는 증강 기법(Masking, Shuffling, CutMix 등)보다 일관되게 더 나은 성능을 기록했습니다. 특히, FT-Transformer^[8], T2G-Former^[9] 등의 최신 Tabular 전용 신경망 모델과 결합했을 때, 트리 기반 모델(XGBoost, LightGBM)과도 경쟁력 있는 성능을 보여주었습니다.

결론적으로, RaTab은 표현 공간에서의 증강을 통해 표형 데이터에서의 표현 학습을 최적화하는 효과적인 방법으로, 기존의 입력 공간 증강 방식과 비교했을 때 정보 손실을 최소화하면서도 학습 성능을 개선할 수 있음을 실험적으로 입증했습니다.

AAAI-25에서 주목할 만한 Tabular Data 관련 연구

Table Data의 복잡한 구조적 특성을 효과적으로 학습하기 위한 다양한 접근법이 연구되고 있으며, 특히 표현 공간에서의 데이터 증강, 컬럼 간의 상호작용 학습, 그리고 불규칙한 목표 함수 모델링과 같은 방향으로 발전하고 있습니다. 이러한 흐름에서, Table Data에서 컬럼 간의 복잡한 상호작용을 효과적으로 학습하거나, 불규칙한 목표 함수(Irregular Target Function)를 보다 정밀하게 모델링할 수 있도록 설계된 두 가지 연구를 소개하고자 합니다.

1) APAR: Modeling Irregular Target Functions in Tabular Regression via Arithmetic-Aware Pre-Training and Adaptive-Regularized Fine-tuning^[11]

일반적으로 표형 데이터에서의 Regression 문제는 입력 Feature의 미세한 변화에도 Label이 급격히 변하는 경우가 많습니다. 이러한 특성으로 인해 딥러닝 모델은 불규칙한 목표 함수의 패턴을 제대로 학습하지 못하고 Overfitting에 취약해지는 문제를 겪습니다. APAR는 이러한 문제를 해결하기 위해 사전 훈련(Pre-training)과 미세 조정(Fine-tuning) 기법을 결합한 새로운 프레임워크를 제안했습니다. APAR의 핵심은 두 가지 단계로 이루어집니다.

이미지 4. Arithmetic-Aware Pre-Training 설명^[11]

1. Arithmetic-Aware Pre-training : 기존의 SSL 기법이 table data에서는 효과적으로 작동하지 않는 문제를 해결하기 위해, APAR는 샘플 간 Arithmetic Operations을 활용하여 학습하는 방식을 도입했습니다. 즉, 두 개의 샘플을 무작위로 선택하고, 이들의 레이블 값을 이용하여 덧셈, 뺄셈, 곱셈, 나눗셈 연산을 수행한 후, 이를 예측하도록 학습하는 방식입니다. 이를 통해 모델은 샘플 간 관계를 보다 정밀하게 학습할 수 있으며, 기존 방법 대비 더욱 강력한 표현 학습이 가능해집니다.

이미지 5. Adaptive-Regularized Fine-Tuning 설명^[11]

1. Adaptive-regularized Fine-Tuning: Table Data에서 Feature간의 관계를 유지하면서 과적합을 방지하기 위해, APAR는 Feature Importance를 반영한 Adaptive Data Augmentation 기법을 적용했습니다. 다변수 베르누이 분포(Multivariate Bernoulli Distribution)를 이용해 특징 간 상관 구조를 반영한 게이트 벡터(Gate Vector)를 학습하고, 이를 활용하여 데이터를 증강하는 방식입니다. 특히, 원본 데이터와 증강된 데이터 간 일관성을 유지하도록 정규화하여 모델이 보다 강건한 일반화 성능을 갖출 수 있도록 설계되었습니다. APAR는 10개의 공개 데이터셋(OpenML 등)에서 기존 방법들과 비교 실험을 수행했으며, 그 결과 기존의 GBDT 기반(XGBoost, LightGBM, CatBoost) 및 신경망(NN) 기반 모델(MLP, AutoInt, FT-Transformer, TabNet 등) 대비 9.43%~20.37%의 RMSE 성능 향상을 기록했습니다.

2) ICE-T: Interactions-aware Cross-column Contrastive Embedding for Heterogeneous Tabular Datasets^[12]

이미지 6. ICE-T 설명^[12]

ICE-T는 이러한 문제를 해결하기 위해 각 컬럼을 하나의 독립적인 모달리티(Modality)로 간주하고, 멀티모달 Contrastive Learning의 개념을 Tabular Data에 적용했습니다. 즉, 하나의 샘플을 구성하는 여러 컬럼을 각각 개별적으로 인코딩하고, 특정 컬럼 하나를 선택하여 해당 컬럼의 표현과 그 외 나머지 컬럼들로부터 얻은 표현의 평균값(Aggregate Representation)을 Anchor로 설정하여 Positive Pair를 구성합니다. 예를 들어, 전체 데이터가 $M$개의 컬럼으로 구성되어 있다면, 변수 $m$의 표현 $ℎ(𝑚)$은 변수 $m$에 해당하는 데이터만을 통과시켜 얻은 잠재 표현이며, Anchor인 $𝜇(\backslash 𝑚)$는 나머지 $M-1$개의 변수들의 표현 평균값으로 계산됩니다. 이 두 표현은 동일한 신경망 서브네트워크 $g$를 거쳐 최종 임베딩 벡터 $z\mathit{(}\mathit{𝑚}\mathit{)}$와 $z\mathit{(}\mathit{\backslash }\mathit{𝑚}\mathit{)}$로 변환되며, 이들 간의 Cosine Similarity를 최대화하는 방식으로 학습이 진행됩니다.

이러한 방식은 다음과 같은 두 가지 강점을 갖습니다. 첫째, 컬럼 간 상호작용을 암묵적으로 반영할 수 있습니다. Anchor는 단순히 다른 변수들의 표현 평균이지만, 이와 높은 유사도를 갖도록 학습된 변수 $m$의 표현은 필연적으로 다른 변수들과의 연관 정보를 내포하게 됩니다. 둘째, 계산 효율성 측면에서 뛰어납니다. 기존의 Pairwise Contrastive Loss는 변수 $M$에 대해 계산량이 $𝑂\left(M^2\right)$으로 증가하지만, ICE-T는 각 변수마다 한 번씩만 Anchor를 계산하면 되므로 선형 시간 복잡도 $𝑂(𝑀)$를 갖습니다. 또한, 이 방식은 표현의 범용성(Versatility) 면에서도 강점을 보입니다. ICE-T는 학습이 완료된 후, 단일 변수 임베딩뿐만 아니라 전체 샘플 임베딩, 임의의 변수 Subset에 대한 부분 임베딩도 효율적으로 생성할 수 있도록 설계되었습니다. 이는 향후 Missing Value Imputation이나 Modality Translation 같은 Downstream Task에 매우 유용하게 활용될 수 있습니다.

또한 ICE-T는 다양한 Tabular Dataset에서 기존 SSL 기반 기법들인 SCARF, SubTab, VIME 등과 비교하여 일관되게 우수한 성능을 보여주었습니다. 특히 소량의 라벨만 활용하는 환경에서도, ICE-T는 사전학습된 표현만으로도 높은 예측 성능을 달성했으며, Fine-tuning 없이 Linear Classifier만으로 기존 방법들을 능가하는 결과를 기록했습니다. 컬럼 간 상호작용이 중요한 데이터셋일수록 ICE-T의 성능 향상 폭이 더욱 두드러졌으며, 이는 ICE-T가 제안한 컬럼 간 관계 기반 Positive Pair 생성 방식이 실제로 유의미한 표현 학습에 기여했음을 시사합니다. 더불어, ICE-T는 기존 Contrastive Learning 기법보다 계산 효율성이 높고, Missing Value Imputation, Partial Feature Prediction, Modality Translation 등 다양한 Downstream Task에서도 활용 가능성이 높다는 점을 실험적으로 입증했습니다. 이러한 결과는 ICE-T가 단순한 성능 개선을 넘어, Tabular Data의 구조적 특성을 반영한 실용적이고 확장성 높은 SSL 프레임워크임을 보여줍니다.

향후 계획

LG AI연구원은 RaTab을 확장하여 Tabular Data 연구의 적용 범위를 넓히고, 실제 환경에서 안정적으로 동작할 수 있는 기술을 개발하는 데 주력하고 있습니다. Tabular data는 금융, 의료, 제조 등 여러 산업 도메인에서 필수적으로 활용되지만, 실시간 데이터 처리, 데이터 스케일의 가변성, 도메인 이동(Domain Shift)과 같은 현실적인 문제로 인해 기존 접근 방식의 한계가 드러나고 있습니다.

이에 따라 연구진은 노이즈, 결측값, 불균형 데이터, 분포 변화 등 데이터 품질과 관련된 다양한 문제를 효과적으로 처리할 수 있는 기법을 탐색하며, 보다 신뢰도 높은 학습 환경을 구축하고자 노력하고 있습니다. 단순한 성능 향상을 넘어서, 실제 산업 현장에서 모델이 안정적으로 동작할 수 있도록 학습 과정 전반의 견고성(Robustness)과 일반화 능력을 함께 고려하고 있습니다.

이와 더불어, 단순한 데이터 증강 기법을 넘어 Tabular Data의 구조적 특성을 근본적으로 이해하고, 다양한 도메인과 태스크에 적응할 수 있는 범용 학습 프레임워크 및 Tabular Foundation Model의 개발에도 집중하고 있습니다. 이러한 연구는 데이터 수집과 전처리, 학습, 최적화, 일반화에 이르는 전 과정을 포괄하는 방향으로 확장되고 있으며, 이를 통해 산업 환경에서도 높은 신뢰성과 확장성을 갖춘 AI 솔루션을 제공하는 것을 목표로 하고 있습니다.

향후에는 Tabular Foundation Model을 중심으로, 극소량 라벨 학습(Few-shot Learning), 설명 가능성(Explainability), 도메인 적응(Domain Adaptation), 멀티모달 연계 학습(Multi-modal Learning) 등 다양한 연구 주제를 통합하는 방향으로 발전할 것으로 기대됩니다. 특히, 단일 모델이 다양한 환경과 과제에 적응할 수 있는 범용성과, 사용자의 해석과 제어가 용이한 투명성 있는 학습 구조를 함께 갖추는 것이 중요한 과제가 될 것입니다.

LG AI연구원은 이러한 방향성을 바탕으로, 산업 현장에서 실질적인 가치를 창출하는 차세대 Tabular AI 기술 개발을 지속적으로 선도해 나가겠습니다.

AAAI-25 시리즈

EP.1 [AAAI-25] 3차원 좌표를 활용한 Denoising Distillation 모델 연구