[NeurIPS 2024 Series] Tabular Data 예측 성능 강화를 위한 Attention 기반 데이터 증강기법 연구 소개

NeurIPS 2024에서 올해로 세 번째를 맞이한 Table Representation Learning Workshop (TRL)에서는 테이블 데이터 표현 학습에 초점을 맞춘 연구자들의 교류가 활발히 이뤄졌습니다. 워크숍에서는 작년 41편 대비 약 1.5배 증가한 61편의 연구가 채택되었는데, 증가 편수만 봐도 테이블 데이터 연구에 대한 관심이 빠르게 확산되고 있음을 알 수 있습니다. 특히 테이블 데이터는 산업 현장과 일상 생활에서 가장 흔히 사용되는 데이터 형식으로 아마존(Amazon), 마이크로소프트(Microsoft)와 같은 글로벌 기업들도 이 분야에서 활발한 연구를 진행 중입니다.

이번 NeurIPS 2024 TRL 워크숍에서 LG AI연구원 Data Intelligence (DI) Lab은 "AGATa: Attention-Guided Augmentation for Tabular Data in Contrastive Learning" 라는 논문을 발표했고, 테이블 데이터의 구조적 특징을 유지하면서도 학습 성능을 개선하는 새로운 접근법으로 주목받았습니다.

LG AI연구원의 AGATa: Attention-Guided Augmentation for Tabular Data in Contrastive Learning^[8]

Tabular Data는 금융, 의료, 제조 등 다양한 산업 현장의 핵심 데이터 형식으로, LG AI연구원과 제조 공장에서도 품질 관리, 장비 유지 보수, 생산 효율성 개선 등 여러 분야에 활용 중입니다. Tabular Data 처리는 전통적으로 XGBoost^[1]와 같은 Tree 기반 알고리즘이 강세였으나, 최근에는 Self-supervised Learning, 특히 Contrastive Learning 기반의 딥러닝 모델들이 그 영역을 확장하며 주목받고 있습니다^[2][3][4].

그러나 Tabular Data는 수백 개의 피처와 복잡한 상호작용을 포함하며, 이를 효과적으로 처리하지 못하면 중요한 의사 결정 과정에서 오류를 범할 수 있습니다. 특히 이미지나 텍스트와 다르게 공간적 또는 순차적 구조가 없는 Tabular Data의 특성상, 기존 데이터 증강 기법을 그대로 적용할 경우 데이터의 중요한 관계를 왜곡하거나 의미를 손상시킬 위험이 있습니다. 예를 들어 무작위로 이루어지는 Masking^[5], Shuffling^[6], 또는 CutMix^[7]와 같은 기존 기법은 Tabular Data에서 중요한 피처 간 상호작용을 간과할 수 있어, 모델 성능 저하로 이어질 수 있습니다. Tabular Data의 정형적이고 이질적인 특성을 고려할 때, Contrastive Learning을 효과적으로 적용하기 위해서는 데이터의 핵심 구조를 보존하면서도 유의미한 결과를 낼 수 있는 새로운 증강 기법이 필요합니다.

LG AI연구원은 이 문제 해결을 위해 Attention-Guided Augmentation (AGATa)라는 새로운 접근법을 개발했습니다. 본 연구는 Tabular Data의 고유한 특성을 보존하면서도 유의미한 증강을 수행해 Contrastive Learning의 성능 극대화를 목표로 합니다. 특히 제조 공정 등 실제 산업현장에서 생성되는 복잡한 Tabular Data에 대해서도 높은 학습 성능을 달성할 수 있는 가능성을 제시했다는 점에서 주목을 받았습니다. 

 

이미지1. AGATa 개요도
(a) AGATa 증강기법이 적용된 Self-supervised Pre-training 모식도 (b) AGATa 증강 모듈^[8]

AGATa는 학습 과정에서 데이터 입력 전에 증강을 수행하며, 매 에포크마다 동적으로 변화를 적용해 데이터 다양성을 극대화합니다. Transformer 모델의 Self-attention 점수를 활용해 중요도가 낮은 피처를 선정하고, Masking, Shuffling, CutMix 중 하나의 증강 기법을 무작위로 적용합니다. 증강된 데이터는 학습에 사용하며, 에포크마다 다른 변형을 통해 모델이 다양한 데이터를 학습하도록 설계했습니다.

1) Attention-Guided Feature Selection

AGATa는 Transformer 모델의 Self-attention 메커니즘에서 얻은 Attention 점수를 사용해 각 피처의 중요도를 계산합니다.

주어진 배치 B, 헤드 수 H, 피처 수 F에 대해 Attention 행렬 $A\mathit{\in }{ℝ}^{\mathit{B}\mathit{x}\mathit{H}\mathit{x}\mathit{F}\mathit{x}\mathit{F}}$ 는 다음과 같이 정의합니다.

$A\mathit{=}softmax\mathit{ }\mathit{\left(}\frac{\mathit{Q}{\mathit{K}}^{\mathit{T}}}{\sqrt{{\mathit{d}}_{\mathit{k}}}}\mathit{\right)}$

여기서 Q와 K는 Query와 Key 행렬이며, $d_{\mathit{k}}$는 Key의 차원입니다:
Attention 점수를 모든 헤드에 대해 평균화하여 피처 중요도 행렬 $A_{mean} \in {ℝ}^{BxF}$를 계산합니다:

$A_{mean}=\frac{1}{H}\sum _{h=1}^H{A}_h$

그 다음, 각 피처의 평균 중요도를 계산하여 피처별 중요도 벡터 $A_{\mathit{f}\mathit{e}\mathit{a}\mathit{t}\mathit{u}\mathit{r}\mathit{e}}\mathit{ }\mathit{\in }\mathit{ }{ℝ}^{\mathit{F}}$를 얻습니다:

$A_{feature\left[i\right]} = \frac{1}{F}\sum _{j=1}^F{A}_{mean}[:,i,j]$

중요도가 낮은 피처는 Attention 점수가 하위 K%에 속하는 피처로 정의되며, K는 AGATa에서 40%로 설정됐습니다. 이는 데이터의 핵심 구조는 보존하면서도 덜 중요한 피처에 변화를 가해 모델의 일반화 성능을 높이는 방식입니다.

2) Dynamic Augmentation Strategy

AGATa는 중요도가 낮은 피처에 대해 Masking, Shuffling, CutMix의 세 가지 증강 기법을 무작위로 적용해 데이터의 다양성을 극대화합니다. 각 기법은 다음과 같이 정의합니다:

(a) Masking : 선택된 피처 $S\mathit{\subseteq }\mathit{\{}\mathit{1}\mathit{,}\mathit{2}\mathit{,}\mathit{.}\mathit{.}\mathit{.}\mathit{,}F\mathit{\}}$에 대해 해당 값을 데이터셋의 평균 ${\mu }_{\mathit{k}}$또는 고정된 값으로 대체합니다:

$x_i^{\mathit{\text{masked}}}\left[k\right] = \{\begin{array}{l}{\mu }_k,\\ x_i\left[k\right],\end{array}\begin{array}{r}\text{if }k\in S,\\ \mathit{\text{otherwise}}.\end{array}\}$

(b) Shuffling : 선택된 피처의 값을 배치 내 다른 샘플 $x_{\mathit{j}}$의 값으로 대체합니다:

$x_i^{shuffled}\left[k\right]=\{\begin{array}{l}{x}_j\left[k\right],\\ x_i\left[k\right],\end{array}\begin{array}{r}if k\in S, and j \ne i\\ otherwise.\end{array}\}$

(c) CutMix : 선택된 피처 값을 두 샘플 $x_{\mathit{A}}$와 $x_{\mathit{B}}$의 혼합으로 생성합니다:

$x_i^{cutmix}\left[k\right]=M\left[k\right]·x_A\left[k\right]+(1-M[k\left]\right)·x_B\left[k\right]$

여기서 $M\left[k\right]\in \{0,1\}$는 랜덤하게 생성된 바이너리 마스크입니다. AGATa는 각 에포크마다 위 세 가지 기법 중 하나를 무작위로 선택해 증강을 수행하며, 데이터 다양성과 모델의 일반화 성능을 동시에 높입니다.

3) AGATa의 성능 및 기여

1. 분류 및 회귀 태스크에서의 예측 성능 향상:

이미지 2. 다양한 기존 증강기법과 AGATa 증강기법의 성능비교^[8]

이미지3. 이전 SoTA 알고리즘과 AGATa의 성능비교^[8]

AGATa는 정확도(Accuracy)와 평균 제곱 오차(MSE) 측면에서 기존 모델 대비 우수한 성능을 보였습니다. 특히 이미지 2에서 확인할 수 있듯이, 기존의 다양한 증강 기법을 뛰어넘는 성능 기록을 보여줬습니다. 추가적으로 이미지 3에서와 같이 AGATa는 Tabular Data에서 강점을 보여왔던 XGBoost와 같은 GBDT 모델보다도 더 높은 성능을 달성했으며, T2G-Former나 SAINT와 같이 최근에 제안된 SoTA DNN 알고리즘을 넘어서는 성능을 보여줌으로써 그 우수성을 입증했습니다.

향후 계획

Tabular Data는 금융, 의료, 제조 등 여러 도메인에서 활용되며, 실시간 데이터 처리나 데이터셋 크기와 상관없이 안정적으로 작동할 수 있는 유연한 접근이 필요합니다. LG AI연구원 DI Lab은 AGATa를 기반으로 Tabular Data 연구를 더욱 발전시키는 과정을 이어갈 계획이며, 특히 다양한 환경에 적용 가능한 기술 개발에 박차를 가할 예정입니다. 이를 위해 노이즈, 결측값, 불균형 데이터 등 실무에서 자주 접하는 다양한 유형의 데이터도 효과적으로 처리할 수 있는 방법을 모색 중입니다.

또한 증강 기법뿐만 아니라 Tabular Data의 구조적 특징을 이해하고, 이를 다양한 시나리오에 적용할 수 있는 통합적인 프레임워크 개발에도 초점을 맞추고 있습니다. 이러한 연구는 데이터 처리와 학습 과정을 결합해 실제 산업 환경에서 적용 가능한 실질적 성과를 도출하는 데 기여할 것입니다.

NeurIPS 2024 Series

EP. 1 [NeuriPS 2024 Series] Mutual Information Estimation Benchmark 연구 소개
EP. 2 [NeurIPS 2024 Series] Tabular Data를 위한 B-splines 기반 입력값 정규화 방식
EP. 4 [NeurIPS 2024 Series] Multimodal 시계열 예측을 위한 Adaptive Information Routing 기술 연구