[ICML 2024] Tabular Learning 연구 동향

LG AI연구원의 Data Intelligence(DI) Lab은 ICML 2024에서 ‘Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains’^[1] 논문을 발표하였습니다. 본 논문은 NeurIPS 2023 Table Representation Learning Workshop에서도 발표되었으며, 구체적인 내용은 이전 블로그 포스트 및 이미지 1의 포스터에서 확인할 수 있습니다.

간략히 설명하자면, 본 논문에서는 Tabular Learning에서의 딥 네트워크의 한계점을 극복하기 위해 Binning Algorithm을 활용하여 수치형(Numerical) 변수를 범주형(Discrete) 변수로 변환하고, Unsupervised Learning에서 Bin Index에 해당하는 범주형 변수를 예측하는 문제(Pretext Task)를 수행하는 방식으로 Representation을 학습합니다. 학습된 Representation은 데이터 별 Downstream Task에 따라 Linear Evaluation 또는 Fine-tuning을 통해 평가됩니다. Workshop 논문에서는 비교적 단순한 인코더(Encoder)인 MLP와 FT-Transformer 구조만 사용되었던 반면, 본 논문에서는 최근 발표된 Tabular Learning 모델 구조 중 하나인 T2G-Former^[2] 가 추가로 활용되었습니다. 또한 본 방식의 성능 개선 효과를 설명할 수 있도록 Discussion에서 시각화를 포함한 다양한 실험 결과를 제안합니다.

이미지 1. Binning as a Pretext Task: Improving Self-Supervised Leanring in Tabular Domains 논문 발표 포스터

ICML 2024에서는 Position Track 76개를 포함하여 총 2,634개의 논문이 발표되었습니다. 그중 Tabular Domain에 특화된 연구 성과로는 본 논문을 포함하여 Spotlight 2편, Poster 11편, Position Track 1편까지 총 14편의 논문이 발표되었습니다. 여기서 Position Track을 제외한 13편은 Language Model 활용 연구 3편, Tree 모델 관련 Inductive Bias를 활용한 연구 3편, Graph 관련 연구 2편, Interpretable AI 연구 3편으로 집계되었습니다. 다른 도메인 대비 초거대 언어모델(Large Language Model, LLM)을 활용하는 연구의 비중은 낮은 편이며, 특정 문제 셋업(e.g. 샘플 수가 극히 적은 경우, 이상 감지, 비지도 학습 등)을 타겟하여 새로운 방법론을 제안하는 연구가 큰 비중을 차지하였습니다. 추가적으로 Tabular Domain에 특화된 연구는 아니지만, 평가에 Tabular Dataset을 함께 사용한 논문이 10편 발표되었습니다.

이번 글에서는 Tabular Domain 관련 연구 논문 중,  주목할 만한 두 편의 논문에 대해 살펴보도록 하겠습니다.

1. Tabular Insights, Visual Impacts: Transferring Expertise from Tables to Images

본 논문은 Image-tabular Multimodal Learning과 관련된 연구로, 전문가로부터 데이터를 획득할 수 있지만 비교적 비용이 많이 드는 Tabular Data를 학습에 추가로 사용하여 이미지 기반 예측 성능을 높이는 것을 목표로 합니다. Tabular Data의 경우, 수치형(Numerical) 변수와 범주형(Categorical) 변수가 혼재되어 있기 때문에 이미지와 자연어 간의 Multimodal 학습 기법을 그대로 활용하는 데 한계점이 있습니다. 뿐만 아니라, Tabular Data의 모든 정보가 주어진 이미지와 관련이 있는 것이 아니기 때문에, 어떤 정보 또는 변수가 주어진 이미지와 관련이 있는지 알아내는 것이 필요합니다.

이를 위해 본 논문에서는 이미지 2에서 볼 수 있듯 Channel tAbulaR Alignment with Optimal Transport (CHARMS)를 새로운 방법론으로 제안합니다. 본 방법론을 간단히 말하면, Tabular Data의 Attribute을 선택적으로 이미지 Channel과 Align하기 위해 Visual Prediction과 선택된 Tabular Attributes 간의 상호 정보(Mutual Information, MI)를 최대화하는 방식을 사용합니다.

그 내용을 구체적으로 살펴보면 다음과 같습니다. 먼저 이미지 데이터의 경우 ResNet을 사용하여 Representation을 추출합니다. 이때 Representation은 최종 Average Pooling 이전 레이어, 즉 H*W*C 크기의 Representation에 해당합니다. 일반적으로 이미지는 Channel에 따라 Redundant Semantics가 존재할 수 있기 때문에, 본 논문에서는 각각의 Channel이 보다 독립적인 의미를 가질 수 있도록 K-Means Clustering을 사용하여 비슷한 Channel을 Grouping하여 C보다 작은 C’개의 채널을 사용합니다. 다음으로 Tabular Data의 경우, FT-Transformer^[3]를 사용하여 각 Attribute에 대한 Representation, 즉 (Attribute의 개수)*(Embedding의 차원) 크기에 해당하는 Representation을 추출합니다. 결과적으로 이미지에 대해서는 C’개의 채널에 대한 H*W 크기의 Representation을 얻고, Tabular data에 대해서는 (Attribute의 개수) 만큼의 Attribute에 대한 (Embedding의 차원) 크기의 Representation을 얻게 됩니다.

그러나 두 Representation은 Modality가 다를 뿐 아니라 차원이나 의미 측면에서도 차이를 가지기 때문에 바로 유사도를 측정하기에는 어려움이 있습니다. 본 논문에서는, 각 Channel(i) 또는 Attribute(j)에 대한 Sample 간의 Cosine Similarity를 이미지와 Tabular Representation에 대해 각각 계산하여, $S_i^{Image},S_j^{Tabular} \in {\mathrm{ℝ}}^{N\times N}$로 정의하고, 이 둘의 차이를 Cost Matrix로 정의합니다. 즉, Cost Matrix는 이미지의 Channel-wise Similarity와 Tabular Data의 Attribute-wise Similarity 간의 차이인 $C_{ij} = {{\left|| S_i^{Image}-S_j^{Tabular }|\right|}^2}_2$로 정의됩니다. 이렇게 정의된 Cost Matrix를 기반으로, Optimal Transport 방법을 사용하여 서로 다른 Modality 간의 샘플 유사성을 최소화하는 최적의 전송 행렬 $\hat{T}$를 계산합니다. 이를 통해 수학적으로 확률 분포 간의 유사성을 측정하고, 한 분포에서 다른 분포로 질량을 이동하는 최적의 방법을 찾을 수 있습니다. 즉, 이미지로부터 얻어진 Representation에 최적의 전송행렬 $\hat{T}$를 곱하여 Tabular Data로부터 얻어진 Representation과 같은 공간으로 Align 시킬 수 있을 뿐 아니라, 이 과정에서 중요한 Tabular Attributes가 선택적으로 적용되는 효과도 얻을 수 있습니다. 최종적으로 Align이 완료된 두 개의 벡터 간의 상호정보(MI)를 최대화할 수 있는 손실함수를 사용합니다. 본 논문에서는 간접적으로 Predictability와 MI 간의 양의 상관관계가 있는 점을 이용하여, 최적의 전송행렬이 곱해진 이미지 Representation과 Tabular Attributes 간의 Predictability를 최대화하는 방식을 사용하였습니다.

이미지 2. 제안 방법론 CHARMS의 개요도^[4]

본 방법론의 효과를 검증하기 위하여 6개의 Multimodal 데이터셋에 대한 실험을 진행하였습니다. 결과적으로, 다른 Multimodal 학습 방식 대비 좋은 성능을 보였을 뿐만 아니라, Tabular 또는 이미지의 단일 도메인에 대한 학습 방식보다도 좋은 성능을 나타내는 것을 확인하였습니다. 뿐만 아니라, Tabular Knowledge를 사용함으로써 결과를 해석하는 관점에서도 좋은 효과를 얻을 수 있음을 보여주었습니다.

본 논문은 현재까지 잘 연구되지 않았던 분야인 Image-Tabular 데이터에 대한 Multimodal 학습 방법론을 제안한 선구적인 연구로, 코드와 데이터셋을 모두 공개하여 후속 연구에 큰 도움이 될 수 있을 것으로 예상됩니다. 이미지와 Tabular Representation 간의 상호정보를 최대화함으로써 Multimodal 학습 성능을 높일 수 있다는 내용으로, Tabular Data의 보조 정보로써의 활용 가능성을 시사합니다.

2. Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning

본 논문에서는 LLM을 Feature Engineer로 활용하여 최적의 입력 데이터를 생성하고, 이를 선형 회귀와 같은 단순한 머신러닝 모델을 통해 적은 수의 샘플로도 높은 성능을 발휘할 수 있는 FeatLLM 프레임워크를 제안합니다. 즉, LLM의 능력을 Feature를 생성하는 데 활용함으로써 특정 Feature가 발견되면 복잡한 머신러닝 모델 없이도 정확한 예측이 가능하도록 하여 추론 시간을 개선하는 효과가 있습니다.

이미지 3. FeatLLM 방법론 개요도^[5]

FeatLLM은 이미지 3과 같이 소수의 샘플로부터 각 클래스에 해당하는 규칙을 추출하고, 이를 LLM으로 처리하여 새로운 이진 특징(Binary Features)을 생성합니다. 이 이진 특징들은 Non-negative Training Weights를 가진 Dot Product 연산에 입력되어 각 클래스에 해당하는 확률을 추정하는 데 사용됩니다.

FeatLLM은 규칙을 추출하기 위해 먼저 프롬프트를 설계합니다. 먼저 LLM이 Example Demonstration을 참조하지 않고 일반 지식 또는 상식을 기반으로 특징(Feature)과 Task Description 간의 인과 관계 또는 경향을 추론하도록 장려합니다. 다음으로 LLM이 Example Demonstration, 그리고 이전 단계의 정보를 사용하여 각 클래스에 대한 규칙을 추론하도록 Reasoning Instruction을 생성합니다. 마지막으로 추론된 규칙을 더 쉽게 사용할 수 있도록 AND 또는 OR과 같은 논리 연산자를 사용하여 응답을 구조화합니다. 이렇게 생성된 규칙을 사용하여 클래스별로 새로운 이진 특징(Binary Features)을 생성합니다. 클래스 별로 정의된 규칙 중 몇 개를 만족하는지 계산하여 최종적인 예측을 수행하며, 이 과정에서 Bagging을 통해 앙상블을 추가로 활용합니다. 12개의 데이터셋에 대한 실험을 통해, 기존 베이스라인 대비 평균 10% 정도 성능이 향상되는 결과를 확인했습니다.

본 논문은 최근 다양한 도메인에서 LLM의 활용 가능성이 대두되는 것과 같이, Tabular Domain에서의 LLM의 활용 가능성을 Few-shot 세팅에서 확인한 연구로써 의미를 가집니다. 단순히 데이터나 Feature Description을 LLM을 통해 처리하려고 했던 이전 연구들 대비, 새로운 규칙을 생성하는 데 초점을 맞추었다는 점에서 이전 연구들과의 차별성이 있다고 볼 수 있습니다. 이를 통해 Tabular Domain에서의 다양한 LLM의 활용 가능성을 시사하고 있습니다.

ICML 2024 Position Track에서도 발표된 바와 같이^[6], 기존에는 Tabular Domain 관련 연구가 그 중요성에 비해 과소평가된 경향이 있었습니다. 그러나 최근 매년 Tabular Learning에 관한 연구 논문의 발표 수가 크게 증가하며 빠르게 성장하고 있는 추세입니다. ICML 2024에서 다양한 연구자들과 이에 대해 많은 이야기를 나눴고, 결론적으로 현재 Tabular Domain에서는 특정 문제 상황에서 이해할 수 있는 방식으로 적용 가능한 기술 개발이 필요한 시점이라고 보입니다. 

이미지 4. ICML 2024 에서 발표한 LG AI연구원의 포스터를 확인하는 모습

지난 NeurIPS 2023에 이어 이번 ICML 2024에서도 Tabular Learning과 관련된 논문을 발표하고, 다양한 현업 종사자 및 연구자들과 Tabular Learning의 발전 방향에 대해 함께 고민할 수 있어 의미 있는 기회였습니다. 특히 LG AI연구원 DI Lab은 주요 과제 중 하나인 공정 자동화와 관련해, 공정 데이터 기반 예측에 필요한 기술을 개발하고 현업에 적용해가는 방식으로 연구를 이어가고 있습니다. Tabular Domain에서 중요할 것으로 생각되는 문제 상황을 정의하고 각 문제 상황에서 필요한 기술을 개발하는 관점에서 연구를 진행합니다.  (1) 이상 감지와 같이 라벨링된 데이터가 없거나 극히 적은 상황에서의 예측 상황, (2) 데이터 수가 매우 적은 상황에서 실제와 유사한 데이터를 생성하여 예측을 수행하는 상황, (3) 과도한 모델의 하이퍼파라미터 수로 인해 불안정한 학습을 안정시킬 수 있는 상황 등에 대응할 수 있는 기술을 개발하기 위하여 활발한 연구를 진행하고 있습니다. 연구 뿐만 아니라 다양한 산업 분야에서도 Tabular Data가 자주 사용되는 만큼, 이와 관련해 좋은 성능을 내는 모델을 개발한다면 산업적으로 큰 가치를 창출할 수 있을 것으로 기대하고 관련 연구 수행에 집중하겠습니다. 

▶ICML 2024 Review Series : 확산 모델(Diffusion Model)을 이용한 조합 최적화 풀기