[ICML 2022] 1편: Long-Tail Distribution Learning

ICML 2022(International Conference on Machine Learning 2022)는 올해로 39회째를 맞은 대규모 국제 학회입니다. 논문 채택률 20%, 임팩트 팩터 6.99로 매년 약 7만 명 이상이 참가하며 AI 분야에서 가장 영향력 있는 인공지능 학회 중 하나로 손꼽히고 있습니다. LG AI연구원은 지난 7월 17일부터 23일까지 미국 메릴랜드 볼티모어와 온라인에서 하이브리드로 개최되었던 'ICML 2022'에 참관했습니다. LG AI연구원의 세 연구원이 학회에서 공유되었던 내용 중 유의미한 논문을 골라 소개합니다. - 1편: Long-Tail Distribution Learning – Applied AI Research Lab 윤수희 님 - 2편: Self-supervised learning – Applied AI Research Lab 정혜민 님 - 3편: Neural Combinatorial Optimization studies – Applied AI Research Lab 정한슬 님

Introduction

LG AI연구원의 Applied AI Research Lab에서는 실시간으로 수집되는 다양한 형태의 large-scale dataset으로부터 유의미한 정보를 찾고, 이에 기반한 최적화된 솔루션을 제공해 실제 산업 현장의 난제들을 해결하는 것을 목표로 연구하고 있습니다. 이를 위해 산업에서 직면하고 있는 문제를 정확히 정의하고, 다양한 현실 제약 조건들을 고려한 data-driven 모델을 개발하는 등 다양한 연구를 활발하게 진행하고 있습니다. 그중에서도 real-world dataset에서 흔하게 나타나는 Long-Tail Distribution은 오래전부터 중요하게 인식되어 온 연구 분야 중 하나로, 이를 개선하기 위한 많은 시도가 있었습니다.

이번 글에서는 Long-Tail Distribution의 특성에 대해 알아보고, 이를 해결하기 위해 제시된 전통적인 기법들부터 최근 다양한 도메인에서 State-Of-The-Art (SOTA) 성능을 보여주는 Deep Learning 모델에 초점을 맞춰 제시된 새로운 방법론들까지 함께 알아보겠습니다. 그다음으로는 최근 ICML 2022에서 발표된 Partial and Asymmetric Supervised Contrastive Learning(PASCL) 논문을 소개하며 글을 마치겠습니다.

Long-Tail Distribution

Long-Tail Distribution이란?

Long-Tail Distribution (LTD)은 dataset의 distribution이 skewed 되어 있는 문제를 말합니다. Real-world에서 수집된 large-scale dataset의 distribution을 그려보면 아래 Figure 1과 같이 “Long-Tail”을 갖는 것을 확인할 수 있습니다. 각 class 별 label이 달린 dataset에서 LTD를 가질 경우는, class imbalance의 imbalance ratio가 극심한 특수한 경우로, sample 수가 dominant한 class를 head-class라고 하며, sample 수가 scarce한 class를 long-tail-class라고 합니다. 이는 Figure 2에서 볼 수 있듯 다양한 도메인에서 흔하게 나타나는데, 대표적으로 불량 감지, 질병 진단, 자율 주행 차 사고 감지, 사이버 보안 등에서 볼 수 있습니다.

Figure 1. Long-Tail Distribution 예시

Figure 2. 다양한 도메인에서의 Long-Tail Distribution 예시

모델이 다양한 task에서 좋은 성능을 내기 위해서는 각 class의 representation을 잘 학습하는 것이 중요합니다. LTD 여부에 상관없이 head-class와 tail-class가 서로 non-overlapped distribution을 갖고, 각 class의 feature가 잘 구분되게 학습할 수 있다면 모델의 성능 저하도 일어나지 않습니다. 하지만, 대부분의 경우 모델은 head-class에 편향되게 학습이 되고, 이 때문에 tail-class에서는 심각한 성능 저하가 일어나게 됩니다.

아래 Figure 3과 같이 이를 개선하기 위해 다양한 방법론이 제시되었는데, 그중 본 글에서는 Re-sampling, Cost-Sensitive Learning, Transfer Learning, Representation Learning, Decoupled Training을 소개합니다.

Figure 3. Long-Tail Distribution Learning 분류

Re-Sampling

1. Under-Sampling

Random Under-Sampling (RUS)은 data-level의 접근법으로, head-class sample을 랜덤으로 선택하고 나머지는 dataset에서 제거하여 tail-class sample과 개수를 맞추는 방법입니다. 하지만, 이 방법은 head-class sample 하나하나가 중요한 정보를 담고 있을 경우, 정보가 심각하게 손실되며 underfitting이 될 수 있습니다.

이를 보완하여 K-nearest neighbors (K-NN) classifier를 사용해 중복되는 정보를 대표하는 유의미한 sample만 잘 선택하는 One-sided selection, Wilson’s editing과 같은 방법들이 제안되었습니다.

2. Over-Sampling

Random Over-Sampling (ROS)도 역시 data-level 접근법으로, tail-class sample을 랜덤으로 복제하여 head-class와 sample의 개수를 맞추는 방법입니다. 하지만, 이러한 단순 복제 방법은 tail-class들의 robust하고 generalizable한 feature를 추출하는 데 한계가 있어 overfitting이 일어날 수 있습니다.

이를 보완하여 기존의 각 head-class sample 사이를 interpolation하여 새로운 artificial sample을 생성해내는 Synthetic Minority Over-sampling Technique (SMOTE) 방법이 제시되었습니다. 이후에는 SMOTE를 기반으로 발전한 방법인 Borderline-SMOTE, Safe-Level-SMOTE, SMOTEBoost 등과 Generative Adversarial Network (GAN)에 기반하여 발전한 방법들까지 다양하게 제안되고 있습니다.

Figure 4. Under-Sampling, Over-Sampling 예시

Cost-Sensitive Learning

Cost-Sensitive Learning은 학습 단계에서 각 class 별 loss 값을 다르게 주어 re-balance하는 algorithm-level 접근법입니다. Loss 설계 시, head-class에 penalty를 주거나, tail-class에 weight를 더 주어 모델의 일반화 성능을 높입니다. 아래 Table 1은 최근 제안된 Cost-Sensitive Learning loss를 요약한 수식으로, $z$는 predicted logit, $p$는 softmax probability, $n$은 학습 sample 총수, $n_y$는 y class의 sample 총수, $w$는 class-wise weight, $\Delta$는 class-wise margin, $\gamma$는 loss-related parameter에 해당합니다.

Table 1. Cost-Sensitive Learning Loss 요약

Weighted Softmax loss, Focal loss, Class-balanced loss, Balanced softmax loss, Equalization loss 모두 re-weighting 방법에 해당하며, LDAM loss는 서로 다른 class에 대해 학습된 feature들과 모델의 최소 margin을 조정하여 보완하는 re-margining에 해당합니다.

Transfer Learning

LTD에서의 Transfer Learning에는 head-class의 정보를 tail-class로 전이하여 모델의 성능을 증대하는 Head-to-tail knowledge Transfer Learning이 있습니다. 그중 Feature Transfer Learning (FTL)은 tail-class 내의 variance가 head-class에 비해 훨씬 작아 decision boundary가 편향되게 형성되는 것을 개선하기 위해, head-class의 variance 정보에 기반한 tail-class feature augmentation을 하도록 합니다. Online Feature Augmentation (OFA)는 class activation map에 기반하여 class-specific feature와 class-agnostic feature를 추출합니다. 그다음, tail-class specific feature와 head-class agnostic feature에 기반하여 tail-class sample을 증강합니다. Rare Class Sample Generator (RSG)는 각 class 별 feature center를 추정한 후 head-class sample feature와 가장 가까운 intra-class feature center 간 feature displacement에 기반하여 tail-class feature를 보강합니다.

Representation Learning

최근 LTD 문제를 해결하기 위해 Metric Learning 중 Contrastive Learning을 활용한 연구들이 활발히 진행되고 있습니다. KCL은 balanced feature 공간을 형성할 수 있는 k-positive Contrastive Loss를 제안하여, long-tail distribution problem을 완화하고, 모델의 일반화 성능을 높였습니다. Parametric contrastive learning (PaCo)은 class center들을 모델의 가중치로 놓고, parametric 학습이 가능한 새로운 class center를 추가하여 Supervised Contrastive Learning (SCL)을 개선했습니다. Distributional robustness loss for long-tail learning (DRO-LT)은 Prototypical Contrastive Learning에 기반한 distribution robust 최적화를 통해 모델이 data distribution shift에 더욱 robust 하도록 개선했습니다.

Decoupled Learning

이전에는 기존의 balanced dataset에서 feature extractor와 downstream task 모델을 end-to-end로 학습하는 방식이 좋은 성능을 내어 대부분 이에 기반한 방법론이 제시되어 왔습니다. 하지만, 최근 ICLR 2020에서 발표된 Decoupling representation and classifier for long-tailed recognition 논문에서는 어떠한 dataset이 극심한 long-tail distribution을 가질 경우, 학습을 2-stage로 나누어 Figure 5와 같이 stage 1에서는 기존의 방식대로 end-to-end 학습을 하고, stage 2에서 feature extractor를 고정한 후, downstream task 모델을 재학습하는 것이 훨씬 더 좋은 성능을 낸다고 제안했습니다. 또한, stage 1의 representation learning과 stage 2의 classifier 학습 시 다양한 sampling 전략과 모델을 사용하여 성능을 평가했습니다. 그 결과, Instanced-Balanced Sampling (IBS)이 의외로 뛰어난 성능을 보이고, classifier만 잘 학습해도 성능이 놀랍게 개선된다는 것을 알 수 있었습니다.

Figure 5. Decoupling representation and classifier for long-tailed recognition 요약

Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-tailed Recognition

본 논문에서는 LTD를 가지는 dataset의 Out-Of-Distribution (OOD) detection task 성능 향상을 위한 새로운 방법론을 제시합니다. 기존에 제안된 OOD detection 방법론 대부분은 balanced distribution을 기반으로 해 LTD dataset에 적용 시 Table 2에서 볼 수 있듯 성능이 심각하게 저하되는 문제가 발생합니다. 이에 대한 주된 원인으로는, 모델이 OOD sample과 Tail-class In-Distribution (TID) sample을 오분류 하는 case가 많기 때문입니다. 따라서 본 논문에서는 OOD sample과 TID sample의 예측 정확도를 높이는데 집중하는 Partial and Asymmetric Supervised Contrastive Learning (PASCL)을 새롭게 제안합니다.

Table 2. Long-tail distribution dataset의 성능 저하 비교

Out-Of-Distribution Detection

OOD detection은 in-distribution sample만 사용하여 학습한 후, inference 시에 새로운 sample이 in-distribution일 경우에는 정확하게 분류하고, 학습 시 보지 못한 out-of-distribution일 경우 outlier로 걸러내는 task를 말합니다. Deep Neural Network (DNN) 기반 OOD detection은 OOD sample의 uncertainty가 높아 prediction 결과가 low-confident한 것을 reject 하게 됩니다. 하지만, 우리의 기대와 달리 기존의 DNN 모델은 새로운 OOD sample에 대해서도 over-confident한 잘못된 prediction 결과가 자주 나옵니다. 이는 TID의 sample 수가 적고 variance가 작아, 학습 시 under-represented 되어 DNN 모델이 OOD sample과의 decision boundary를 잘 찾지 못하기 때문입니다. 아래 Figure 6을 보면, Head-class In-Distribution (HID) sample은 OOD sample들과 잘 구분되는 반면, TID sample은 OOD sample과 대부분 overlap 되어 있는 것을 확인할 수 있습니다.

Figure 6. CIFAR10, CIFAR10-LT 시각화

기존 OOD detection task의 loss를 살펴보면 아래와 같습니다. ${\mathcal{D}}_{in}$과 ${\mathcal{D}}_{out}$은 각각 in-distribution 학습 dataset과, label이 달려있지 않은 OOD 학습 dataset에 해당합니다. ${ℒ}_{in}$은 in-distribution classification loss이고, ${ℒ}_{out}$은 OOD detection loss로 모델이 OOD sample에 대해서 low-confident한 결과를 내도록 학습하게 합니다. 예를 들어, Outlier Exposure (OE) task에서, ${ℒ}_{in}=\mathrm{XEntorpy}\left(\mathcal{x},\mathcal{y}\left(\mathcal{x}\right)\right)$는 cross-entropy가 될 수 있고, ${ℒ}_{in}=\mathrm{KL}\left(\mathcal{f}\left(\mathcal{x}\right)\parallel \mathcal{u}\right)$와 같이 KL-divergence가 될 수 있습니다.

$ℒ={\mathbb{E}}_{\mathcal{x}~{\mathcal{D}}_{in}}\left[{ℒ}_{in}\left(\mathcal{x}\right)\right]+\lambda {\mathbb{E}}_{\mathcal{x}~{\mathcal{D}}_{out}}\left[{ℒ}_{out}\left(\mathcal{x}\right)\right]$

Method

본 논문에서는 기존의 OOD detection과 LTD recognition의 방법론들이 서로 상충하는 목적을 가지고 있다고 말합니다. OOD detection의 목적은 rare한 sample들에 대해서 모델이 under-confident한 결과를 내도록 하는 것이고, LTD recognition의 목적은 rare한 sample들의 prediction confidence가 높도록 학습하게 하는 것입니다. 이를 고려하여 본 논문에서는 Partial and Asymmetric Supervised Contrastive Learning (PASCL)을 통해 TIP sample과 OOD sample을 구분할 수 있는 boundary를 더 잘 찾고, Auxiliary Branch Fine-Tuning (ABF)을 통해 모델을 두 개의 branch로 disentangle 시켜 각각의 목적에 맞게 학습할 수 있게 하고자 합니다.

Partial and Asymmetric Supervised Contrastive Learning (PASCL)

Figure 7과 같이 OOD sample들과 TID sample들의 예측 정확도 향상을 위해 기존의 SCL 방법에서 Partiality와 Asymmetry 두 가지 측면을 개선했습니다.

Figure 7. 기존 SCL과 본 논문에서 제안하는 PASCL 비교

1. Partiality
위에 서론 부분에서 언급했듯, HID sample들은 이미 OOD sample과 well-seperated 되었기 때문에 모든 class에 동일하게 Contrastive Learning을 적용하는 것은 적절치 않습니다. 따라서, OOD sample과 TID sample에만 부분적으로 Contrastive Learning을 적용하여, 같은 class내 TID sample은 feature space에서 서로 가까운 공간에 위치할 수 있도록 pull 해주고, 서로 다른 TID sample과 OOD sample은 모두 feature space에서 서로 구분될 수 있도록 push 해줍니다.

2. Asymmetry
In-distribution sample과 달리, OOD sample은 각각 open visual world를 대표하는 다양한 형태로 이루어져 있습니다. 따라서, OOD sample이 feature space에서 서로 가까운 공간에 위치할 필요는 없으므로 학습 시 pull 해주지 않습니다.

PASCL과 SCL의 주요 차이점은 $\mathcal{I}$과 $\mathcal{A}\left(\mathcal{x}\right)$으로 Partiality와 Asymmetry를 합치면 PASCL의 loss는 아래와 같습니다.

$\mathcal{L}={\mathbb{E}}_{\mathcal{x}~{\mathfrak{D}}_{in}}\left[{\mathcal{L}}_{in}\left(\mathcal{x}\right)\right]+{\lambda }_1{\mathbb{E}}_{\mathcal{x}~{\mathcal{D}}_{out}}\left[{\mathcal{L}}_{out}\left(\mathcal{x}\right)\right]+{\lambda }_2{\mathbb{E}}_{\mathcal{x}~\mathcal{I}}\left[{\mathcal{L}}_{\mathcal{c}}\left(\mathcal{x}\right)\right]$

$\mathcal{I}={\mathcal{D}}_{tail}, \mathcal{A}\left(\mathcal{x}\right)={\mathcal{D}}_{tail}\cup {\mathcal{D}}_{out}\backslash \left\{\mathcal{x}\right\}$

 

Auxiliary Branch Fine-Tuning (ABF)

기존 OOD detection의 SOTA 방법론들은 in-distribution sample과 OOD sample을 모두 포함하여 한 번에 추정된 통곗값을 가지고 Batch Normalization (BN)을 진행합니다. 하지만 이 방법이 OOD detection에는 적절할 수 있지만, in-distribution classification에 최적화된 방법은 아닙니다. 따라서, 본 논문에서는 OOD detection을 수행하는 main branch와 in-distribution classification을 수행하는 auxiliary branch를 구분하여 제안합니다. 제안 방법의 학습 과정은 2-stage로 진행되는데, 첫 번째 stage에서는 in-distribution과 OOD sample 모두 mixture-BN을 사용하여 아래 loss 식을 최소화시키도록 학습이 진행됩니다. 두 번째 stage에서는 in-distribution sample만 사용하여 main branch에서 학습된 모델의 auxiliary BN layer와 classification layer를 fine-tuning 합니다. 이때, 다른 convolutional layer들은 고정시키고, Logit-Adjustment (LA) cross-entropy loss를 사용하여 모델을 학습합니다.

이후 inference 시, 새로운 sample은 먼저 OOD detection을 수행하는 main branch로 들어가고, 이 sample이 OOD 로 판정될 경우 두 번째 branch의 inference는 진행되지 않습니다. In-distribution으로 판정될 경우 auxiliary branch의 추가 inference를 통해 in-distribution classification을 수행합니다.

ABF의 loss 식은 아래와 같습니다.

${\mathbb{E}}_{\mathcal{x}~{\mathcal{D}}_{in}}\left[{\mathcal{L}}_{in}^{LA}\left(\mathcal{x}\right)\right]$

Figure 8. ABF 개요도

Experiment

제안 방법의 성능을 확인하기 위해 본 연구에서는 long-tail image classification dataset인 CIFAR 10-LT, CIFAR 100-LT 그리고 ImageNet-LT 등 총 3가지를 사용했습니다. CIFAR 10-LT, CIFAR 100-LT은 ResNet18을 사용하여 제안 방법의 성능을 검증하고, ImageNet-LT는 ResNet50을 사용했습니다. 세 개의 dataset에서 모두 Accuracy가 증가하고, False Positive Rate이 현저히 줄어든다는 것을 확인할 수 있었습니다. 또한, PASCL의 구성 요소인 Asymmetry, Partiality, ABF의 ablation study 결과 모든 구성 요소를 포함한 방법이 가장 낫다는 것을 확인했습니다.

Table 3. CIFAR10-LT dataset의 결과

Table 4. PASCL 구성 요소의 ablation study 결과

Discussion

본 논문에서는 LTD 특성을 가지는 dataset에서 OOD detection task 성능을 높일 수 있는 새로운 방법을 제안했습니다. 기존의 SCL과 달리, TID sample과 OOD sample의 feature 들이 더 잘 구분될 수 있도록 Contrastive Learning을 진행하는 새로운 방법론인 PASCL을 제시했습니다. 하지만, 본 논문에서 가정하는 HID sample이 이미 OOD sample과 구분이 잘 된다는 점은 실험에 사용한 dataset에 제한적일 수 있으며, 학습 시 in-distribution sample과 OOD sample이 이미 다른 distribution이라는 정보가 필요합니다. 이를 극복하기 위해, unsupervised setting에서 TID sample과 OOD sample이 구분될 수 있는 새로운 방법을 생각할 필요가 있습니다.

Conclusion

이번 글에서는 Long-Tail Distribution (LTD)의 특성과 이를 개선하기 위한 다양한 방법론을 알아보았습니다. LTD 문제는 꽤 오래전부터 중요한 문제로 인식이 되어, 이를 개선하기 위한 많은 방법론이 제시되어온 분야입니다. 그런데도, 최근 들어 활발히 연구되고 있는 Transfer Learning, Domain Adaptation, Self-Supervised Learning 등 다양한 분야와 함께 접목하여 지속적으로 새로운 방법론이 제시되고 있습니다. 또한, Classification, Regression, Out-Of-Detection과 같이 다양한 문제에서 공통으로 나타나는 문제이기 때문에 다양한 접근 방법이 존재할 수 있습니다. 따라서, LTD가 가지는 근본적인 문제를 정확히 파악하고, downstream task의 성능을 높이는 방법을 지속해서 고민할 필요가 있다고 생각합니다.