[ICML 2021] 2편: Generative model for OOD detection in ICML 2021

ICML 2021(International Conference on Machine Learning 2021)은 올해로 38회째를 맞은, 매년 약 7만 명 이상이 참가하는 대규모 국제 학회입니다. 논문 채택률 20%, 임팩트 팩터 6.99로 AI 분야에서 가장 영향력 있는 인공지능 학회 중 하나이기도 합니다. 지난 7월 18일부터 24일까지 온라인으로 개최되었던 'ICML 2021'에 참관한 LG AI연구원의 세 연구원이 학회 내용 중 유의미한 논문을 골라 소개합니다. - 1편: Neural Combinatorial Optimization in ICML 2021 - Di Lab 이강훈님 - 2편: Generative model for OOD detection in ICML 2021 - Di Lab 정혜민님 - 3편: Spatio-temporal Time-series Forecasting in ICML 2021 - Di Lab 유주현님

LG AI연구원의 Data Intelligence Lab에서는 주어진 데이터의 representation learning, distribution estimate의 연구를 하고 이를 이용해서 Anomaly detection, Generation, Prediction, Recommendation 등의 다양한 계열사 현업 문제를 풀고 있습니다.

이번 2021 ICML에서 Representation learning을 주제로 한 세션이 6개, Deep generative model을 주제로 한 세션이 4개 열리는 것을 통해서 이 분야의 연구가 최근에 주목받고 있는 트렌드인 것을 확인할 수 있었습니다. 특히 Deep generative model 세션들에서 발표된 내용들을 요약하면 아래와 같습니다.

- 기존의 이미지 데이터뿐만 아니라 비디오, 도표, 3D 이미지, 오디오, 시계열 데이터 등 다양한 형태의 데이터에 대한 generative model이 발표되었습니다.
- Energy based model은 학습하기 어렵다는 문제점이 있는데, 이를 극복하기 위한 논문들이 여러 편 제시되었습니다.
- Generative model이 Out of distribution data에 높은 연관성을 부여하는 문제에 대해서 다루는 논문들이 발표되었습니다.
- 기존의 Generative model 구조를 개선하고 학습시키는 방법들을 소개하는 논문들이 제시되었습니다.

본 콘텐츠에서는 Generative model을 이용해서 Out of distribution detection을 수행한 논문들 중 아래의 두 편을 정리해 보았습니다.

1. Generative model이 Out of distribution detection에 실패하는 원인을 밝히고, 이를 보완함으로써 Out of distribution detection 성능을 높인 논문 2. Energy based model의 modeling power을 향상시켜서 Out of distribution detection 성능을 높인 논문

Hierarchical VAEs Knows what they don’t know^[1]

Generative model을 이용한 Out of distribution detection과 이슈

Generative model은 주어진 데이터가 sampling된 distribution을 estimate하는 모델이므로, 이 Generative model을 이용해서 Out of distribution detection task를 수행합니다. 즉, 주어진 input data에 Generative model이 부여한 가능성이 낮으면, out of distribution이라고 판단하는 원리인 것입니다.

그러나, 최근 연구에 따르면, 주어진 data의 distribution을 잘 추정한 generative model이 Out of distribution data임에도 불구하고 높은 가능성을 부여한다는 문제가 제기되었습니다.

이 논문에서는 이런 현상이 일어나는 이유를 Hierarchical VAE 관점에서 설명하고, 새로운 Out of distribution(OOD) detection score를 제안했습니다. 그리고 제시한 score 기준으로 OOD detection에서 SOTA 기록을 세웠습니다.

Hierarchical VAE

먼저 이 논문에서 사용한 모델에 대해 알아보겠습니다. Hierarchical VAE는 stochastic layer들이 condition 형태로 구성된 모델입니다. 기존의 VAE는 single latent variable로 구성되어 있었고 이는 complex input distributions들을 추정하기엔 한계가 있었습니다.

이런 한계점을 극복하기 위해 제안된 모델이 Hierarchical VAE이고, basic VAE에 hierarchy of latent variables들을 추가한 것입니다. 다양한 형태의 Hierarchical VAE가 있는데 가장 일반적인 형태에서의 generative model과 inference model은 아래와 같습니다.



이 논문에서는 위의 단순한 형태의 Hierarchical VAE, 그리고 좀 더 복잡한 형태의 구조로 실험을 진행했습니다.

Out of distribution detection에 적합한 feature level은?

Deep learning model은 input이 입력되면 레이어들을 통과하면서, low-level feature(edge 등의 information)부터 high level feature(semantic information)들을 학습합니다. 이 논문에서는 low-level feature가 여러 데이터셋에서 잘 일반화됨을 아래의 실험을 통해 확인할 수 있습니다. 2 개의 Hierarchical VAEs model이 있고, Model 1은 Fashion MNIST data를 추정한 것, Model 2는 MNIST data를 추정한 것입니다.

Fashion MNIST data를 학습한 Model 1과 MNIST data를 학습한 Model 2에 Fashion MNIST data를 입력시키고(Model 1 입장에서는, in-distribution, Model 2 입장에서는 out-distribution), 각각 모델의 레이어마다 나온 feature들의 상관관계를 계산하고 이를 시각화한 것이 아래의 그림에서 첫 번째 row입니다.

위와 같은 방식으로 MNIST data도 각각의 모델에 입력시키고, 레이어별로 나온 feature들의 상관관계를 계산해서 시각화한 것이 아래의 그림에서 두 번째 row입니다. 즉, 아래의 그림은 in-distribution과 out-distribution의 단계별 상관관계를 표현하는 것입니다.

 

상관관계 결과를 보면 낮은 레이어에서 나온 feature, 즉 low-level feature들은 in-distribution data와 out-distribution data의 상관관계가 높은 반면, high-level feature들은 상관관계가 낮습니다. 이는 low-level features들로는 in-distribution과 out-distribution을 구분하기 어렵다는 것을 의미합니다. 따라서 다른 데이터셋들은 low-level features들 기준으로는 in-distribution하고, 오히려 high-level features 기준으로 보았을 때 서로 다르다고 판단할 수 있습니다.

기존 VAE objective Loss식의 문제점

앞의 실험을 통해서, low-level feature로는 in-distribution과 out-distribution을 구분하기가 어렵다고 판단했습니다. 그러나 기존의 ELBO 식으로 모델을 학습하면, low-level feature가 loss식을 dominate해서 많은 영향을 끼칩니다. ELBO식을 Hierarchical VAE에 맞게 쓰면 아래와 같습니다.



두 번째 term은 KL divergence term이고, 두 번째 term 중 첫째 항인 summation 부분은 각각의 레이어마다 나온 z의 log ratio 값의 합인데, 이 값들은 z의 dimension이 커질수록 큰 값을 가집니다. 따라서 Bottleneck 구조인 Hierarchical VAE에서는 high level latent feature z가 낮은 log ratio 값을 가지고, loss에 적은 영향을 끼칩니다. 즉, 기존의 ELBO 식으로 모델을 학습하면 low-level feature가 dominate하는 것입니다.

Generative model이 OOD detection에 실패하는 이유와 이를 극복하는 방법

지금까지 내용을 통해서, Generative model이 Out of distribution detection에 실패하는 이유는 Out of distribution detection을 위해서는 high level feature가 사용되어야 하지만, 기존의 ELBO 식에서는 low level feature가 학습에 큰 영향을 미쳐서 dominate함으로 아무리 Hierarchical VAE가 likelihood를 잘 estimate해도 Out of distribution detection에 실패하는 것입니다.

이런 문제점을 극복하기 위해서 본 논문에서는 선행연구^[2]에서 제시된 Loss를 사용해서 모델을 학습했습니다. Loss식은 아래와 같습니다.

   

제안된 Loss 식으로 학습하면 지정한 level(k) 이상 또는 이하의 z를 이용해서 Loss를 계산할 수 있어서, 기존의 Lowest latent variable에 dominate되는 것을 방지할 수 있습니다. 위의 식을 다르게 표현하면 다음과 같은데, data space likelihood function을 사용합니다.


따라서 학습된 모델로 detection을 수행할 때, Generative model이 Out of distribution에 high likelihood를 부여하게 되면 detection에 문제가 될 수 있습니다. 이를 보완하기 위해서 본 논문에서는 Out of distribution detection의 score로 Likelihood ratio를 사용할 것을 제안합니다.

 

Likelihood ratio, LLR^>k(x), 값은 data space likelihood function, logp_θ(x) term이 사라져서, latent space에서 divergence를 measure합니다.

실험 결과

Fashion-MNIST로 학습한 모델에 MNIST을 입력하고, CIFAR10으로 학습한 모델에 SVHN을 입력하는 두 실험을 진행했습니다. 논문에서 제안된 Loss로 학습한 모델이 기존의 모델보다 log likelihood 기준으로 더 좋은 성능을 내는 것을 확인했고, 결과는 아래의 표와 같습니다.



추가적으로 논문에서 제안된 Likelihood ratio score로 detection 실험을 진행했을 때의 결과가 기존의 방법보다 더 좋은 성능을 내는 것을 확인했으며, 결과는 아래의 표와 같습니다.

(좌측 도표: object detection from FashionMNIST to MNIST, 우측 도표: object detection from CIFAR10 to SVHN)

필자의 생각

지금까지는 Generative model의 성능이 좋으면 당연히 Out of distribution detection task 과 같은 downstream problems들도 잘 수행할 것이라고 생각해 왔습니다. 그러나 이 논문을 접하고 난 후 distribution estimate에 필요한 feature과 out of distribution detection에 필요한 feature가 다르기에, 단순히 모델의 성능이 좋으면 관련 task의 성능이 오를 것이라는 생각에서 벗어나게 되었습니다. 내가 풀고자 하는 task에서 필요한 정보가 무엇인지 정확히 인식하고, 이 정보가 기존의 generative model 모델 구조 및 목적식을 통해서 충분히 학습되는지 확인하고 개선해야 할 것입니다.


Improved Contrastive Divergence Training of Energy-Based Model^[3]

Energy Based model과 기존 학습 방법의 한계점

Input x의 likelihood는 아래와 같이 energy function으로도 표현되고,

 

EBM은 이 function을 NN으로 근사치를 낸 것입니다. 즉 EBM(Energy based model)은 모델에 input을 입력했을 때, input의 energy를 output으로 하는 모델입니다.

EBM을 학습하는 방향으로는 training data의 에너지는 낮추는 것이고, 위의 목적식의 log gradient with respect to input x를 계산해서 모델의 parameter θ를 업데이트 하는 것입니다. 그러나 log gradient를 계산하는데 어려움이 있기에 이 objective의 근사치를 내는 것은 contrastive divergence objective가 아래와 같이 제시되었습니다.

 

위의 contrastive divergence objective로 학습하면 training data의 에너지는 낮추고, 모델에 의해 생성되고 샘플링된 데이터들의 에너지는 높이게 됩니다. 이 방식으로 학습하는 것은 간단하다는 장점이 있지만, 학습할 때 불안정성 문제가 존재합니다. 기존의 선행 연구들은 이런 트레이닝 불안정성 때문에 모델 구조 및 레이어 수에 제약이 있었고, model의 modeling power와 robustness가 부족합니다.

이 논문에서는 트레이닝 불안정성을 해소하는 방법을 제안하고, 이를 이용해서 학습한 모델의 robustness와 generation quality, OOD detection 성능이 향상됨을 보입니다.

새로운 Contrastive divergence objective function

이제 논문에서 제안한 방법에 대해서 설명하겠습니다. contrastive divergence objective의 negative gradient는 아래와 같습니다.

 

기존의 대부분 연구들은 3번째 term(KL divergence term)이 추정하기 어렵고, empirically negligible하기에 이는 무시한 채 1, 2 term의 gradient만을 이용해서 학습을 진행했습니다. 반면에 이 논문에서는 KL divergence term을 무시하면 부정확한 최적화가 될 수 있다고 주장하고, KL divergence term을 포함하여 contrastive divergence를 최적화하는 새로운 joint loss식을 아래와 같이 제안합니다. 그리고 이 loss식의 gradients가 기존의 contrastive divergence objective의 gradient와 같음을 보입니다.

 

L_CD는 기존의 contrastive loss로 real samples들에는 low energy를 부여하고 model에서 generated samples들에는 high energy를 부여하도록 합니다. 이 term으로만 학습하면 adversarial mode에 빠져서 sampling이 어려워지는데, L_KL은 이를 방지하는 효과가 있습니다. 논문에는 L_KL term을 추정하는 방식으로, 모델에서 생성된 samples들의 energy는 줄이고 entropy는 높이는 방법을 제안했습니다.

추가적인 구조 설명과 전체 프레임

새로운 Loss식에 추가적으로, 논문에서는 sampling할 때 collapse에 빠져서 fixed images들만 sampling되는 것을 막기 위해 data augment를 한 다음 sampling하는 것을 제안합니다. 그리고 energy function이 low resolution, high resolution에 모두 focus하도록 하기 위해서 서로 다른 resolution의 이미지를 입력 받아서 각각 에너지를 output하고 outputs들을 더해서 사용하는 구조를 제안합니다. 전체적인 프레임은 아래와 같습니다.



실험 결과

논문에서 제안된 방식으로 image generation 실험, Out of distribution detection 실험을 진행했습니다. Image generation의 경우 아래의 결과처럼 Inception score는 오르고, FID는 감소하는 것을 확인했습니다.



Out of distribution detection 실험에서는 CIFAR10으로 학습된 모델에 다른 데이터 셋을 입력해서 detect 여부(AUROC)가 향상됨을 확인했습니다.



필자의 생각

Energy based model은 data의 likelihood modeling을 하는 방법 중 하나로, 다른 방법들에 비해서 일반성, 단순성 측면에서 뛰어납니다. 그러나 학습하기 어려운 문제가 있어서 지금까지의 연구들은 이를 해결하는 것에 초점을 두고 있습니다. 이번 논문도 역시 학습 instability를 해결하는 방법을 제시한 것이 주된 contribution이라고 생각합니다.

첫 번째 논문에서 언급했듯이, generative model의 성능이 Out of distribution detection 등과 같은 downstream task의 성능에 꼭 비례하는 것은 아닙니다. 이 때문에 energy based model의 training issue 해결도 중요하지만, energy based model의 구조와 목적식이 OOD detection에 적합하게 구성되어져 있는지 고민해보고 개선점을 찾아보면 좋을 것 같다고 생각합니다.


Conclusion

2021 ICML 학회에서 Deep Generative model 세션을 보고 느낀 점을 정리하면, image data를 넘어서 도표, 3D 데이터, 비디오 데이터, cloud point 등의 다양한 형태의 데이터들을 모델링하는 시도들이 많음을 확인했습니다. 또한 기존의 image generation task의 성능을 올리는 목표에서 벗어나서 Out of distribution detection 성능을 올리기 위한 generative model의 구조 및 목적식을 고민하는 시도 또한 증가했으며, Energy based model의 학습 안정화를 위한 연구들이 많이 진행되고 있었습니다.

이런 연구 흐름에 맞춰서 다양한 형태의 데이터들의 특징에 맞는 generative model이 무엇인지 연구하고, Out of distribution detection 성능을 올리기 위한 generative model과 학습 방법은 무엇인지 고민하며, Energy base model 관점에서 distribution을 추정하는 것을 연구하는 것이 필요하리라 생각합니다.


LG AI연구원 Di Lab 정혜민님의 ICML 2021 Review 영상 보러 가기 (Link)