[ICLR 2021] 2편: ICLR 2021 속 Generative model 트렌드

ICLR(International Conference on Learning Representations) 2021은 올해로 9회째 개최되는 국제적인 인공지능·학습 분야 글로벌 학회로, 딥러닝 모델의 표현, 학습 및 최적화와 그 응용을 주로 다룹니다. 지난 5월 3일부터 7일까지 온라인으로 개최된 ICLR 2021에서 만날 수 있었던 다양한 논문 중 LG AI연구원의 두 연구원이 직접 참관하여 인상 깊게 본 논문을 소개합니다. - 1편: 현실 문제를 풀기 위한 강화학습 연구 – 박영준님  - 2편: ICLR 2021 속 Generative model 트렌드 – 윤상휴님

메타버스를 이용한 온라인 학회
이번 ICLR 2021은 코로나로 인해 작년과 같이 virtual conference로 진행되었습니다. 온라인에서 열리는 만큼 접근성 쉬운 사이트에서 쉬우면서도 다양한 경험을 할 수 있도록 구성되어 있었습니다. 포스터 세션의 경우 gather town을 활용하였는데, 참가자 대신 캐릭터가 학회장을 돌아다니며 곳곳을 구경하고 관심있는 포스터 앞에 서면 화상통화가 연결되어 저자와 이야기를 나눌 수도 있었습니다. 최근 몇 년간 화제가 되고 있는 개념인 ‘메타버스’를 적극 활용하여 참가자들에게 즐거운 경험을 할 수 있도록 꾸려진 학회였습니다.



Generative model in ICLR 2021
ICLR 2021에서 generative learning, meta learning, self-supervised learning 등의 키워드가 상위에 등장하는 것을 통해 현업의 문제 해결을 위한 방법론 관련 연구가 활발하게 이루어지고 있음을 확인할 수 있었습니다. LG AI연구원의 Data Intelligence Lab도 정형화된 supervised learning 문제에서 벗어난 다양한 계열사의 현실 문제를 다루고 있기 때문에, 연구원 내 참가자들 다수는 데이터의 분포 추정을 통해 그럴듯한 샘플 생성과 도메인 간의 분포 align, out-of-distribution을 검출하는 등 다양한 문제를 풀 수 있는 generative model에 주목했습니다. 현재 generative model 은 Variational Autoencoder(VAE), Generative Adversarial Network(GAN), Normalizing Flow(NF) 기반의 변형이 쏟아져 나오던 시기를 지나 score-based model, energy-based model 등이 유의미한 generation 성능을 보이며 이와 관련된 연구들이 나오고 있는 추세로, ICLR 2021에서도 이러한 트렌드를 확인할 수 있었습니다. 이와 관련해서 눈여겨볼 만한 논문 2편을 소개하겠습니다.

Score-based generative modeling through stochastic differential equation
Score-based model은 데이터의 노이즈 scale에 따라 노이즈를 추가하면서 prior를 만드는데 각 step에서 perturbated data의 log likelihood gradient인 score를 추정하고 역과정으로 추정된 score를 이용해 prior로부터 data를 생성해내는 생성모델입니다. 본 논문은 Score-based generative model 중 유명한 Noise Conditional Score Network(NCSN)^[1]를 제안한 Yang Song이 쓴 것으로, ICLR 2021에서 Best Paper로 선정되기도 했습니다. 최근에는 GAN보다 안정적인 학습과 더 좋은 성능의 Score-based model들이 등장하고 있기 때문에 더욱 유의미한 논문입니다.

SDE를 통한 score-based generative model의 전과정

본 논문은 기존의 score-based model이 prior를 얻기 위해 데이터에 노이즈를 추가하는 과정을 연속적인 시간 t에 대한 stochastic process로 보고, stochastic process가 포함된 미분 방정식인 stochastic differential equation(SDE)으로 풀어냅니다. 저자는 기존의 두 가지 모델 Score matching with Langevin dynamics(SMLD)^[1]과 Denoising diffusion probabilistic modeling(DDPM)^[2]을 SDE의 discretization으로 보고 perturbation kernel의 variance에 따라 각각 Variance Exploding SDE(VE SDE) 와 Variance Preserving SDE(VP SDE)로 설명하며 SDE framework로 통합했습니다.

PC sampler 알고리즘

또한, 저자는 prior로부터 이미지를 생성하기 위한 reverse SDE의 새로운 샘플링 기법을 제안했습니다. 이는 general purpose SDE solver를 이용하여 이전 time-step을 예측하고 추가적으로 score-based Markov chain Monte Carlo(MCMC)를 통한 보정으로 세밀하게 샘플링을 진행할 수 있는 Predictor-Corrector구조의 PC sampler입니다. 샘플링 방법 개선과 network 고도화를 통해 score-based model 최초로 1024X1024의 high fidelity 이미지를 생성했고, CIFA-10에서의 generation 성능에서 SOTA를 달성했습니다.

VAEBM: A SYMBIOSIS BETWEEN VARIATIONAL AUTOENCODERS AND ENERGY-BASED MODELS
Energy-based model (EBM)^[3]은 데이터 분포 내에 있는 입력 X에 낮은 에너지, 그 외의 입력에 높은 에너지를 주는 energy function을 학습하여 데이터가 존재하는 부분의 분포를 최대화하는 것뿐만 아니라 데이터가 존재하지 않는 부분의 분포를 낮추는 생성모델입니다. 입력 데이터가 energy를 낮추는 positive sample의 역할을 한다면, energy function으로 정의되는 boltzmann distribution으로부터 샘플링된 출력은 negative sample의 역할을 하게 됩니다. Boltzmann distribution에서 데이터를 샘플링하는 것은 어렵기 때문에 MCMC 기반의 샘플링 기법을 활용합니다.

하지만 MCMC 기반 샘플링은 computational cost가 높기 때문에, 본 논문은 더 효율적인 샘플링을 위해 EBM에 VAE component를 결합한 ‘VAEBM’이라는 모델을 제안했습니다. Score-based 모델과 비교했을 때는 비슷하거나 조금 낮은 generation 성능을 가지고 있지만, sampling speed가 훨씬 빠르다는 장점이 있습니다. 실제로 이렇게 제안한 모델이 GAN과 score-based model의 generation 성능을 많이 추격하여 EBM의 generative model로서의 가능성을 보여주고 있습니다.

VAEBM의 목적함수

VAEBM의 목적은 data likelihood h_{ψ, θ}(x)를 극대화하는 것으로 위의 수식과 같이 VAE와 EBM 각각의 손실함수로 분해할 수 있습니다. L_EBM(x,ψ,θ)는 VAE의 파라미터인 θ가 관여하여 joint optimization에 어려움이 있습니다. 본 논문은 계산의 어려움을 극복하기 위하여 Two-stage의 학습 알고리즘을 제안합니다.

VAEBM의 학습 전과정

첫 번째 stage에서는 generator 역할을 하는 VAE를 먼저 학습합니다. VAE의 학습이 끝난 후에는 θ가 고정되기 때문에 두 번째 stage에서 L_EBM(x,ψ,θ)는 energy function의 파라미터인 ψ에 대해서만 최적화를 하게 됩니다. 이러한 two-stage 알고리즘을 사용하면 optimization의 어려움을 극복하는 것뿐만 아니라 pre-trained VAE가 이미 데이터 분포를 잘 근사하고 있기 때문에 ψ 의 업데이트에 걸리는 step을 줄이는 이점이 있습니다. Energy function을 학습하는 것은 VAE의 후처리로 볼 수 있는데, 이를 통해 데이터 분포의 주요한 부분뿐 아니라 정교한 부분까지 표현할 수 있어 VAE의 단점인 blur한 이미지를 개선하여 좋은 generation performance를 보였습니다. 또한 OOD detection에서도 기존 EBM 모델보다 좋은 성능을 보였습니다.

Generative model research and momentum
그동안 generative model 연구는 데이터 분포의 추정을 통해 outlier detection, semi-supervised learning, adversarial robustness에 이점이 있다는 motivation이 있었습니다. 하지만 이번에 소개한 ICLR 2021의 두 논문을 포함해 최근 제안된 generative model들은 downstream problem을 푸는 것보다 생성된 샘플의 quality 나 log likelihood 등 generation performance를 향상시키는 것에 더 치중하고 있습니다. Generative model의 가파른 성장에 비해, 이를 활용하여 푸는 discriminative problem에서 task-specialized 모델에 비해 좋은 성과를 내지 못하고 있다는 점은 아직 해결되지 않은 문제입니다. 앞으로는 generative model의 input data의 관계에 의해 얻은 지식을 어떻게 downstream problem에 활용할 수 있을지에 대한 고민이 더 많이 이루어져야 할 것으로 생각됩니다. 저 역시 계열사 과제에서 label이 없는 데이터를 이용해 discriminative problem의 성능을 향상시키는 것에 관심을 두고 있기 때문에 관련 연구를 계속해 나갈 것입니다.