Projection Regret: Reducing Background Bias for Novelty Detection via Diffusion Models

현재 약진하는 AI 모델들은 거대한 Data를 다루며 Model에 모든 지식을 녹여내는 방향으로 연구 중인 경우가 많습니다. 그런데 이와 대조적으로 제조업 등 한정된 데이터를 사용하는 분야에서 신뢰성 있는 AI 모델을 구축할 수 있을까요? 예를 들어, 공정 제품의 불량을 탐지하는 AI 모델을 훈련한다고 가정해 봅시다. 대부분의 학습 데이터는 정상 동작 데이터일 것이고, 불량 데이터는 매우 한정되어 있을 것입니다. 이 때 과연 정상 데이터만으로 학습한 모델만으로도 불량을 탐지할 방법이 있을까요?

이와 관련하여 LG AI연구원에서 진행한 Projection Regret^[1] 연구를 소개하고, Score-based Generative Modelling 및 Diffusion Model과 관련하여 참고하면 좋을 다른 연구들도 함께 살펴보겠습니다.

1. Projection Regret: Reducing Background Bias for Novelty Detection via Diffusion Models^[1]

이미지 1. Projection Regret Abstract

이미지 도메인에서 이상 탐지는 크게 Discriminative/Generative 두 계열로 나뉩니다. Discriminative 계열은 Image Classification에서 배운 Side Information을 통해 이상 데이터를 가려낼 정보를 얻는 것입니다^[2]. 본 연구는 Generative 계열에 속하며, 정상 데이터를 생성하는 Generative model에서 정상 데이터와 그 외를 구분하는 Metric을 찾고자 합니다.

Generative Model 기반 이상 탐지에서 초기의 연구들은 VAE^[3]와 같이 Explicit Probability Model의 Data에 대한 Likelihood를 탐지로 사용했습니다^[4]. 하지만 해당 기법들은 오히려 이상치 데이터에 더 높은 Confidence를 잡는 문제가 있었습니다^[5]. 이에 대한 해석을 다룬 여러 가지 논문들은 이미지의 복잡도를 기준으로 삼아^[6,7,8], 기존 데이터보다 단순한 이상치 데이터를 추가 교정하는 Metric을 구현하였습니다.

하지만 여전히 현재 최고의 Method들도 정상 데이터와 비슷한 배경을 가진 비정상 데이터들을 잘 못 잡아낸다는 한계가 있습니다. 이는 Classifier Robustness/Domain Generalization 등 라벨된 데이터 상황에서 일어나는 Texture Overfitting^[9,10]과도 연관이 있습니다. 예를 들어 CIFAR-10/CIFAR-100^[11]은 비슷한 자연 이미지로 구성된 데이터셋을 공유하는데, 이런 배경 정보들이 이미지에서 큰 부분을 차지하기에 탐지가 어려운 측면이 있습니다.

Diffusion-based Semantic Editing for OOD detection

이미지 2. Projection Regret 모델의 메인 아이디어^[1]

LG AI연구원은 이러한 Case를 해결하기 위해 해당 정상치 Data에서 Training된 Consistency Model^[12]을 이용한 Detection Scheme을 제안했습니다. Consistency Model은 Diffusion Model을 One-step Distillation하여 빠른 편집이 가능한 장점이 있고 저희도 편의성을 위해 Diffusion model이 아닌 Consistency Model을 택했습니다.

본 연구에서는 Diffusion Model을 이용해 이미지를 편집할 수 있다는 점에 주목했습니다. 추가적인 레이블 정보 없이도 적당한 Timestep으로 비정상 Data를 Forward Diffusion 시키고 그 Data를 Reverse Diffusion으로 복구하면, Background는 비슷하고 Semantic만 정상 데이터로 바뀌는 현상을 관찰했습니다(이미지 1 왼쪽 참조). 이는 기존 Semantic Editing에서 많은 힌트를 얻을 수 있는 현상입니다^[13,14]. 즉, 이미지와 Diffusion-based Semantic-editing으로 복구한 이미지 간의 Semantic Distance를 잰다면 정상 Data보다 비정상 Data에서의 Semantic Distance가 클 것입니다. 이 점에 착안하여 Project Regret에서는 LPIPS^[15]를 Detection Metric으로 사용했습니다.

하지만 이러한 Metric만으로 완벽한 결과가 나오진 않습니다. 가장 큰 이유는 Semantic Distance로 설계된 LPIPS Metric이 Semantic 정보만을 받지 않는다는 점입니다. 이를 해결하기 위해 LPIPS에서 배경 정보가 차지하는 부분을 추가 Ediitng을 통해 생성된 이미지와 변형 이미지 간의 LPIPS Distance를 통해 구하였습니다(이미지 1 오른쪽 참조). 두 Distance Output 간의 차이를 최종 Metric으로 삼음으로써 이상치 데이터를 찾아내는 Semantic 기반 Metric을 설계할 수 있었습니다.

이미지 3. Diffusion-model-based Baseline과 Projection Regret의 성능 차이^[1]

이미지 4. 다양한 Generative-model-based Method 대비 Projection Regret의 성능^[1]

이미지 5. 제안한 UNet기반 Distance Metric의 결과^[1]

해당 Metric은 다양한 Image Domain에서 Diffusion-model-based 알고리즘들보다 좋은 성능을 낼 뿐만 아니라 Unsupervised-model-based 이상 탐지 기법들보다도 좋은 결과를 보여줍니다(이미지 2, 3 참조). 또한 LPIPS 등의 Metric의 대체로 Diffusion Model의 U-Net에서 추출한 Metric을 설계하였고 이 또한 LPIPS와 비교할 만한 성능을 냅니다.

다음으로 Diffusion Model과 관련한 주요 논문 두 편을 살펴보겠습니다.

2. Understanding Diffusion Objectives as the ELBO with Simple Data Augmentation^[19]

이미지 6. 현재 Diffusion Model들에서 사용하는 서로 다른 Weighting^[19]

먼저, 구글 딥마인드(Google DeepMind)가 NerurIPS 2023에서 발표한 “Understanding Diffusion Objectives as the ELBO with Simple Data Augmentation“을 소개해 드리겠습니다. 해당 논문에서는 각기 다른 Noise Level의 Diffusion Model에서 Training Loss를 합치는 Weighting 설정에 대해 다뤘습니다.

Monotonic Weighting이 Gaussian Perturbation 형태의 Data Augmentation 됐을 때의 ELBO로 나타낼 수 있다는 것을 증명하고, EDM Objective의 Monotonic한 형태의 Weighting을 디자인합니다. 저자들은 다양한 Resolution의 ImageNet Dataset에서 해당 Weighting을 적용하여 기존 Scheduling 대비 일관적이고도 유의미한 성능 향상을 이루었습니다.

3. Text-to-Image Diffusion Models are Zero-Shot Classifiers^[20]

이미지 7. Zero-Shot Classification 과정^[20]

마찬가지로 구글 딥마인드가 발표한 “Text-to-Image Diffusion Models are Zero-Shot Classifiers”는 Text-to-Image Diffusion Model을 활용하며, 기존의 Generation 뿐만 아니라 다양한 Downstream Task에 적용한 결과를 담았습니다.

본 논문은 각 Class에 관련된 Prompt를 Condition으로 주어 각 결과를 Guidance로 만들어냅니다. 그 이후 기존 모델과의 차이를 Score로 주어 여러 Timestep에서 합산하여 최소의 차이를 내는 Class를 Output으로 쓰는 형태로 Zero-Shot Classification을 진행합니다. 해당 방식은 기존 CLIP 등 모델의 Zero-Shot Classification보다 좋은 성능을 보였고 Classifier가 Overfitting되기 쉬운 Texture Bias에도 조금 더 Robust한 결과를 보였습니다. 비록 Diffusion Model 기반이라 Evaluation 시간이 많이 들기는 하나 충분히 기대되는 방향으로 보입니다.

LG AI연구원의 향후 연구 계획

LG AI연구원 Advanced ML Lab에서는 Out-of-distribution Detection 관련해서 타 랩과 협업하여 연구 활동을 진행하고 있습니다. 해당 연구에 대하여 간략하게 소개하면 Diffedit, SDEEdit 등의 이미지 편집 기술과 위 아이디어를 결합하여 이상 탐지 성능을 높이는 효과적인 Outlier Data를 생성하는 연구입니다. 이는 저희가 사용한 Baseline Projection Regret과 달리 Stable Diffusion 모델을 통해 더 발전된 성능을 보입니다.

또한 AI 생성 이미지가 많은 주목을 받고 있는 현 상황에서는 AI 생성 이미지 등에 대한 탐지 ^[17,18]가 필요합니다. 저희는 이러한 안전한 AI 생성 이미지들의 이용에 관한 연구 또한 진행하고 있습니다. 마지막으로 Time-series 등의 다양한 분야의 확장 또한 저희가 관심있게 보고 있는 주제입니다.

LG AI연구원은 NeurIPS, KCCV 등 다양한 학회에서 연구를 발표하고 많은 연구자들과 기술 교류를 활발히 진행하고 있습니다. 앞으로도 LG AI연구원은 지속적으로 다양한 연구 분야에서 협업을 강화하며, AI 기술의 신뢰성과 확장성을 높이는 데 기여할 것입니다. AI가 더 안전하고 신뢰할 수 있는 기술로 자리 잡을 수 있도록 끊임없는 연구와 도전을 이어 나가겠습니다.