[CVPR 2024] Best Paper Award 선정 논문 및 Low-level Vision 연구 소개

컴퓨터 비전 및 패턴 인식 분야에서 가장 권위 있는 국제 학회 중 하나인 CVPR (The Computer Vision Foundation)은 매년 전 세계 연구자들이 비전 분야 최신 연구 결과를 발표하고, 기술 발전에 대한 인사이트를 공유하는 기회로 자리매김했습니다. 특히 이번 CVPR 2024에는 11,500편이 넘는 논문이 제출됐고, 그중 2,719편의 논문이 최종 게재되며 2023년 대비 26%나 증가한 수치를 보였습니다. 현장에는 12,000명이 넘는 참석자들이 모여 서로의 지식을 나눴습니다. 이번 글에서는 CVPR 2024에서 Best Paper로 선정된 ‘Generative Image Dynamics’ 연구와 LG AI연구원의 Low-level Vision 분야 연구를 소개하겠습니다.

I. Generative Image Dynamics^[1] : Best Paper Award Winner in CVPR 2024

이번 CVPR에서는 Segmentation, Classification과 같은 전통적인 컴퓨터 비전 분야부터 Image and Video Generation, 3D from Multi-View and Sensors, Medical and Biological Vision, 그리고 Robotics와 Low-level Vision에 이르기까지 매우 다양한 분야의 논문이 제출됐습니다. 그중에서 가장 뜨거웠던 연구 분야는 단연 이미지와 비디오 합성 분야입니다. 이미지와 비디오 합성 분야는 학계에서의 연구뿐만 아니라 상업적으로도 응용 가능성이 매우 큰 분야입니다. DALL·E 등의 이미지 생성모델, OpenAI의 Sora 등 다양한 서비스가 등장하며 컴퓨터 비전 커뮤니티에서 큰 관심을 받았고, 활발하게 연구가 진행되고 있습니다. 이와 같은 흐름을 보여주듯, 이 분야에 대해 제출된 연구 논문만 1,000여 편이 넘을 정도로 연구자들의 관심이 뜨거웠습니다. 특히 CVPR에 제출된 11,500편이 넘는 논문 중 단 2편만 선정된 ‘Best Paper’가 모두 이미지 및 비디오 합성 분야에 대한 연구 논문이라는 점도 주목할 만합니다.

“Generative Image Dynamics”는 제목에서 알 수 있듯, 생성모델을 통해 이미지의 Dynamics를 예측하는 연구입니다. 정지된 이미지로부터 자연스럽게 움직이는 비디오를 생성하는 것이 목적이며, 특히 나무, 꽃, 촛불 등과 같은 자연적인 물체가 바람이나 외부의 힘에 의해 실감 나게 흔들리는 현상을 구현하고자 했습니다.

물체의 자연스러운 움직임은 다양한 주파수에서 발생하는 Harmonic Oscillation을 통해 표현할 수 있다는 기존 연구에서 착안하여, 저자는 Frequency 도메인에서 이미지를 분석하여 Diffusion 모델이 Spectral volume^{[2, 3]}을 예측하도록 했습니다. 이를 통해 이미지의 각 픽셀이 각 주파수 영역에서 어떤 움직임을 가지게 되는지를 알아냅니다. 학습을 위한 데이터로는 자연적인 움직임을 포함하는 3,000개의 동영상을 저자들이 직접 수집하였으며, Optical Flow 모델^{[4, 5]}을 이용하여 각 픽셀들이 어떻게 움직이는지를 예측하여 Ground Truth 데이터를 생성하였습니다.

이를 통해 생성 시간이 길어질 때 이미지의 Consistency가 깨지게 되는 기존 연구 대비 자연스럽게 반복되는 비디오를 만들어 낼 수 있다는 것을 확인하였습니다. 더 나아가 사용자의 입력에 반응하는 비디오를 만들어 낼 수도 있습니다.

그림 1. Generative Image Dynamics^[1]

실제 해당 연구는 사용자가 직접 확인할 수 있는 인터랙티브한 데모도 제공하고 있습니다. 사용자는 이미지를 클릭하고 드래그해 실제 물체를 만진 것처럼 이미지를 움직이고, 다시 원래 위치로 돌아가게 할 수 있습니다.

▶ 인터랙티브 데모 체험하기 

그림 2. Motion Prediction Module^[1]

저자들은 K=16개의 Output Frequency를 이용하여 짧은 주파수부터 높은 주파수까지의 움직임을 예측하게끔 하였으며 실험적 분석을 통해 3Hz 이하의 영역까지 사용해도 충분하다는 것을 발견하였습니다. 모델의 구조는 Latent Diffusion Model^[6]을 이용하였는데, 이미지를 Latent Space로 Mapping하는 Variational Autoencoder (VAE) 모델과 U-Net 기반의 Diffusion 모델로 구성되어 있으며, Denoising 프로세스는 RGB Image가 아닌 Spectral Volume에 적용되었습니다. Frequency Domain에서 예측된 움직임은 Inverse Furrier Transform 과정과 Synthesis Network를 거쳐 Target Image로 복원됩니다. 이 과정에서 발생할 수 있는 Forward Warping 프로세스의 Hole을 제거하기 위해 기존 연구에서 제안된 피라미드 형태의 계층적 구조를 사용하였습니다^[7]. 이러한 구조와 학습을 통해 자연스럽게 반복되는 비디오를 생성할 수 있으며, 추가적으로 Spectrum Coefficient를 Mass-Spring-Damper 시스템으로 표현한 기존 연구 방법^[8]을 확장하여 물체에 임의의 힘이 가해진 것과 같은 비디오를 생성할 수 있었습니다.

CVPR 2024에서 Best Paper를 수상한 “Generative Image Dynamics” 연구는 Frequency 도메인에서 이미지 픽셀들의 움직임을 Diffusion 모델을 통해 예측함으로써 자연스럽게 반복되는 영상을 생성할 수 있음을 보였습니다. 생성된 모델은 저자의 의도대로 다른 방법 대비 자연스러운 움직임을 보였으며, 사용자의 입력에 따라 반응하기도 하였습니다.

II. Learning to Control Camera Exposure via Reinforcement Learning^[9]

LG AI연구원도 이번 CVPR 2024에 참석해 총 5편의 논문을 발표했습니다. 그 중에서도 Low-level Vision 분야 연구인 “Learning to Control Camera Exposure via Reinforcement Learning”을 소개하겠습니다. 이 연구는 제가 입사 전 수행했던 연구로, 컴퓨터 비전 알고리즘이 동작하기 이전에 이미지를 획득하는 최초의 과정에서 보다 좋은 퀄리티의 이미지를 얻기 위한 연구입니다. 이번 CVPR에 Low-level Vision 분야 연구 논문이 600편가량 제출되었는데, 대다수의 연구가 Super Resolution, Deblur, Denoising과 같은 ISP를 다룬 논문이었습니다. Camera Exposure Control에 대해서는 극소수의 논문이 제출됐습니다.

최근 컴퓨터 비전 연구들은 영상으로부터 여러 물체들을 인식하고 깊이를 추정하며 주위 환경을 3D로 복원하는 등의 복잡한 작업에서 탁월한 결과를 보여주고 있습니다. 특히, 로봇과 같이 현실세계와 상호작용하는 기기의 경우 주위 환경에 대해 다양한 정보를 취득하고 이를 바탕으로 주어진 작업에 대해 어떻게 행동할지를 결정하는 과정에서 영상정보가 매우 중요한 역할을 수행합니다.

그런데 만일 실제 상황에서 취득된 다양한 이미지들의 퀄리티가 좋지 않다면 어떻게 될까요? 어두운 곳에서 사진을 찍을 때 흔들린 결과를 얻거나, 태양광으로 인한 역광 현상, 빠르게 움직이는 물체가 흐릿하게 보이는 현상 등은 우리가 실제 상황에서 매우 빈번하게 겪는 현상입니다. 많은 연구들이 이런 낮은 퀄리티의 이미지에서도 강건하게 주어진 작업을 수행할 수 있도록 하고 있지만, 당연하게도 좋은 이미지로부터 얻은 결과에 비해서는 아직 미흡한 수준입니다.

그림 3. Camera Pipeline Overview^[9]

그렇다면, 실제로 물체에서 반사되는 빛이 영상 처리 알고리즘에 도달하기까지 어떠한 과정을 거치게 되는지에 대해 간략하게 알아보면서 이번 연구의 Motivation을 말씀드리려 합니다. 태양이나 조명과 같은 광원으로부터 출발한 빛은 물체에 닿아 일부를 흡수하고 나머지를 반사합니다. 반사된 빛은 카메라의 렌즈에 가장 처음으로 도달하게 되며, 굴절되어 조리개를 거치고 CCD나 CMOS와 같은 센서에서 전자 신호로 변환됩니다. 이때, 셔터는 특정 시간 동안만 빛이 센서에 도달하게끔 하여 빛의 양을 조절하게 됩니다. 센서에 도달한 빛이 전자 신호로 변환될 때는 얼마나 민감하게 반응할지를 결정하게 되는데 이를 Gain 또는 ISO 감도라고 합니다.

전자 신호로 변환된 빛은 카메라에 내장된 Image Signal Processing 모듈에 의해 처리되어 우리가 볼 수 있는 이미지로 변환됩니다. 이 과정에는 White Balance, Denoise, Sharpening 과 같은 다양한 이미지 처리 모듈이 참여하여 획득한 이미지의 퀄리티를 높이기 위한 절차를 수행하게 됩니다. 이 절차는 조리개, 셔터 속도, ISO 감도까지를 포함하는 Exposure Control 단계와, 이후 취득된 이미지의 처리를 담당하는 Image Signal Processing 단계로 구분할 수 있습니다. 앞에서 말씀드린 것처럼 이미 취득된 이미지를 복원하는 데에는 한계가 있기 때문에 Exposure Control 단계부터 좋은 퀄리티의 이미지를 획득하는 것이 매우 중요합니다.

이를 위해 상용 카메라는 ISP 모듈과 함께 Built-in Auto Exposure 모듈을 내장해 다양한 변화에 대응하여 좋은 퀄리티의 이미지를 얻을 수 있도록 설계됩니다. 하지만 이러한 Built-in AE 모듈은 카메라 내장 프로세서에서 동작하기 위해 간단한 알고리즘으로 구성되어 외부 변화에 빠르게 대응하기 어렵다는 단점이 있습니다.

우리가 일상에서 사진을 찍을 때는 이러한 점이 크게 문제가 되지 않지만, SLAM이나 Visual Odometry와 같이 영상의 연속성이 중요한 분야에서는 큰 영향을 미칠 수 있습니다. 짧은 시간이라도 이미지 퀄리티가 저하되면 전체 알고리즘이 무너질 수 있기 때문입니다. 이를 응용하여 사용하는 로봇이나 자율 주행과 같은 분야에서 이미지 퀄리티의 강건성을 확보하는 것은 아주 중요한 일이라 할 수 있습니다.

이번 연구의 Motivation은 이러한 문제점에서 출발했습니다. 기존의 Exposure Control 관련 연구는 제안하는 방법의 복잡성으로 인해 GPU가 필요하거나^{[10, 11]}, 수렴하는 데 많은 스텝이 필요하여 실시간으로 동작시키기 어렵다는 단점이 있었습니다^{[12, 13]}. 이를 보완하기 위해 본 연구에서는 아주 단순한 신경망과 강화학습을 활용하여 입력 신호의 변화에 빠르게 반응하여 퀄리티를 보장할 수 있는 학습 방법을 제안하였습니다. 또한 외부 기계장치가 필요한 조리개는 상수 값으로 두고, 학습된 Agent가 셔터 속도와 Gain(ISO 감도)을 조절할 수 있도록 하였습니다.

강화학습은 정답 Label을 획득하기 어려운 상황에서 Unsupervised/Self-supervised learning과 함께 고려될 수 있는 학습 방법입니다. 수많은 데이터 이미지에서 올바른 셔터 속도와 Gain을 찾아 Labeling 하는 것은 쉽지 않은 일입니다. 실제로 이전 연구에서는 이미지를 취득할 때 카메라의 Built-in AE를 통한 셔터 속도와 Gain을 Label로 두어 실제 차를 움직이면서 데이터셋을 취득하여 이를 Label로 삼아 Supervised Learning을 수행한 사례도 있습니다^[13]. 하지만, 이러한 방식은 데이터 취득에 한계가 있고 빛의 변화가 제한적이라는 단점을 수반합니다. 강화학습을 도입하는 경우 데이터 Labeling에 관한 문제는 사라지나, 학습을 가이드 하는 올바른 리워드 함수와 학습 과정에서 다양한 샘플을 경험해야 한다는 조건이 생깁니다.

일반적인 강화학습 환경에서는 시뮬레이션 환경을 통해 학습함으로써 이러한 단점들을 극복할 수 있습니다. 본 연구에서도 처음에는 시뮬레이션 사용을 검토하였으나, 다양한 셔터 속도 및 Gain 값에 대한 올바른 이미지를 획득하기 어렵고 극단적으로 어둡거나 밝은 상황 등에서 시뮬레이터의 이미지가 실제 상황과 차이가 많이 발생하였습니다. 이를 해결하기 위해 물리적인 암실 안에서 조도를 컨트롤할 수 있는 환경을 구성하여 Agent가 다양한 조도를 학습과정에서 경험할 수 있도록 했습니다. 그리고 학습 단계에 따라 처음에는 비교적 쉬운 중간 밝기에서 시작해 점차 매우 어둡거나 밝은 상황에서의 조절을 학습하고, 최종적으로는 조도 값이 동적으로 변화하는 환경에서 학습할 수 있도록 Curriculum Learning^[14] 방법을 도입하였습니다. 또한, 환경내의 물체가 단순하다는 제약을 극복하기 위해 이미지에서 일부 영역을 회전하고 Flip과 Crop하는 등의 Augmentation 기법을 적용하였습니다.

그림 4. Training Framework Overview^[9]

네트워크 구조는 단순한 3 FC Layer 구조를 차용하여 셔터 속도와 Gain에 대한 변화량을 출력하도록 하였습니다. 네트워크의 입력으로는 빠른 Processing을 위해 복잡한 구조 대신 입력 이미지의 축별 Intensity의 History를 사용하였습니다. 강화 학습 알고리즘으로는 샘플 효율성이 좋은 Soft Actor Critic (SAC) 알고리즘^[15]을 이용하였고, 리워드 함수는 전반적인 밝기, Noise 정도, 직전 프레임과의 변화도를 바탕으로 계산하여 밝기를 유지하며 Noise를 줄이고, 직전 이미지 대비 너무 극단적으로 변화하지는 않도록 학습을 유도하였습니다.

그림 5. Experimental Results^[9]
(관련 영상 : https://www.youtube.com/watch?v=66gjCGSh-mE, https://www.youtube.com/watch?v=YhfJDTtyYqk)

학습된 Agent는 극단적인 변화 상황에서 Built-in AE 모듈 대비 약 5배 빠른 속도로 수렴하는 결과를 보여주었습니다. 차량에 탑재하여 실제 환경에서 노트북을 통해 실시간으로 동작 시켰을 때도, 추가 학습 없이도 Built-in AE 알고리즘에 비해 우수한 이미지를 획득할 수 있었습니다. 특히, 컴퓨터 비전 어플리케이션에서의 활용을 위해 SIFT Feature의 숫자를 비교해 보았을 때, 평균적으로 약 40% 많은 Feature를 얻을 수 있음을 확인하였고, Pretrain된 Yolo-v5 모델^[16] 을 통해 Object Detection을 수행하였을 때에도 Built-in AE 대비 4-5프레임 빠르게 물체를 탐지할 수 있음을 보였습니다.

이번 글에서는 CVPR 2024에서 Best Paper로 선정된 이미지와 비디오 합성 관련 연구와 Low-level Vision 분야 연구에 대해 살펴보았습니다. LG AI연구원은 시각 데이터의 한계를 극복하고 응용 분야에 AI를 적용하기 위한 연구를 다양하게 이어가고 있으며, 생성형 모델을 활용하는 연구에도 박차를 가하고 있습니다. AML (Advanced Machine Learning) Lab에서는 Diffusion 모델을 이용한 이상 감지 연구를, Multimodal Lab에서는 텍스트로부터 이미지를 생성하는 연구를 수행하고 있습니다. 또한 DI (Data Intelligence) Lab에서는 조합 최적화 분야와 시계열 예측 분야에 생성 모델을 활용하고 있고, MI (Materials Intelligence) Lab에서도 새로운 단백질을 합성하거나 물질의 특성을 예측하는 데에 적용하고 있습니다. LG AI연구원은 앞으로도 각 분야의 연구를 고도화하고 성과를 창출함으로써, AI 기술로 우리 삶을 변화시키고 산업을 혁신해 나갈 계획입니다.