[ECCV 2022] 참관 후기 및 컴퓨터비전 연구 동향

ECCV(European Conference on Computer Vision)가 2022년 10월 23일부터 27일까지 이스라엘 텔아비브에서 개최되었습니다. 올해로 17회를 맞이한 ECCV는 2년마다 매 짝수 연도에 열리는 학술대회로, CVPR(Computer Vision and Pattern Recognition Conference), ICCV(International Conference on Computer Vision)와 함께 최고 수준의 인공지능 분야 이미지 인식 관련 학회로 꼽힙니다. 

이번 학술대회의 Main Conference는 텔아비브 컨벤션센터에서 10월 25일부터 3일간 진행이 되었으며, 많은 연구자들이 참여하여 자신의 연구 주제를 발표하고 교류하는 시간을 보냈습니다.

사진 1. ECCV 2022 개최 장소 (이스라엘 텔아비브 컨벤션센터)

사진 2. Main Conference (Oral Session)

연구 동향

ECCV 2022에서는 2D/3D 객체 검출, 이미지 합성 및 생성, Low Level Vision 등 컴퓨터 비전과 관련된 다양한 주제의 연구가 발표되었습니다. 특히, 최근 LG AI연구원 EXAONE 비전, 구글 Imagen, OpenAI Dall.e 2, Stability Stable Diffusion AI 등 Text-to-Image를 위한 초거대 비전 모델이 다수 발표되고 있는데, 이를 반영하듯 Multimodal AI와 관련된 연구 주제가 많이 발표되었습니다. 이를 통해 Multimodal AI 연구가 텍스트, 이미지에 한정된 것이 아니라 오디오, 비디오 등으로 확장되고 있는 것을 확인할 수 있었습니다.

이외에도 비디오와 관련된 연구가 눈에 띄었고, NeRF 계열의 3D 이미지 생성, Self-supervised Learning과 같은 주제의 연구에 많은 관심을 두고 있는 것을 알 수 있었습니다. 이번 블로그를 통해 ECCV 2022에서 발표된 LG AI연구원 Vision Lab의 논문 두 편을 소개하고, Self-supervised Representation Learning과 관련해 최근 발표된 논문 두 편을 소개하도록 하겠습니다.

LG AI Research in ECCV 2022

ECCV 2022의 포스터 세션에서는 LG AI연구원 인턴이었던 손형욱 님과 윤주승 님 그리고 두 분의 멘토였던 Vision Lab의 이장현 님이 함께 진행한 연구에 관한 논문을 발표하였습니다.

[ECCV 2022] DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning (Link)

첫 번째로 손형욱 님이 작성한 논문은 scratch부터 시작하는 기존 Continual learning 방법과 다르게, pre-trained된 모델로부터 continual learning을 진행하는 continual fine-tuning 방법을 제안합니다. Pre-trained된 모델의 linearization을 활용해 data incremental, task incremental, class incremental 등 다양한 상황에서 continual fine-tuning 방법을 검증했습니다.

[ECCV 2022] On the Angular Update and Hyperparameter Tuning of a Scale-Invariant Network (Link)

두 번째로 윤주승 님의 논문은 Normalization layer가 존재하는 scale-invariant 모델의 hyperparameter와 angular update와의 관계를 분석한 논문입니다. 논문 내 연구 결 과를 활용해 적은 수의 학습 데이터로도 좋은 hyperparameter를 찾을 수 있는 효과적인 hyperparameter tuning 방법을 제안합니다. 

손형욱 님과 윤주승 님의 발표를 포함해 포스터 세션에서는 많은 연구자들이 관심을 가지고 발표를 들으며 질문을 통해 의견을 나누는 시간을 가졌습니다.

사진 3. 포스터 세션 논문 발표 (좌) 손형욱 님, (우) 윤주승 님

Self-supervised Classification Network

최근 Contrastive Learning 기반으로 Self-supervised Learning 기법이 많이 제안되고 있습니다. 주로 하나의 샘플에 서로 다른 두 개의 Augmentation을 통해 두 개의 뷰(View)를 만들고 같은 샘플에 대해서 Augmentation이 주어졌기 때문에, Backbone 네트워크를 통과한 임베딩 벡터(Embedding Vector)가 서로 유사해지도록 학습합니다^[4]. 그리고 같은 배치(Batch) 내의 다른 샘플과는 임베딩 벡터의 유사도가 낮아지도록 학습하는 방식으로 접근하고 있습니다. 이러한 Self-supervised Representation Learning은 Backbone 네트워크를 학습시키는 방식입니다. 따라서, Classification 등과 같은 Task를 수행하는 모델을 학습하기 위해서는 Classifier 네트워크를 추가로 학습시켜야 합니다. Self-supervised Representation Learning은 2-Stage로 학습을 시켜야 할 뿐 아니라 Classifier 네트워크 시 Labeled 데이터가 필요합니다. ECCV에서 발표된 “Self-supervised Classification Network^[1]” 논문은 <Figure 1>에서 보는 바와 같이 Backbone과 Classifier 네트워크를 동시에 학습시키는 방식으로 접근합니다. 

Figure 1. Self-Classifier architecture^[1]

 

이 논문에서는 ImageNet 데이터 세트로 다른 Representation Learning 기반의 방법 및 클러스터링 알고리즘과 클러스터링 평가 지표로 성능을 평가하고 비교했으며, 표 1과 같이 가장 높은 클러스터링 정확도를 얻을 수 있었다고 발표했습니다. 

 

SPot-the-Difference

비전검사 과제(Link)를 통해 Anomaly Detection 모델을 연구하고 있는 입장에서 SPot-the-Difference^[2] 논문은 흥미로운 연구 주제였습니다.

Self-supervised Contrastive Learning 기반의 Anomaly Detection 연구^[3]에서는 Normal 데이터를 Augmentation하는 과정에서 Contrastive Learning을 수행할 때, 데이터의 분포를 유지하는 변형(Transform)과 데이터의 분포를 벗어나도록 만드는 변형을 분리해 진행합니다. 즉, 데이터의 분포를 유지하는 Weak Augmentation을 적용한 데이터와는 Representation Vector 간 거리가 가까워지도록(Attract) 학습하고, 데이터의 분포를 벗어나도록 만드는 Strong Augmentation을 적용한 데이터와는 거리가 멀어지도록(Repel) 학습합니다. 추가적으로, Normal 데이터 유형과 Strong Augmentation에 어떠한 변형이 적용되었는지 그 유형을 분류하는 학습을 통해 Anomaly Detection Task를 수행합니다.

SPot-the-Difference^[2] 논문은 기존의 Self-supervised Contrastive Learning 기반의 Anomaly Detection의 Approach를 따릅니다. 하지만, Figure 2와 같이 전역적인(Global) 변화에는 둔감하게 작동하고 국소적인(local) 변화에는 민감하게 동작할 수 있도록 학습하는 것이 핵심 아이디어입니다.

Figure 2. The contrastive spot-the-difference learning^[2]

비전 검사에서 사용되는 제조 데이터는 국소적인 영역에 발생한 제품 결함 이미지이기 때문에 전역적인 영역에서보다 국소적인 영역에서의 변화를 검출해내는 것이 중요합니다. 이 논문에서는 CutPaste와 유사한 SmoothBlend를 통해 Local Perturbation을 만들고, 이러한 변형 이미지와는 거리가 멀어지도록 학습합니다. 하지만 LSPD라는 Regularization을 통해 Global Augmentation으로 인한 차이가 작아지도록 유도하고, 모델이 Local Perturbation에 집중해 Local Perturbation이 포함된 이미지에 대해서는 Normal 이미지와 다른 Representation을 추출될 수 있도록 학습합니다. 최종적으로는 이렇게 학습된 Back-bone 네트워크(f)에 Classifier 네트워크를 붙여서 Normal 이미지인지 Local Augmentation이 적용된 이미지인지 분류하도록 학습해 Anomaly Detection Task를 수행합니다.

이 논문에서 제안하는 방법은 MVTec 데이터 세트로 평가했을 때 다른 최신 Anomaly Detection 모델보다 성능이 좋지는 않습니다. 하지만 Self-supervised Learning 기반의 Anomaly Detection에서 Augmentation을 컨트롤할 수 있는 Regularization 방법을 제안했다는 점에서 의미를 갖습니다.

산업계 동향

이 밖에도, 포스터 세션과 같은 홀에서 진행된 산업계 전시를 통해 글로벌 업체의 산업계 동향도 살펴볼 수 있었습니다. 사람의 행동 인식(Human Action Recognition)이 CCTV 환경에서의 이상 행동 감지와 같은 응용에 한정 적용되는 것에서 벗어나 자율주행, 스포츠 분석과 같은 응용으로 확장되어 가고 있는 것이 눈에 띄었습니다. 그리고 스마트 글라스를 통해 사람이 바라보는 실세계에 가상현실을 입혀, 보다 많은 정보를 제공하고자 하는 응용에 여전히 많은 관심이 모이고 있는 것을 확인할 수 있었습니다.

실제로 모빌아이(Mobileye)는 자율주행 차량 전시와 함께 야외에서 예약제로 자율주행 체험을 할 수 있도록 하였고, GM은 차선, 신호등, 교통표지판 등 도로 주행에 영향을 미치는 사물을 인식하는 것 외에 사람의 수신호를 인식해 자율주행 차량을 제어하는 기술에 관한 동영상 데모를 선보였습니다. 다양한 산업에서 인공지능 기술을 활용한 전시를 보며, 인공지능 기술이 탑재된 차량, 로봇 등이 미래 사회에서 사람과 공존하기 위해서는 서로 의사소통을 할 수 있어야 하고, 이를 위해 언어뿐 아니라 사람의 행위가 어떠한 의도를 지녔는지 인식할 수 있어야 함을 보여주는 사례라고 생각했습니다.

사진 4. GM 전시 부스

메타(Meta)는 ARIA 프로젝트(Link)에 관해서 설명하면서 AR(Augmented Reality) 글라스를 전시했고, Google Research에서는 스포츠 분야에서 선수의 Action 및 공의 궤적 등을 인식하여 시각적인 분석 내용을 비디오에 표현해 스포츠 콘텐츠를 제작하는 모습을 시연했습니다. 이 외에도 3D 데이터를 만들기 위한 4D 스캐닝 기술, 임베디드 하드웨어에 이미지 인식을 효율적으로 적재할 수 있는 개발 플랫폼 등 다양한 분야의 전시로 공간이 채워졌습니다.

사진 5. 산업 전시 – (좌) 4D 스캐닝 (우) 임베디드 개발 플랫폼

Conclusion

ECCV 2022를 통해 컴퓨터 비전 분야를 연구하는 각국의 연구자들의 발표를 직접 듣고 질문을 하면서 연구자로서 많은 정보를 얻을 수 있었습니다. Text-to-Image로 대표되는 Multimodal AI 분야는 비디오로 확장되는 연구 동향을 보이고 있었고, 컴퓨터 비전 분야의 다양한 Task를 Self-supervised Learning으로 접근하려는 연구들이 확대되고 있는 것으로 보여 이러한 주제에 지속적으로 관심을 가져야 할 것 같습니다.

LG AI연구원은 이번 ECCV 2022에서 세 편의 논문이 선정되는 등 지속적으로 연구 성과를 발표해 나가고 있으며, 앞으로도 학계와 적극적으로 소통하며 향후 글로벌 AI 기술을 선도하는 연구 기관으로 자리매김하기 위한 도전을 계속해 나갈 예정입니다.