LG의 연속학습, 세계적 AI 경연대회 CVPR 2020 1위 수상하다

‘연속학습(Continual Learning, Incremental Learning, Lifelong Learning)’이란 새로운 데이터가 연속적으로 들어올 때 이를 순차적으로 학습하여 새로운 환경 변화에 실시간으로 대응할 수 있는 인공지능 시스템을 구현하는 학습 방식을 말합니다. 현재의 딥러닝을 기반으로 학습을 진행할 경우, 데이터가 누적될수록 과거의 데이터는 지워지고 신규 데이터 중심으로 결괏값을 도출하는 오류(Catastrophic Forgetting)가 종종 발생합니다. 연속학습은 이러한 오류를 해결할 수 있는 기술입니다.

현재의 AI 기술은 초반에 대용량 데이터를 정교하게 학습한 예측 모델(Prediction Model)이라도 시간이 지나면서 주변 환경 변화, 새로운 유형(class) 추가 등으로 새로운 데이터를 만나면 점점 정확도가 떨어지는 문제가 존재합니다. 컴퓨터 비전 분야에서 예를 들면, 불량 검출 비전 검사를 위해서 AI가 많은 노력을 통해 실제 공장에 세팅이 되더라도, 조명 변화나 장비 노후 또는 새로운 유형의 불량이 생길 때 정확도가 떨어지는 상황이 발생하는 것입니다. 

이 경우, 지금까지의 AI 기술로는 기존의 데이터와 새로 확보된 데이터를 모두 합친 하나의 거대한 데이터 셋을 만들고 해당 데이터를 기반으로 재학습을 함으로써 정확도가 떨어지지 않게 만드는 작업을 수행해 왔습니다. 하지만 이러한 방법은 필연적으로 거대한 컴퓨팅 자원을 사용해야 하며 새로운 데이터가 나타날 때마다 재학습을 반복해야 하므로 엄청난 자원을 소모하게 됩니다.


 

 LG의 CVPR 2020 챌린지 우승 Certificate

‘CVPR 2020’^[1]의 ‘연속학습 기술 경연 대회(Continual Learning Computer Vision Challenge)’에서 LG가 선보인 기술은 바로 이러한 문제를 해결하기 위한 것입니다. 소량의 기존 데이터와 새롭게 획득된 데이터를 결합하여 기존의 모델보다 더욱 빠르고 효율적으로 학습, 완전히 새롭게 학습할 필요가 없어 자원 낭비를 대폭 줄일 수 있는 기술입니다. 특히, 이러한 효율성으로 인해 클라우드 대신 저전력/저메모리(Low-power and Low-memory) 디바이스에서 학습이 가능하여 보안에 민감한 정보를 다룰 때 유리하다는 장점을 가지고 있습니다.

 

 CVPR 2020 챌린지에 사용된 데이터. 배경, 조명, 물체의 자세 등이 다양하게 변화하여 연속학습의 성능 테스트를 위해 제작된 데이터  

올해 처음 개최된 연속학습 기술 경연 대회에서 LG는 토론토대학과 함께 공동연구팀으로 참가해 아마존, 중국과학원, 동경대 등 총 79개팀을 제치고 우승했습니다. 이는 CVPR 2020 경연대회에 LG가 처음으로 참가해 이뤄낸 성과로 그 의미가 더욱 크다고 볼 수 있습니다^[2]. 기존의 미니 배치(Mini-batch) 방식의 효율성 개선을 위해 배치 레벨(Batch-level)로 메모리 연산을 진행했으며, 여기에 리뷰 과정(Review process)를 추가하여 망각현상(catastrophic forgetting)을 최소화했습니다^[3].


 

 CVPR 2020 챌린지 우승 당시 종합 순위 정보. 여러 우수한 연구팀들 사이에서 3개 부문 모두 1등을 차지하며, 종합 세계 1위를 수상했습니다.

CVPR 2020에서 이 같은 성과를 거둔 LG는 최근의 연구결과들을 권위 있는 인공지능 학회에서 발표를 위해 심사를 진행 중입니다. 이를 통해 LG의 기술을 홍보할 계획임은 물론^[4], 동시에 LG 각 계열사의 제품 경쟁력 향상을 위해 지금까지 개발한 소프트웨어 기술 이전에 대한 협의를 진행하고 있습니다.