최우수 AI학회 AAAI-21에서 인정받은 LG의 연속학습 - 새플리 지표를 활용한 온라인 연속학습

현재 대다수의 딥러닝 모델은 여러 개의 GPU를 활용해 대용량의 데이터를 한꺼번에 병렬처리하는 방식으로 학습되고 있습니다. 하지만, 실제 상황에서는 데이터가 개인정보 등으로 보안에 민감하여 한정된 기기에만 저장이 가능하거나, 저전력/저메모리의 모바일 환경과 같은 제약된 컴퓨팅 환경이 주어지는 경우가 많습니다. 이러한 환경에서는 동시에 여러 데이터를 처리하기가 불가능하며, 따라서 데이터를 나눠서 여러 단계에 걸쳐 학습해야 하는 상황이 발생합니다. 이러한 순차적인 학습 방식을 ‘연속학습(Continual Learning, Incremental Learning, Lifelong Learning)’이라고 합니다. 한편 딥러닝은 기존에 학습된 데이터가 주어지지 않은 상태에서 연속적으로 다른 종류의 데이터를 학습할 시 이전 정보를 모두 잊어버리게 되는 치명적인 오류 현상(Catastrophic Forgetting)을 보입니다. 연속학습은 이 오류 현상을 최소화시키며 계속해서 새로운 지식 습득을 이어가게 하는 것이 목표입니다.

LG AI연구원이 이번 최우수 AI학회 중 하나인 AAAI-21^[1]에서 발표한 《Online Class-incremental Continual Learning with Adversarial Shapley Value》^[2]라는 논문에는 기존 방식의 연속학습 알고리즘보다 더 이전 학습 내용 유지와 새로운 지식 습득에 효과적인 알고리즘에 대한 내용이 실려 있습니다. 본 논문은 KNN Shapley value^[3]라는 데이터의 중요도를 평가하는 지표를 최초로 연속학습 문제에 적용한 것으로, 해당 연구에 대한 이론적인 기반을 마련함과 동시에 향상된 정확도와 낮은 오류 현상 발생량을 보여줍니다. 이 알고리즘은 ‘Adversarial Shapley value Experience Replay(ASER)’라 불리며, LG AI연구원과 토론토대 Scott Sanner 교수팀이 공동으로 제안했습니다.

기존 연속학습 분야에서 분류 문제와 관련해 자주 고려되는 상황은 다른 종류의 데이터를 계속해서 학습하게 되는 상황입니다. 여기서 딥러닝 모델이 순차적으로 각각의 ‘task’라고 불리는 여러 학습 과제를 배우게 되고, 다음 학습 과제에는 이전 과제에서 보여진 데이터와 다른 종류의 데이터만을 학습하게 됩니다. 연관된 환경 중 하나인 task-incremental setting에서는 제시되는 데이터마다 관련 학습 과제가 무엇인지 알려주는 정보를 함께 주어, 이를 분류할 때 해당 학습 과제 내 종류들 중 하나로만 선택하면 되도록 합니다. 또한 주어진 과제 관련 데이터가 한번에 모두 주어지게 되어 학습을 더 풍부하게 할 수 있습니다.

하지만 task-incremental setting의 이러한 조건들은 현실성이 많이 떨어집니다. 이를 보완하는 보다 현실적인 환경 중 하나가 바로 online class-incremental setting입니다. 이 환경에서 하나의 task가 시작되면 딥러닝 모델은 관련된 소수의 데이터를 순차적으로 받아서 학습하게 됩니다. 현재 학습 과제를 특정짓는 정보가 주어지지 않았기 때문에, 어떠한 데이터가 주어져도 딥러닝 모델은 자신의 학습 과제들에 존재하는 모든 종류들 중 하나로 분류해야 합니다.

Online class-incremental setting을 이용해 딥러닝 모델의 망각을 극대화시키는 환경에서 연속학습 알고리즘이 얼마나 오류 현상을 피하면서 학습을 이어갈 수 있는지에 대해 실험해 볼 수 있습니다. 여러 이전 연속학습 알고리즘들도 online class-incremental setting을 차용했으며 ASER도 이 환경에서 catastrophic forgetting을 해결하기 위해 만들어졌습니다.

기존 Task-incremental setting과 제안된 online class-incremental setting의 차이점

다양한 방식으로 연속학습을 접근할 수 있지만 현재까지 가장 현실성 있는 방식은 제시된 데이터 중 소수를 선택 및 메모리에 저장해 지속적으로 학습에 이용하는 experience replay 방식입니다. 이는 task에 관련된 정보가 없이도 좋은 성능을 보여주고 데이터 저장 공간 및 선택 관련 계산 외에는 다른 특별한 조건이 필요하지 않아 범용적입니다. Experience replay의 기능은 크게 두 가지로 나눌 수 있는데, 메모리에 저장될 소수의 데이터를 선택 및 교환하는 메모리 업데이트 과정과 이전 지식을 보존할 용도로 새로운 데이터와 함께 학습될 데이터를 메모리에서 선발하는 메모리 회수 과정입니다. ASER는 이 두 과정 모두에 KNN Shapley value 기반 데이터 가치평가를 이뤄내 전략적이며 직관적인 데이터 선택을 합니다.

KNN Shapley value를 이용하면 각각의 데이터가 딥러닝 모델의 특징 공간에서 어떤 특성을 가진 위치에 표현되어 있는지 알아볼 수 있습니다. KNN Shapley value는 각각의 데이터가 다른 데이터들의 정확한 KNN 분류에 대해 얼마나 영향력을 갖는지 나타내는데, 이 값들은 특징 공간에서 데이터들의 관계를 내포합니다. 예를 들어 어떤 데이터가 가진 평균값이 큰 양수라면 그 데이터는 같은 종류의 데이터들과 가까이 특징 공간에 분포되어 있고, 해당 평균값이 큰 음수라면 다른 종류의 데이터 사이에서 발견됩니다. 평균값의 절댓값이 작다면 다른 종류 데이터 간의 경계(decision boundary)에 가까이 있습니다. KNN Shapley value는 단순한 거리나 종류만을 이용한 방식과 달라서, 전체적인 분포를 이용하거나 일부만 사용해 데이터가 표현된 위치를 유추할 수 있게 해줍니다.

KNN shapely value 분포도. 딥러닝 모델이 데이터들을 이차원 특징 공간 내에 세모점으로 표현해 놓은 그림입니다. 색깔은 각 데이터의 종류를 나타냅니다. (b)와 (c)에서는 20개와 50개의 가장 높은 양수 KNN Shapley value를 가진 데이터들이 강조되어 있으며, 값이 큰 양수일수록 같은 종류의 데이터끼리만 근접해 있습니다. (d)에서 낮은 KNN Shapley value를 가진 50개의 데이터를 강조해 놓았는데, 음수 값을 갖는 데이터는 다른 종류의 데이터 밀도가 높은 곳에서 발견됩니다(오른쪽 위 초록 삼각형 사이에 파란 사각형). 이외 값의 크기가 작은 데이터는 경계에 분포되어 있습니다. 

KNN Shapley value의 성질을 이용하면 ASER의 메모리 업데이트(Memory update)와 회수(Memory retrieval) 규칙을 만들 수 있습니다. 새로운 학습 데이터 대비 이전 지식을 보존하기 위해서는 그와 가까운 곳에 표현되어 있는 다른 종류의 데이터를 이용하여 이미 학습된 decision boundary의 큰 변형을 방지하고, 또한 자신과 같은 종류의 데이터를 잘 대변하는 데이터를 사용하여 해당 종류에 대해 대표적인 정보를 보충합니다. 이 두 성질을 토대로 제안된 아래의 ASV 계산식에 대해 높은 값을 갖는 데이터를 메모리에서 꺼내 새로운 데이터와 학습하게 됩니다. 메모리를 업데이트할 경우에는 높은 양수의 KNN Shapley value 평균값을 갖는 데이터를 우대해 각각 종류에 대해 안정적으로 학습된 데이터를 메모리에 유지할 수 있습니다.

ASV 계산식 

아래 그림은 ASER와 다른 experience replay 방식인 random replay와 MIR이 학습용으로 회수한 데이터들이 이차원 특징 공간에 표현되어 있는 모습입니다. Random replay는 회수 및 업데이트 모두 균등분포에 따른 무작위 선택을 하고, 따라서 회수된 데이터들이 공간 밀도에 따라 분포해 있습니다. MIR 업데이트는 random replay와 같지만 회수는 현재 새로운 데이터와 가장 간섭(interference)이 큰 데이터를 뽑아 사용하게 됩니다. 하지만 이 경우 왼쪽 아래 붉은 종류의 데이터 위주로 회수된 모습이 관찰되는데, MIR이 정의한 간섭이 한 종류에 집중해 나타날 수 있다는 것을 나타냅니다. ASER는 회수 시 새로운 데이터 대비 높은 ASV값을 가진 데이터를 선택하고, 이를 통해 새로운 데이터 종류와의 경계에 있는 다른 종류의 데이터를 뽑거나 자신의 종류를 잘 대변하는 데이터를 선택합니다.

 

기존 방식과 제안된 방식의 TSNE plot 비교

정량적인 비교를 위해 두 데이터셋에 대한 연속학습 알고리즘들의 정확도를 비교해보면 ASER가 가장 높은 성능을 나타냅니다.

Mini-ImageNet과 CIFAR-100에서의 실험 결과

LG AI연구원은 본 논문에서 현장의 니즈를 반영한 Use case 분석으로 Online Continual Learning이라는 방향을 연구목표로 설정했고, literature review를 주도하였으며 실험 설계 및 결과 검증에 기여했습니다. 특히 컴퓨터 비전 전문성을 바탕으로 알고리즘의 영상 데이터 적용 및 분석을 리드했습니다.

연속학습은 딥러닝 모델을 데이터 기반으로 빠른 ‘업데이트’가 가능하다는 측면에서 산업계의 요구가 풍부한 기술입니다. 하지만, 이러한 요구에 부응하기 위해서는 아직 가야할 길이 멉니다. 본 논문을 통해 ‘메모리의 효율적 갱신과 사용’의 관점에서는 기존 연구 대비 획기적인 성과를 이루었지만 인간의 연속학습 능력에 견주기에는 아직 많은 부분이 개선되어야 합니다. 인간의 인지능력에 대한 더욱 심도 있는 탐구를 통해 연속학습에 대한 힌트를 찾고 효과적인 알고리즘을 개발하는 것이 향후 연구방향이 될 것입니다.

앞으로 LG AI연구원은 발표된 알고리즘을 산업현장에 적용해서 비즈니스의 가치창출에 기여함과 동시에, 연속학습을 통해 풀어야 할 catastrophic forgetting과 같은 여러 근본적인 문제들을 해결하여 기존 딥러닝 학습방식을 획기적으로 개선하는 기초연구를 병행해나갈 예정입니다.