‘설명 가능한 인공지능’(XAI)의 새로운 알고리즘 SISE(Semantic Input Sampling Explanation)

*본 콘텐츠는 AAAI-21 논문(Explaining convolutional neural networks through attribution-based input sampling and block-wise feature aggregation)의 내용을 소개합니다. 

설명가능 AI(Explainable AI, XAI)의 등장

오늘날 딥러닝(deep learning)을 통해 학습된 ‘심층인공신경망’(deep neural network, 이하 DNN)은 인간 두뇌의 신경망을 인공적으로 구현한 것으로 의료, 검사, 제조 등 다양한 분야에서 가시적인 성과를 보여주고 있습니다. 그러나 DNN은 적게는 수백만, 많게는 수백억 개 이상의 인자를 가지고 있고, 비선형 연산 또한 많아 성공률의 예측값이 어떻게 산출되는 것인지 그 알고리즘을 알아내는 것은 여전히 난제로 남아있습니다.

이러한 이유로 대부분의 경우 DNN을 마치 블랙박스(black-box)로 취급하고, 높은 정확도를 얻도록 학습시키는데만 초점을 맞춥니다. 그러나 이 경우, 학습 데이터와 비슷한 데이터에는 높은 성능을 보일 수 있지만 이와 다른 데이터가 등장했을 때는 성능을 보장하기 어려우며 모델의 신뢰성이 떨어지게 됩니다. 이를 모델 편향성(model bias)라고 하는데, DNN이 데이터의 어떠한 특징을 주로 활용하는지, 추론 방식(behavior)를 모르면 편향성이 발생했는지를 재빨리 알아내기가 어렵습니다. 따라서 인공지능의 의사결정에 대한 이유, 즉 추론방식을 사람이 이해할 수 있는 방식으로 제시하는 기술이 등장하게 되었고 우리는 이를 ‘설명가능 AI’(Explainable AI, 이하 XAI)라 부르고 있습니다. 즉, XAI는 AI의 예측 근거, AI가 예측에 실패하는 지점, AI가 주로 중요하게 사용하는 특징 등을 분석하는 연구분야라고 할 수 있습니다.

XAI는 영상, 시계열분석, 텍스트·언어 분야에 이르기까지 다양하게 활용될 수 있습니다. 예를 들면 제조영상의 결함 분류에서는 인공지능이 정말로 결함 부분을 파악해 분류를 한 것인지 확인함으로써 모델의 검증이 가능해지고, 시계열분석 중 하나인 수요예측 분야에서는 인공지능이 수요에 가장 큰 영향을 주는 요인을 적절하게 찾아내고 인간 전문가의 경험에 비추어 올바르게 분석하는지 여부를 확인할 수 있습니다. 텍스트 분석 분야의 하나인 기계독해(Machine reading comprehension)에서는 질문에 대한 해답을 찾는 과정에서 인공지능이 텍스트 탐색을 적절하게 하고 있는지도 알아낼 수 있습니다.

그림 1. 설명가능 AI(Explainable AI, XAI)의 활용 분야

LG AI연구원에서는 XAI의 다양한 분야 중 영상 분야의 XAI 개발에 초점을 맞추어 연구를 진행하였습니다. 이미지 인식 작업에 기 탑재된 DNN 모델을 대상으로 추론 방식을 찾아내고 이를 히트맵으로 시각화하는 것이 목적입니다. 다시 말해, DNN 모델 학습시 설명 모듈을 내장하거나 추가적인 학습을 통해 추론방식을 설명하려는 방식이 아니라, 사후분석(post-hoc) 방식을 사용했기 때문에 분석대상 모델만 있으면 추론 방식을 설명할 수 있습니다.

기존 XAI 방법과 한계

기존에도 영상 분야 XAI에서는 다양한 기술들이 제시되었습니다. 대표적으로는 1)역전파 기반(Backpropagation-based) XAI, 2)클래스 활성맵 기반(Class activation map(CAM)-based) XAI, 3)입력간섭 기반(Perturbation-based) XAI가 있습니다.

역전파 기반(Backpropagation-based) XAI는 이미지의 각 픽셀이 AI의 출력에 어느 정도 영향을 미치는지를 그래디언트(gradient) 값으로 측정합니다. 이러한 방식은 일반적으로 인간이 보기에 해석성(interpretability)이 떨어지며 픽셀들이 주변 픽셀과 어떻게 조합되는지, 그 조합이 얼마나 중요한지를 제시하지 못합니다. 이 방식의 한계점을 극복하기 위해 다양한 알고리즘들이 제시되었고 대표적으로 Integrated Gradients^[1], Full Gradient^[2] 방법 등이 있으나 (그림 2)에서 보듯이 이러한 알고리즘 역시 높은 해석성을 확보했다고 보기는 어렵습니다.

그림 2. 기존 XAI 방법과 한계

두 번째로 클래스 활성맵 기반(Class activation map(CAM)-based) XAI가 있습니다. 이 방법은 AI의 최상단 레이어의 특징맵(feature map)을 활용합니다. 일반적으로 최상단 레이어는 AI가 데이터를 판단하는데 필요한 정보가 응집되어 있기 때문에 적절히 활용하게 되면 예측에 주로 사용된 특징들을 정확하게 시각화할 수 있게 됩니다. 대표적인 기술로는 Grad-CAM^[3], Grad-CAM++^[4] , Score-CAM^[5] 등을 들 수 있습니다. 그러나 이 방법에도 단점은 존재합니다. 일반적으로 영상을 다루는 DNN는 최상단 레이어로 갈수록 특징맵의 해상도를 줄여나갑니다. 예를 들어 입력 영상이 224×224 해상도를 갖는다고 가정할 때 최상단 특징맵의 해상도는 7×7이 됩니다. 따라서 클래스 활성맵 기반 XAI의 경우, 히트맵을 시각화하기 위해 큰 폭으로 업스케일을 하는 것이 불가피합니다. 또한 모든 채널의 특징맵을 사용하기 때문에 노이즈가 추가될 수밖에 없습니다. 

세 번째는 입력간섭(Perturbation-based)기반 XAI입니다. 이 방식은 크게 입력 샘플링 기반 방법과 입력 최적화 방법으로 나뉩니다. 입력 샘플링 기반 방식 중 가장 대표적인 알고리즘인 RISE^[6](Randomized input sample for explanation)는 입력 영상에 랜덤 마스크를 씌워 입력하고 AI의 출력치를 저장합니다. 이러한 작업을 대략 8,000번 정도 진행 후 랜덤 마스크들과 AI 출력치들을 선형조합(linear combination)합니다. 이렇게 되면 높은 출력치를 갖게 만든 랜덤 마스크들은 특징 노출에 일관성을 보여주게 되어 적절한 설명이 가능해집니다. 그러나 이 방식의 문제는 설명을 위해 약 8,000번의 출력이 필요하다는 점입니다. 또한 랜덤 마스크를 사용하기 때문에 같은 입력 영상에 대해서도 수행할 때마다 결과가 달라진다는 점도 한계입니다.

후자인 입력 최적화 방식에서 가장 대표적인 알고리즘은 Extremal Perturbation^[7]이라는 알고리즘으로, 높은 출력치를 보여주는 특징부분들을 최적화(optimization) 방식으로 찾아냅니다. 그러나 이 방식의 문제점은 최적화 방식에만 의존한다는데 있습니다. 정확한 해를 구했을 때는 해석성이 매우 높은 설명을 취득할 수 있으나 정확한 해를 구하지 못했을 경우에는 전혀 상관없어 보이는 특징들을 보여주기도 합니다. 또한 수치 최적화(numerical optimization) 방식을 사용하기 때문에 연산 시간 문제도 안고 있습니다.

LG AI연구원의 SISE(Semantic Input Sampling for Explanation) 알고리즘

LG AI연구원은 기존 방식들의 한계점을 극복하기 위해 토론토대학교 콘스탄티노스 플라타니오티스(Konstantinos Plataniotis) 교수팀과 공동으로 연구를 진행하여 기존의 알고리즘보다 검출 근거에 대한 설명력이 획기적으로 높으면서도 수행 시간이 효율적인 새로운 알고리즘 ‘SISE(Semantic Input Sampling Explanation)’을 개발했고, 관련 논문인 ‘Explaining Convolutional Neural Networks through Attribution-Based Input Sampling and Block-Wise Feature Aggregation’를 글로벌 최고 권위의 AI 학술대회인 AAAI(Association for the Advancement of Artificial Intelligence)에서 발표했습니다.

구체적으로 LG AI연구원이 개발한 SISE 방식에 대해 자세히 살펴보겠습니다. 이 방식은 기본적으로는 RISE 방식에서 모티브를 얻었습니다. RISE 방식은 적용이 쉽고 무엇보다 직관적인 인터페이스를 갖는다는 것이 큰 장점입니다. 그러나 앞에서 살펴보았듯 랜덤 마스크를 사용하기 때문에 결과가 일정치 않고, 노이즈로 인한 히트맵 품질이 떨어진다는 점, 수천 장에 대한 출력을 얻어야 하기 때문에 연산 비용이 발생하는 점 등에서 개선이 필요하였습니다. 

Attribution-based input sampling

그림 3. 입력 영상에 대한 중간 레이어의 특징맵 마스크의 예(a)와 랜덤 마스크의 예(b)

이러한 문제를 해결하기 위해 랜덤 마스크를 사용하는 대신 DNN 모델의 중간 레이어에 있는 특징맵을 마스크로 사용하였습니다.(그림 3) 이 아이디어를 통해 중간 레이어에서 모이는 정보들을 활용하게 되므로 추론방식 설명에 있어서 충실도(faithfulness)를 기대할 수 있게 되었습니다.

일반적으로는 특징맵을 활용하는 알고리즘에 대해 속성 기반 방식(attribution-based method)라는 용어가 사용되고 있습니다. 논문 제목의 “attribution-based input sampling”은 특징맵을 입력의 마스크로 사용한다는 의미입니다. 그러나 DNN의 모든 레이어, 모든 특징맵을 사용하는 것은 활용성에 있어서 적절하지 않으며 현실적으로 불가능합니다. 따라서 적절한 레이어 및 특징맵을 선택하는 전략이 필요합니다.

Block-wise selection

먼저 레이어 선택전략입니다. AI 추론을 설명하기에 적절한 레이어는 정보량이 많은 레이어일 것입니다. 본 논문에서는 정보량이 많은 레이어를 정의하기 위해 (Veit, 2016)논문^[8]을 참조합니다. 해당 논문에 따르면 정보량의 기준을 삼을 때, 레이어를 없앴을 때(dropping) 예측 정확도가 떨어지는 정도로 측정합니다. 그 결과 가장 정보량이 많은 레이어는 특징맵의 해상도를 ½로 줄이는 다운샘플링 레이어(downsampling layer)였습니다. 이는 DNN 모델이 학습되면서 정보량이 정제되는 지점이 특별히 존재한다는 의미입니다. 이러한 통찰을 바탕으로 일반적으로 영상을 다루는 DNN이 가지고 있는 다운샘플링 레이어를 목표 레이어로 선택하였습니다. 논문에 Block-wise란 이름이 붙은 이유는 다운샘플링 레이어가 일어나기 직전의 네트워크를 하나의 block으로 보았고 block 단위로 정보의 정제가 일어나기 때문입니다.

다음은 특징맵 선택 전략입니다. ResNet-50을 예로 들면 다운샘플링 레이어는 총 5개이며 각각 64, 256, 512, 1024, 2048장의 특징맵을 갖습니다. 총 4,000장에 육박하는 특징맵을 모두 마스크로 사용하게 되면 실행시간에 있어서 RISE와 큰 차이를 만들지 못합니다. 따라서 DNN의 출력에 중요한 역할을 하는 특징맵만 골라 마스크로 사용하는 방식을 취했습니다.

그렇다면 ‘중요한 역할을 하는 특징맵’은 어떻게 골라낼 수 있을까요? 본 논문에서는 특징맵이 DNN 출력에 미치는 영향을 그래디언트 값으로 측정하였습니다. 다시 말하면 특징맵의 각 픽셀의 그래디언트 값을 평균하여 특징맵의 중요도로 삼았고, 양(positive)의 값을 갖는 특징맵만 마스크로 사용한 것입니다. 그 결과 평균적으로 총 특징맵이 2,000장 내외로 줄어들어 RISE 대비 ¼ 수준의 마스크만 사용하게 되었습니다.

Feature aggregation

그림 4. 레이어별로 선택된 피처맵 마스크의 조합 방법(예시)

선택된 피처맵 마스크는 모델의 출력 근거를 산출할 수 있도록 조합되어야 합니다. 이를 위해 본 논문에서는 입력에 선택된 피처맵 마스크를 적용한 다음 DNN에 입력하여 출력값을 저장합니다. 그리고 출력값을 각 피처맵 마스크의 가중치로 하여 선형조합합니다.(그림 4) 이러한 프로세스는 레이어별로 진행되는데, 결과적으로 선택된 레이어가 5개일 경우 레이어별로 1장의 피처맵이 산출되게 되어 결과적으로 총 5장의 대표 피처맵인 레이어 시각화 맵(layer visualization map)들이 완성됩니다. 이를 통해 DNN의 각 레이어에서 입력 영상을 어떻게 다루고 있는지 알 수 있습니다.

Integration of layer visualization maps

이제까지 산출된 레이어 시각화 맵들은 또 다시 모델의 출력 근거를 충실히 밝히기 위한 방향으로 통합되어야 합니다. 이를 위해 이 논문에서는 (그림 5)와 같은 폭포융합방식(cascade fusion)을 사용합니다. 이 방식을 채택한 이유는 하단 레이어의 시각화 맵이 높은 해상도를 갖는데 비해 노이즈가 많고, 상단 레이어의 경우 해상도는 낮지만 노이즈가 적기 때문입니다. 결과적으로 폭포융합방식을 통해 공통 특징은 가중되고 노이즈가 있는 부분은 높은 확률로 소거될 수 있습니다.

그림 5. 레이어 시각화 맵의 폭포융합

Result

본 논문에서 소개된 기술인 SISE를 통해 산출된 히트맵은 기존 XAI 방식보다 높은 해상도와 작은 물체에 대한 검출 능력을 확보할 수 있었습니다.(그림 6) 이는 중간 레이어의 피처맵을 활용하였기 때문에 가능했습니다. 높은 해상도를 확보한다는 것은 DNN의 출력에 관여된 부분을 비교적 ‘정확하게’ 가리키는 능력을 보여주었다는 의미로 해석될 수 있습니다.  기존 XAI 방법이 뭉개짐이나 노이즈로 인해 출력과 상관없는 부분까지 주요 특징으로 제시하는 경향이 있었다는 사실과 비교하면 한 차원 더 발전된 형태의 XAI라고 말할 수 있습니다.

그림 6. 기존 XAI 방법과 SISE 방법의 정성적 비교 (단일 객체 영상의 경우)

또한 SISE를 통해 실험적으로 발견한 사실은 영상 내 여러 객체가 있을 경우 각 객체의 특징들을 기존 XAI 방법보다 비교적 잘 잡아낸다는 것입니다.(그림 7) 이러한 관찰을 통해 DNN 자체의 정보를 잘 활용할 경우 weakly supervised learning과 같은 난제를 해결하는데도 실마리를 제공할 수 있을 것입니다.

그림 7. 기존 XAI 방법과 SISE 방법의 정성적 비교 (멀티 객체 영상의 경우)

기존 XAI 방법과 SISE 방법의 정량적 비교는 크게 두 가지 방법으로 진행하였습니다. 하나는 XAI 방법이 얼마나 의미 있는 설명을 해주는지를 측정하는 것입니다. 여기서는 검증 데이터 내 실제 객체에 대한 위치정보와 XAI가 산출하는 위치정보가 얼마나 일치하는지를 측정합니다. 측정은 1) Energy-based pointing game^[5], 2) Bounding box^[9], 3) mIoU(mean intersection of union) 의 세 가지 방식으로 진행되었습니다.

다른 하나는 설명의 충실도를 알아보는 방법으로 XAI로 산출된 특징 부분이 DNN의 출력 결과에 실제로 큰 영향을 미치는지 측정하는 것입니다. 측정은 1) Drop rate^[4], 2) Increase rate^[4] 두 가지 방식으로 진행되었습니다. 그 결과 SISE 방식은 비교군 중에서 가장 높은 수준의 성능을 보였고 무엇보다 설명의 충실도 측면에서 가장 높은 수치를 달성하였습니다.(그림 8)

그림 8. 기존 XAI 방법과 SISE 방법의 정량적 비교

Extra

일반적으로 벤치마킹에 사용되는 일반 영상이 아닌 실제 산업용 영상인 경우에서는 어느 정도의 성능을 보이는지 실험해 보았습니다. 대상 데이터셋은 철강 파손을 분류하는 Severstal steel dataset^[10]입니다(오리지널 데이터셋은 파손부위 검출용 데이터셋임. XAI 기술 개발을 위해 분류문제 데이터로 새로 디자인하였음). 이 데이터셋은 클래스별로 이미지 개수가 크게 차이가 나는 imbalance dataset입니다. 실제 산업현장에서는 이러한 형태의 사례가 많이 발생하기 때문에 실제 적용 가능성을 간접적으로 알아볼 수 있습니다. 그러나 이 데이터는 파손 부위에 대한 정보가 없어 특징맵의 정확도 측면에서의 측정은 불가능했고, 설명의 충실도 측면에서만 측정되었습니다. 그 결과, (그림 10)과 같이 기존 XAI 대비 가장 높은 설명 충실도를 보여주었습니다. 특히 drop rate에서 높은 성능을 보여주었는데, 이는 SISE 알고리즘이 DNN의 출력에 영향을 주는 특징을 잘 추출하고 있음을 나타냅니다.

그림 9. Severstal steel data 대상 기존 XAI 방법과 SISE 방법의 정성적 비교

그림 10. Severstal steel data 대상 기존 XAI 방법과 SISE 방법의 정량적 비교

마치며

본 논문에서 제시한 것과 같이, LG AI연구원이 연구개발한 새로운 알고리즘인 SISE 방식은 일반적인 이미지 데이터 분석을 넘어 의료, 검사, 제조 등 다양한 산업 현장에 활용될 것으로 기대됩니다. 그러나 XAI 분야는 아직 풀어야 할 숙제가 많이 남아있습니다. 무엇보다 현재의 XAI 기술은 출력에 대한 단순한 근거 제시에 지나지 않는다는 한계점이 있습니다. 인간은 무엇이 잘못되었는지 스스로 인식하고 고치는 능력이 있듯, XAI 기술도 무엇이 잘못되었는지 인공지능이 스스로 파악하는 과정을 밝히는 데 초점을 맞추어 진화해야 합니다. 그리고 그 기술은 결과적으로 인공지능이 개선될 수 있는 방향을 제시해 주어야 합니다.

LG AI연구원은 더 나은 XAI 기술을 갖추기 위해 여기에 그치지 않고, 다양한 문제에서 적용이 가능한 설명 가능 방법을 찾고 있습니다. 이를 위해 앞으로도 원천기술을 확보하고 기초 연구를 강화해 나갈 예정입니다.