[ICLR 2021] 1편: 현실 문제를 풀기 위한 강화학습 연구

ICLR(International Conference on Learning Representations) 2021은 올해로 9회째 개최되는 국제적인 인공지능·학습 분야 글로벌 학회로, 딥러닝 모델의 표현, 학습 및 최적화와 그 응용을 주로 다룹니다. 지난 5월 3일부터 7일까지 온라인으로 개최된 ICLR 2021에서 만날 수 있었던 다양한 논문 중 LG AI연구원의 두 연구원이 직접 참관하여 인상 깊게 본 논문을 소개합니다. - 1편: 현실 문제를 풀기 위한 강화학습 연구 - 박영준님 - 2편: ICLR 2021 속 Generative model 트렌드 - 윤상휴님

ICLR 2021는 지난 5월 3일부터 7일까지 온라인 학회로 열렸습니다. 온라인으로 참관할 수 있어 시차에 적응할 필요도 없고, 원하는 시간에 편하게 발표를 들을 수 있었지만 오프라인 학회가 주는 현장감과 맞바꾸기에는 아쉬움이 있었습니다. 저는 ICLR 2021에선 평소 관심 있는 주제인 강화학습 관련 연구 발표를 위주로 들었는데요. 전반적으로 논의되는 주제를 파악하기 위해 이번 학회에서 채택된 논문의 키워드를 워드 클라우드로 시각화했습니다. 강화학습 전반에 걸쳐 매우 다양한 주제로 논문이 발표되었는데, 1년 전 ICLR 2020과 비교해 보면 Robotics, Goal reaching 등 로봇 제어 관련 연구가 상대적으로 증가한 것을 알 수 있었습니다. 이는 최근의 강화학습 연구가 게임에만 머무르지 않고 산업적 활용 가능성이 있는 분야에서 활발하게 진행되고 있음을 보여줍니다.

ICLR 2021 강화학습 논문 키워드 워드 클라우드

이런 최근의 트렌드를 반영하여 ‘현실 문제를 풀기 위한 강화학습’을 주제로 발표된 연구를 선정하여 정리했습니다. 강화학습은 연속적인 의사 결정 문제를 푸는 유용한 도구임에도 불구하고 아타리(Atari) 게임 같은 시뮬레이션 환경을 벗어나 실제 문제에 적용하는 데는 다른 기계학습 기법과 마찬가지로 많은 어려움이 있습니다. ICLR 2021에서도 이런 어려움을 해결하기 위한 많은 연구들이 발표되었는데 그 중에 보상(reward)이 적어서 학습이 어려운 문제를 해결하기 위한 1) 비지도 강화학습(Unsupervised Reinforcement Learning) 그리고 이미지 같은 visual input으로 observation이 주어지는 경우 학습 효율이 저하되고 강건하지 못한 한계점을 극복하기 위한 2) 자기 지도를 통한 강화학습(Reinforcement Learning with Self-Supervision) 두 개의 연구 주제를 중심으로 논문을 선정했습니다.

1. Unsupervised Reinforcement Learning ■ Mutual Information State Intrinsic Control (Zhao et al., 2021)[5] ■ SMiRL: Surprise Minimizing Reinforcement Learning in Unstable Environments (Berseth et al., 2021)[2] 2. Reinforcement Learning with Self-Supervision ■ Learning Invariant Representations for Reinforcement Learning without Reconstruction (Zhang et al., 2021)[4] ■ Self-Supervised Policy Adaptation during Deployment (Hansen et al., 2021)[3]

선정한 논문 리스트

1. 비지도 강화학습(Unsupervised Reinforcement Learning)

현실 세계의 연속적 의사 결정 문제를 풀 때 보상을 정의하기 어렵거나 너무 추상적인 경우가 있습니다. 예를 들어, 로봇 팔을 움직여 물건을 집는 법을 학습시키기 위해 가장 쉽게 생각할 수 있는 보상 방법은 Pass/Fail 방식으로 로봇이 물건을 성공적으로 집었을 때 1 아니면 0을 부여하는 것입니다. 하지만 이런 방식으로 부여한 보상을 통해 학습하는 로봇은 간단한 것처럼 보이는 동작도 배우기 어렵습니다. 왜냐하면 문제의 결과에 대한 보상은 명확하지만 풀이 과정에서 피드백을 받지 못해 학습이 쉽지 않기 때문입니다. 만약에 로봇이 케냐AA 원두로 핸드드립 커피를 내리는 것처럼 복잡한 태스크를 수행해야 하는데 여전히 Pass/Fail 방식으로 보상을 받는다면 학습은 거의 불가능할 것입니다. 이 문제를 해결하는 방법 중에 하나가 풀이 과정에 대한 피드백을 사람이 보상 함수로 잘 설계하는 것(Reward Engineering)입니다. 하지만 학습을 잘 시킬 수 있는 좋은 보상 함수를 찾는 것은 태스크가 복잡해질수록 어려워지며, 잘 찾는다고 해도 도메인 지식에 종속되어 다른 비슷한 문제에 쉽게 적용할 수 없는 한계를 가집니다. 이 때문에 사람의 지식이나 노동을 최소화하는 최근의 AI 연구 추세를 생각하면 우리가 지향할 방향은 아닙니다.

강화학습 분야에서는 이처럼 학습하는데 보상에 대한 정보가 부족한 경우를 해결하기 위한 연구가 폭넓게 수행되고 있는데 비지도 강화학습(Unsupervised Reinforcement Learning)도 이 중 하나입니다. 이름에서 짐작할 수 있는 것처럼 비지도 강화학습은 보상이 전혀 주어지지 않는 상황에서 에이전트(예: 로봇)가 의미 있는 행동을 학습하는 것을 목표로 합니다. 무엇을 학습하는 것인지 설명이 모호하지만, 만약 보상 없이 학습한 에이전트가 단순한 행동을 의미 없이 무작위로 반복하는 것이 아니라 어떤 태스크를 수행할 때 할 법한 유용한 행동을 한다면 이것만으로도 로봇이 무언가를 스스로 학습할 수 있다는 중요한 의미를 갖습니다. 뿐만 아니라 이렇게 배운 행동은 초기 딥러닝 연구에서 pre-trained 모델을 fine-tuning하여 사용하는 것처럼 Pass/Fail 보상만 주어지는 상황에서 복잡한 태스크를 보다 쉽게 학습할 수 있게 하는 중요한 역할을 합니다.

그렇다면 어떻게 보상 없이 유용한 행동을 학습시킬 수 있을까요? 이 질문에 답하기 위한 많은 연구가 진행되고 있는데 이들 연구의 핵심 아이디어는 특정 태스크와는 무관한, 보다 근본적인 학습의 동기를 성취하게 하는 것입니다. 이를테면 호기심은 무언가를 학습하는 데 중요한 동기가 될 수 있고, 호기심을 채우기 위한 행동을 장려하면 이 과정에서 유의미한 행동을 학습하게 된다는 것입니다. 당연히 호기심 말고도 다양한 학습의 동기가 있을 수 있으며 뇌과학이나 인지심리학으로부터 영감을 받거나 주어진 환경의 고유한 특성을 잘 극복할 수 있게 하는 등 동기부여를 어떻게 하는지에 따라 다양한 연구가 있을 수 있습니다. 아래에는 이번 ICLR 2021에서 소개된 비지도 강화학습 연구 두 편을 선정하여 각각의 논문에서 어떤 학습 동기를 제안했는지를 중점으로 정리했습니다.

■ Mutual Information State Intrinsic Control (Zhao et al., 2021)^[5]

문제 상황

《Mutual Information State Intrinsic Control(MUSIC)》 논문에서는 물건을 집거나 옮기는 것과 같이 로봇과 사물간 상호작용하는 환경에서 사용할 수 있는 비지도(Unsupervised) 학습 기법을 제안했습니다. 저자는 사람이나 동물이 자기 자신의 신체와 주변을 구분하여 인지할 수 있다는 점에 착안하여 로봇(에이전트)의 상태와 주변 상태를 분리하여 둘 사이의 연관성을 높이는 방향으로 학습할 수 있는 목적함수를 제시했습니다. 때문에 에이전트와 주변 상태가 별개의 벡터로 명시적으로 분리되어 관측할 수 있는 환경에서 적용할 수 있는 기법입니다.

아이디어

논문의 저자는 아래와 같이 에이전트의 상태(S^S)와 주변 상태(S^α) 사이의 Mutual Information(I)을 최대화하는 학습 방법을 제안했습니다.

여기서 두 확률변수의 종속성을 측정하는 I 는 각 확률변수의 명시적인 확률 분포를 알아야 계산할 수 있기 때문에 이를 해결하기 위해 신경망 모델을 이용하여 근사값으로 계산할 수 있는 방법 MINE(Belghazi et al., 2018)^[1]을 이용했습니다. 따라서 에이전트는 아래 그림과 같이 행동을 결정하는 Policy 신경망과 Mutual Information을 산출하는 신경망을 각각 학습합니다. 특히 Policy 신경망은 보상을 대신하여 앞서 설명한 I_Φ (S^S;S^α)를 이용해 간단하게 학습할 수 있습니다. 

MUSIC 학습 알고리즘

실험 결과

로봇 팔과 사물간의 다양한 상호작용 태스크에 대한 시뮬레이션 환경에서 Pass/Fail 같이 적은 보상이 주어지는 경우 제안하는 비지도 학습(Unsupervised Training) 기법이 얼마나 효과적인지 확인했습니다. 이 실험에서 로봇 팔의 상태를 S^a로 대상 물체의 좌표를 S^s로 정의했습니다. MUSIC을 활용하는 방식에 따라 pre-training 후 태스크 보상으로 fine-tuning하는 경우(-f), I 를 기준으로 Prioritized Experience Replay(PER)를 이용한 경우(-p), I 와 보상의 합을 이용해 학습하는 경우(-r) 세 가지 방식과 베이스 모델(DDPG, SAC)의 성능을 비교했습니다. 이 중 I 와 보상의 합을 이용한 경우(-r)가 성능이 가장 좋았지만 보상을 전혀 사용하지 않고도 높은 I 를 반복적으로 학습시키는 PER가 상당한 성능을 보여주는 것이 돋보입니다. 결국 사물을 대상으로 수행하는 태스크에서는 에이전트와 대상 물체 사이의 연관성이 높은 행동이 유용하며 이렇게 학습한 행동은 특정 태스크를 수행하는 데 큰 도움이 되는 것을 확인했습니다.  

보상이 희소한 환경에서 MUSIC을 활용하는 방식에 따른 성능 비교

결론 및 한계점

MUSIC에서는 행동의 주체가 되는 로봇 팔과 객체가 구별된 환경에서 명시적인 보상 없이 둘 사이의 Mutual Information을 최대화하여 유용한 행동을 학습할 수 있음을 보여주었습니다. 만약 상태가 이미지로 주어지는 경우 에이전트와 물체가 뒤섞여 둘 사이를 구별할 수 없기 때문에 적용이 어려울 수 있습니다. 이처럼 주체와 객체 하나의 상태 벡터로 얽혀있는 것을 Semantic Segmentation이나 Object Detection을 통해 스스로 풀어서 학습할 수 있는 방법을 고민해 보는 것도 흥미로운 연구가 될 것 같습니다.

■ SMiRL: Surprise Minimizing Reinforcement Learning in Unstable Environments (Berseth et al., 2021)^[2]

문제 상황

SMiRL에서는 특정한 문제 상황을 가정하고 비지도 강화학습(Unsupervised Reinforcement Learning) 방법을 제시합니다. 저자는 상황이 계속 변해서 항상성을 유지하는 것이 중요한 목표가 되는 불안정한 환경을 제시했습니다. 만약 에이전트가 환경 변화에 잘 대처하지 못하면 실패하게 되는 상황으로 테트리스 게임을 생각하면 이해가 쉽습니다. 테트리스에서는 화면 상단에서 계속해서 블록이 떨어지는데 이 블록들을 잘 처리하지 못하면 결국 실패하고 맙니다. 그래서 저자는 상태를 최대한 정적으로 유지할 수 있도록 에이전트를 학습시키면 불안정한 환경에서 유용한 행동을 수행할 수 있다고 보았습니다.

아이디어

환경의 불안정성을 최소화하기 위해 먼저 불안정의 정도를 측정하는 척도로 상태의 엔트로피를 활용했습니다. 확률 분포 관점에서 엔트로피는 모든 상태의 확률이 동일할 때 가장 높고, 특정 상태의 확률이 커질수록 낮아집니다. 그렇기 때문에 엔트로피를 최소화하는 방향으로 에이전트를 학습하면 가능한 특정 상태에 머물 수 있도록 행동을 학습시킬 수 있습니다.

위의 식에서 d^π_Φ(s_t)는 Policy π_Φ로 행동을 했을 때 상태의 Marginal 분포인데 실제로는 활용하기 어렵기 때문에 학습하는 동안 수집한 상태의 분포 p_θt-1(s_t)를 대신해서 사용합니다. SMiRL에서 에이전트는 보상함수로 logp_θt-1(s_t)을 이용하여 학습하는데 확률분포를 구하기 어려운 경우 신경망 모형으로 확률 밀도를 근사할 수 있는 VAE를 활용할 수 있습니다. 목적식을 VAE 관점에서 보았을 때 관측한 상태의 likelihood를 크게 하려면 에이전트는 VAE가 낯선 상태를 최대한 만나지 않게 해야 합니다. 즉 상태의 항상성을 유지하는 방향으로 학습하는 것입니다.   

SMiRL 학습 개요

실험 결과

불안정한 환경에서 제안하는 기법의 효과를 검증하기 위해 저자는 테트리스와 슈팅 게임 vizDoom을 선택했습니다. 계속해서 상태가 변화하는 테트리스의 특성처럼 vizDoom에서도 상대방이 먼저 다가와 공격하는 시나리오를 고려했습니다. 아래의 실험 결과는 테트리스와 DefendTheLine 시나리오에서 SMiRL을 이용해 보상 없이 학습한 경우 실제 환경이 부여하는 보상을 이용한 학습보다 높은 성능을 보여줍니다. 이 말은 사람이 정의한 보상보다 엔트로피를 낮추는 것이 해당 문제를 푸는데 더 적합한 피드백임을 의미합니다. 또한 환경이 제공하는 보상이 에이전트를 학습시키기 부족한 경우에도 제안하는 목적함수를 함께 이용하여 성능이 개선되는 것도 다른 시나리오에서 확인 가능합니다. (그래프의 Y축이 망소/망대인지 유의해서 봐야 합니다.)

불안정한 환경에서 SMiRL의 학습 성능 비교

두 번째 실험 결과는 항상성을 추구하는 SMiRL과 새로움을 추구하는 목적식을 함께 이용할 때 보다 어려운 태스크도 잘 수행할 수 있음을 보여줍니다. 아래 그림은 빨간색 삼각형이 추격해오는 파란색 원을 피해서 이동해야 하며, 녹색으로 표시된 문을 통과하면 안전하게 있을 수 있는 환경입니다.

이 상황에서 항상성만을 추구하는 SMiRL을 이용해 학습하면 녹색 문을 통과하지 못하고 계속해서 파란색 원에 쫓기는 상황에 놓입니다. 하지만 SMiRL의 목적과 반대되는 새로움을 추구하는 목적식을 함께 이용하면 에이전트의 탐색적 행동이 강화되어 보다 나은 행동이 도출되는 것을 아래 시간에 따른 에이전트의 행동과 당시의 보상 함수(logp_θt-1(s_t))를 함께 비교함으로써 확인할 수 있습니다. 앞서 소개한 결과 이외에도 다양한 환경에서 학습한 에이전트가 어떻게 행동하는지 아래 링크에서 확인할 수 있습니다. (SMiRL - Google Sites: https://sites.google.com/view/surpriseminimization/home)

항상성 유지와 탐색적 성향 조합에 따른 효과

결론 및 한계점

SMiRL은 불안정한 환경에서 항상성을 유지하는 행동을 학습시킬 수 있도록 상태의 엔트로피를 최소화하는 기법을 제안합니다. 저자가 제시한 불안정한 환경에서는 의도한 대로 에이전트가 잘 행동하지만 보다 장기적인 관점에서 최적의 행동을 학습해야 하는 경우 항상성 유지만으로는 부족하고 에이전트의 탐색을 장려할 수 있는 부가적인 목적식이 필요했습니다. 논문에서는 다루지 않았지만 환경에 따라 상반되는 두 목적함수 사이의 균형이 이슈가 될 수 있을 것 같습니다. Open Review에서 논의된 내용 중 재미있는 코멘트가 있어서 언급하면, 로봇이 항상성을 유지하기 위해서 학습하면 스스로의 시각 정보를 차단하기 위해 방에서 불을 끄고 있는 상황이 벌어지지 않겠느냐는 지적이 있었습니다. 이런 부분까지 고려한다면 에이전트가 무엇을 추구해야 하는지 목적함수에 대해 많은 고민을 해야 할 것입니다.

 

2. 자기 지도를 통한 강화학습(Reinforcement Learning with Self-Supervision)

최근 몇 년 간 강화학습에서는 로봇 제어 문제를 포함한 다양한 상황에서 에이전트가 픽셀 이미지를 관측하는 것을 가정한 연구가 많아졌습니다. 초기 연구에서는 주로 로봇 팔 관절의 각도 등 잘 정의된 상태 벡터를 이용하여 학습했다면, 최근에는 사람이 시각 정보로 주변 상황을 인지하고 행동하는 것처럼 컴퓨터 비전 기술을 이용해 픽셀로 구성된 이미지로 행동을 학습하는 연구가 활발하게 진행되고 있습니다. 픽셀 이미지를 활용하면 현실의 다양한 태스크를 보다 쉽게 정의할 수 있는데요. 예를 들면 로봇 팔로 물건을 옮기는 태스크의 경우 로봇 팔의 위치와 손가락의 굽혀진 정도, 물건 위치 같은 정보를 하나하나 정의하는 것이 아니라 카메라에 찍힌 로봇 팔과 물건을 포함한 주변 상황을 이미지만으로 학습할 수 있게 됩니다. 하지만 문제를 정의하는 방식이 쉬워진 만큼 학습하기 어려워진다는 단점이 있죠. 우선 이미지 안에는 주변 배경과 같이 태스크를 학습하는 데 필요 없는 정보가 뒤섞여 있어, 어떤 정보가 학습에 필요한 핵심 정보인지 파악하기 어렵습니다. 또한 실시간으로 상태를 입력 받아 행동을 결정하는 정책 신경망(Policy Network)은 이미지를 처리하기 위한 Convolutional Neural Network와 End-to-end 방식으로 연결되어 크기가 방대해지기 때문에 이를 적은 양의 데이터 혹은 경험으로 학습하기 어렵습니다.  

큰 구조의 신경망을 잘 학습시키는 것은 지금까지도 활발하게 연구되고 있는 기계학습 분야의 주된 관심사 중 하나입니다. 여러 가지 솔루션이 제시되었지만 그 중에서도 많은 연구에서 사전에 잘 학습시켜 놓은 모델을 사용하는 것이 효과적이었습니다. 특히 컴퓨터 비전의 경우에는 100만 장 이상의 이미지로 구성된 ImageNet 데이터로 학습한 Convolutional Neural Network가 많이 활용됩니다. 2차원 격자 구조의 픽셀 이미지로부터 정보를 추출하고 가공하는 원리 자체는 비슷하기 때문에 이런 접근이 효과적이었을 것입니다. 하지만 특정 태스크나 데이터가 ImageNet 데이터와 많이 다른 경우에도 잘 동작한다는 보장을 할 순 없습니다. 이런 한계를 극복하기 위해 입력 데이터가 자기 자신을 활용한 새로운 태스크를 풀어서 우리가 풀고자 하는 태스크를 해결하는 자기 지도 학습(Self-Supervised Learning, SSL)이 제안되었습니다. 이를테면 다양한 방식으로 변형한 두 이미지가 사실은 같은 이미지인지 아닌지를 구별하는 태스크를 잘 수행한다면 해당 이미지를 활용한 다른 태스크도 잘 수행할 수 있다는 원리입니다. SSL 연구는 크게 이미지를 변형하는 방법과 같은 이미지와 다른 이미지 그룹을 어떻게 정의할지에 대해 주로 다룹니다.

컴퓨터 비전과 결합한 강화학습 문제에도 SSL를 효과적으로 사용할 수 있습니다. 이미지 분류나 객체 탐지 등의 컴퓨터 비전에서 다루고 있는 태스크는 서로 다른 두 이미지의 공통점과 차이점을 파악하는 기능이 관건인데 강화학습에서 어떤 기능이 도움되는지 활발하게 연구 중입니다. 이번 ICLR 2021에서 소개된 강화학습에 사용된 SSL 연구 논문 두 편을 선정해 각각의 논문에서 어떻게 SSL 태스크를 정의하는지를 중점으로 정리했습니다.

■ Learning Invariant Representations for Reinforcement Learning without Reconstruction (Zhang et al., 2021)^[4]

문제 상황

자동차를 운전한다고 생각해보면, 우리는 눈으로 주변의 많은 정보를 받아들이지만 그 중에 반드시 필요한 정보는 자동차, 도로 정보 정도로 꼽을 수 있습니다. 주변의 수많은 풍경에 집중할 필요가 없으며 오히려 필요 이상의 관심을 두는 경우 사고로 이어질 수 있습니다. 여기서 소개할 연구는 이점에 착안하여 이미지 형태로 주어진 상태에서 에이전트가 태스크를 수행하는데 필요한 부분과 불필요한 부분을 스스로 선별할 수 있게 학습하는 방법을 다룹니다. 의도한 대로 잘 학습한 경우 아래 그림에서처럼 주변 배경이나 작은 디테일에서 차이가 있더라도 자동차 운전 관점에서 비슷한 상태는 Latent Space에서 가까이 위치하게 됩니다. 반면에 배경을 포함한 대부분의 상태가 비슷하더라도 핵심이 되는 부분이 다르면 Latent Space에서 멀리 떨어지게 될 것입니다.

아이디어

본 연구에서는 픽셀로 구성된 상태에서 태스크와 관련성 높은 정보를 우선적으로 선별해서 Latent Space상에 표현할 수 있는 Encoder를 제안했습니다. 잘 학습된 Encoder는 이미지 상에 어떤 부분이 핵심 영역인지 우리에게 알려줄 수는 없지만 스스로 핵심 영역에서의 유사도를 기준으로 유사한 상태와 그렇지 않은 상태를 구별할 수 있을 것입니다. 그래서 저자는 유사한 상태와 그렇지 않은 상태를 구별하는 능력을 학습시키기 위해 SSL을 이용했습니다. 특히 컴퓨터 비전에서 주로 사용하는 이미지 증대(Image Augmentation)를 사용하여 상태의 픽셀 유사도를 학습시키는 것이 아니라 강화학습 관점에서 두 상태가 얼마나 비슷한지 측정할 수 있는 Bisimulation Metric를 차용했습니다.

위의 정의에서 W₁은 Wasserstein Metric으로 두 확률 분포 상의 거리를 측정합니다. 이 정의는 임의의 두 상태 사이의 거리를 계산하는데 픽셀 수준의 유사도가 아니라 당시 받았던 보상이 얼마나 다른지 그리고 상태 전이가 얼마나 다른지를 기준으로 한다는 것을 알려줍니다. 이를 바탕으로 어떤 두 상태의 거리를 파악할 수 있는 신경망을 아래와 같이 제안했는데 복잡해 보이지만 크게 보면 Encoder - Dynamic model – Reward model이 쌍으로 존재하는 Siamese 신경망과 유사한 구조입니다. 다만 Bisimulation Metric을 계산하는데 필요한 보상과 상태 전이 확률 분포를 얻기 위해 각각 Reward model과 Dynamic model이 추가된 형태입니다. 에이전트의 행동을 결정하는 Policy는 아래 구조에서 다음 상태를 결정하는 Dynamic model에 행동을 입력하는 데 활용됩니다.

Encoder 구조

실제 학습은 Policy, Encoder, Dynamic model을 각각 순서대로 수행합니다. 그 중 Policy는 Soft Actor Critic(SAC)을 이용했는데 원래 이미지를 Encoder를 통해 변환한 벡터를 이용해 학습합니다.

실험 결과

제한하는 기법이 이미지 형태의 상태에서 태스크와 관련성 있는 핵심 영역을 잘 추려내서 학습했다면 정적인 배경이 아니라 수시로 바뀌는 배경에서도 잘 학습할 수 있다는 점을 보였습니다. 아래 그림에는 DeepMind Control suite를 활용한 3x3 환경의 예시 이미지와 이에 대응하는 9개의 실험 결과를 표시했습니다. 맨 윗줄에는 뒷배경이 정적인 원래의 환경을 사용했는데 저자가 제안한 방법이 Reconstruction이나 다른 SSL 기반의 방법과 비교해 큰 차이가 나지 않았습니다. 하지만 학습하는 동안 배경이 계속 변화하고 그 정도가(가운데 줄은 예측 가능한 배경 전환, 맨 아랫줄은 태스크와 전혀 무관한 실제 비디오) 변화무쌍해질수록 저자가 제안하는 기법이 다른 방법을 능가하는 성능을 보여주었습니다. 특히 Reconstruction을 위해 큰 모델을 사용해야 하는 Autoencoder를 사용하지 않고도 높은 성능을 달성했다는 점이 주목할 만합니다.

배경 변화 정도에 따른 여러 가지 기법들의 성능 비교

두 번째로 소개할 결과는 저자가 제안한 Encoder가 중요한 정보만을 고려해서 Latent Space상에 매핑을 잘 하고 있는지 VAE로 비교한 실험입니다. 가운데 동작은 같지만 배경이 다른 두 상태가 왼쪽의 저자가 제안한 Encoder는 거의 동일한 위치를 갖는 반면 오른쪽의 VAE에서는 그렇지 못한 것을 알 수 있습니다. VAE는 중요 정보를 파악하지 못해 픽셀 유사도만으로 매핑하기 때문입니다.

결론 및 한계점

이미지를 활용해 상태를 표현하는 경우 필연적으로 핵심이 되는 부분과 그렇지 않은 배경이 섞여 있을 수 밖에 없습니다. 저자는 이를 구별할 수 있는 Encoder를 통해 태스크를 수행하는 데 필요한 주요 정보를 선별하여 학습할 수 있는 기법을 제안했습니다. 배경 정보가 수시로 변해서 주요 정보가 희석될 수 있는 상황에서 제안된 기법은 잘 학습할 수 있지만 정적인 상황에서는 다른 기법에 비해 다소 떨어지는 성능을 보이고 있습니다. 즉 저자가 제시한 기법이 정적인 환경에서도 잘 학습할 수 있도록 개선할 여지가 있습니다. 그렇게 되면 지금과 같이 상황마다 성능의 편차가 클 경우 배경 변화를 사람이 판단해서 학습 방식을 정해야 하는 한계를 극복할 수 있습니다.

■ Self-Supervised Policy Adaptation during Deployment (Hansen et al., 2021)^[3]

문제 상황

강화학습으로 잘 학습한 모델을 테스트 환경에 적용했을 때 학습한 환경과 조금이라도 다른 부분이 있으면 제 성능을 발휘하지 못하는 경우가 많습니다. 특히 이미지를 활용한 강화학습에서는 배경 같이 별로 중요하지 않은 부분에서의 변화가 테스트 환경에서의 성공을 방해하는 큰 장애물이 됩니다. 이 논문은 앞서 다룬 논문과 유사한 문제를 다루고 있습니다. 다만 이 논문은 잘 학습한 에이전트를 배경 같이 태스크와 무관한 부분에서 변화가 있는 테스트 환경에 빨리 적응할 수 있는 기법을 연구했습니다. 여기서 ‘적응’은 테스트 환경에서의 추가적인 학습을 의미합니다.

아이디어

잘 학습한 에이전트를 달라진 환경에 빨리 적응시키기 위해 아래의 그림과 같이 일반적인 강화학습에 더해 SSL 모듈을 추가했습니다. 추가한 SSL 모듈은 에이전트가 테스트 환경에서 이전에 경험해보지 못한 상태 변화도 별도의 보상 함수 없이 지속적으로 학습할 수 있게 하여 적응을 돕습니다. (덧붙이자면, 학습과 테스트 시 풀어야 하는 태스크가 달라지는 것은 아닙니다.) 배경 같이 환경이 새롭게 달라지는 부분이 있더라도 환경의 다이내믹스와 같이 변하지 않는 부분이 있기 때문에 이를 잘 학습할 수 있도록 하기 위한 SSL 기법을 제안했습니다.

SSL을 활용한 학습/테스트 환경 적응 방법

환경의 다이내믹스를 학습시키기 위해 저자는 {s_t, a_t, s_t+1}의 순서로 발생하는 시퀀스에서 s_t와 s_t+1로 이어지는 상태 변화의 원인이 되는 행동 a_t를 예측할 수 있도록 아래의 손실 함수를 정의했습니다.



위 식에서 π_e는 Feature extractor로 이미지를 처리하는 신경망으로 강화학습으로 학습하는 Policy와 SSL 모듈을 공유합니다. 그리고 강건한 이미지 처리를 학습시키기 위해 상태를 90도 단위로 회전시킨 이미지를 입력하여 몇 도로 회전된 상태인지 맞출 수 있는 SSL 태스크를 추가하여 실험을 진행했습니다

실험 결과

잘 학습한 강화학습이 배경변화나 노이즈에 의해 얼마나 취약한지 그리고 저자가 제안한 SSL 기법이 이를 얼마나 극복할 수 있는지 검증하기 위해 로봇 팔을 제어하는 시뮬레이션과 실제 로봇을 이용해 실험했습니다. 아래 그림은 노란색 상자를 빨간 점으로 옮겨야 하는 태스크를 시뮬레이션 환경에서 학습시켜 실제 로봇이 잘 동작하는지 확인하는 내용입니다. 그런데 테이블에 바둑판처럼 선을 긋거나 요란한 조명을 비추면 기존의 학습 방법으로는 로봇이 잘 동작하지 못합니다. 하지만 새로운 환경에 적응하기 위해 SSL로 계속 학습을 진행하는 제안 기법은 이런 상황에서도 잘 동작하는 것을 확인할 수 있습니다. 실험 결과는 Nicklas Hansen의 웹사이트에서 (https://nicklashansen.github.io/PAD/)에서 영상으로 확인할 수 있습니다.

두 번째 실험 결과는 뒷배경이 정적으로 바뀌는 것이 아니라 계속해서 바뀌는 Nonstationary 상황에서 제안 기법을 검증했습니다. 마찬가지로 위 사이트에서 영상으로 결과를 확인할 수 있는데 배경이 계속해서 변해서 원래의 환경에서 잘 학습한 에이전트가 어려움을 겪는 환경입니다. 여기서 이미지 회전과 같이 순수하게 컴퓨터 비전 관점에서 SSL을 활용하는 다른 기법에 비해 강화학습에서 중요한 역할을 하는 환경의 다이내믹스를 함께 학습하는 제안 기법이 효과적이었습니다.




결론 및 한계점

이 논문에서는 이미지를 활용한 강화학습이 학습 환경과 다른 테스트 환경에서 제 성능을 발휘하지 못하는 한계를 극복하기 위해 환경의 다이내믹스를 학습할 수 있는 SSL 기법을 제안했습니다. 사실 아이디어나 실험 결과가 좋아서 논문을 보고 한계점이 떠오르지는 않았습니다. 다만, 이 연구를 확장할 수 있는 관점에서 의견을 더하자면 지금까지 태스크가 동일한 상황에서의 적응을 다뤘다면 태스크가 다른 상황에서도 Meta Learning 아이디어를 활용하면 성과를 낼 수 있지 않을까 추측해 봅니다.

 

현실 문제에 한 발 더 가까이

실제 세계의 많은 문제가 연속적인 의사 결정 문제로 표현될 수 있는 만큼 강화학습은 다양한 분야에 활용될 수 있지만 정작 많은 부가가치를 창출할 수 있는 산업계에 성공적으로 적용된 사례를 찾아보긴 어렵습니다. 아무래도 현실 문제에는 다양한 어려움이 산재되어 있고 또 이들이 복합적으로 얽혀있어 간단한 적용으로 한 번에 해결하는 것이 쉽지 않기 때문입니다. 그래서 연구자들이 문제를 작은 단위로 분해하여 제한적이지만 유용한 솔루션을 도출하는 과정이 의미가 있으며, 이를 통해 현실 문제를 해결하는 실마리를 얻을 수 있을 것입니다.

이번 참관 후기에선 강화학습이 현실 문제를 푸는 데 필요한 연구라는 공통점으로 비지도 강화학습 (Unsupervised Reinforcement Learning)과 자기 지도를 통한 강화학습(Reinforcement Learning with Self-Supervision) 두 가지 연구 주제와 관련된 논문을 리뷰해 보았습니다. 각각의 논문에서 다루고 있는 한정된 문제 상황에서 도출된 의미 있는 솔루션을 확인했지만 동시에 예상할 수 있는 한계점도 생각해 볼 수 있었습니다. 이런 기존 연구의 한계점이 또 다른 연구의 출발선이 되기를 희망하며 저 역시 더 열심히 연구해야겠다고 다짐하게 되었습니다. 이 곳 LG AI연구원에서는 다양한 산업군의 계열사로부터 많은 현실 문제 상황을 접할 수 있습니다. 이런 환경적 이점과 ICLR 2021 학회에서 느끼고 배운 점을 활용하여 현실 문제에 한 발 더 다가간 강화학습 연구에 기여하겠습니다.