[AAMAS 2024] Multi-Agent Reinforcement Learning for Real-World Application (2편)

1편에서는 Multi-agent reinforcement learning (MARL)을 현실 문제들에 적용한 사례와 연구에 대해 살펴보았습니다. AI 모델이 현실 문제 해결에 활용될 수 있다는 가능성은 충분히 보여주었으나, 여전히 현실에 적용할 때는 고려해야 할 점이 많습니다. 비용 최적화를 위해 에이전트들의 학습을 더 효율적으로 만들 수는 없을까요? 만약 에이전트들과 상호작용할 수 있는 시뮬레이터를 개발하기 어렵다면 어떨까요? 산업 현장에서 방대하게 축적되고 있는 데이터들을 어떻게 활용할 수 있을까요? 본 포스팅에서는 AAMAS 2024에서 발표된 연구들 중 이러한 고민들을 다루고 있는 총 3편의 논문들을 알아보겠습니다.

Multi-Agent Reinforcement Learning for Real-World Application 시리즈 1편 Data Intelligence Lab 윤든솔 님 (Link) 2편 Data Intelligence Lab 홍성훈 님 (본 글)

 

1. Agent-Oriented Centralized Critic for Asynchronous Multi-Agent Reinforcement Learning^[1]

1편에서 소개해 드린 NCC 스케줄링 최적화 문제와 같이 현실에서는 에이전트마다 행동의 지속시간이나 시작시점이 다를 수 있습니다. 이러한 문제들은 Asynchronous MARL로 접근하는데, 기존 연구들은 주로 어떻게 비동기적으로 수집된 데이터를 처리할지 고민하고 방법을 제시했습니다. 이러한 맥락에서 LG AI연구원은 본 연구를 통해 더 효율적으로 학습하는 새로운 구조를 제안합니다.

Asynchronous MARL

많은 MARL 문제들은 각 에이전트들이 전체 상태(State) 중 일부만 부분적으로 관측할 수 있고 (Partially Observable) 이에 기반하여 행동한다고(Action) 가정하고, 실제 상태 대신 에이전트들의 관측(Observation) 또는 그의 히스토리(History)에 대한 가치 함수(Value Function)를 학습합니다. 이러한 학습 구조를 Centralized Training Decentralized Execution (CTDE) 라고 부르며 주로 행동을 결정하는 Decentralized Actor, 가치를 평가하는 Centralized Critic, 2가지 모델을 학습하는 것이 일반적입니다. 이와 마찬가지로 Asynchronous MARL에서도 동일한 구조를 활용할 수 있습니다.

본 연구에서는 구체적으로 Macro-action Decentralized Partially Observable Markov Decision Process (MacDec-POMDP)^[2]를 해결하고자 하는데, 이 문제는 각 에이전트가 길이가 다른 Macro-action을 수행하고, 관측도 Macro-action이 시작 또는 종료될 때만 가능하다고 가정하는 Asynchronous MARL 문제입니다. 일반적인 MARL 문제에서는 매 시점마다 각 에이전트의 최신의 관측이 기록되어 쉽게 히스토리를 구성할 수 있는 것과 달리, 이 경우에는 각 에이전트의 관측이 최신이 아닐 수 있기 때문에 어떻게 히스토리를 구성하여 가치 함수를 학습할지 고민이 필요합니다.

그림 1. Experience Replay Trajectories의 2가지 개념도^[1]

기존 연구에서는 Asynchronous MARL 문제에서 전체 에이전트들의 관측, 행동 기록(Experience Replay Trajectories, ERTs)을 기반으로 2가지 방식으로 히스토리를 구성할 수 있음을 제시합니다^[3]. 하나는 각 에이전트들의 Macro-action 시점을 기준으로 각자 독립적으로 히스토리를 구성하는 Mac-CERTs (Macro-action Concurrent ERTs), 다른 하나는 어떤 에이전트라도 새로운 관측이 발생할 때마다 히스토리에 포함되는 Mac-JERTs (Macro-action Joint ERTs) 입니다. Mac-CERTs는 에이전트마다 독립적으로 구성되기에 Decentralized Actor에 사용하고, Mac-JERTs는 전체 에이전트들의 종합적인 히스토리로 하여 이에 대한 가치 함수, 즉 Centralized Critic을 학습하는 방식이 이전 연구에서 제안됐습니다.

Agent-Oriented Centralized Critic

Mac-JERTs를 그대로 Critic의 입력으로 사용하게 되면 최신 관측이 없는 시점의 에이전트들의 기록도 함께 제공해야만 하기 때문에, 기존 방법에서는 가장 마지막 관측을 입력으로 대신하여 구성했습니다. 그러나, 이러한 방식은 시간이 지난 관측들이 중복되어 입력으로 구성될 수 있기에 히스토리를 적절하게 표현하지 못할 수 있습니다.

이에 본 연구에서는 Agent-Oriented Centralized Critic (AOCC)라는 새로운 구조를 제안했습니다. 이 구조는 크게 Agent-oriented History Encoder와 Aggregation Module로 구성됩니다. Agent-oriented History Encoder는 Mac-CERTs로 구성된 에이전트별 히스토리를 인코딩하고, Aggregation Module은 각 에이전트의 히스토리 인코딩들을 취합하는 역할을 합니다. 이 때, 단순히 Mac-CERTs로 구성된 히스토리만 사용하면 에이전트 간의 관측시점이 혼동될 수 있기 때문에, 각 시점에 대한 Positional Encoding을 입력에 추가합니다. 이렇게 만들어진 AOCC은 기존 연구의 Centralized Critic에서 중복된 관측이 들어가는 것을 피하고 더 효과적으로 히스토리를 구성하여 가치 함수와 행동 정책을 다음과 같이 학습합니다.

그림 2. (좌) Joint history 기반의 Centralized Critic (우) Agent-Oriented Centralized Critic 개념도^[1]

실험적으로도 널리 알려진 비디오 게임 “Overcooked”를 기반으로 하는 강화학습 환경에서 AOCC와 이전에 제안된 방법인 NIACC, IAICC를 비교했을 때, 학습 속도와 최종 성능에 있어서 AOCC가 좋은 성능을 보였습니다. 이는 Asynchronous MARL을 위한 학습 구조의 개선이 학습 성능에 영향을 미칠 수 있다는 것을 의미합니다.

그림 3. Asynchronous MARL 실험 결과 비교^[1]

지금까지 현실적인 조건의 Asynchronous MARL 방법의 효율성을 높이는 것에 대한 연구를 소개해 드렸습니다. 본 연구는 시뮬레이션 환경이 개발되어 있고 에이전트들이 사전정보없이 직접 환경과 상호작용하며 행동 정책(Policy)을 학습하는 경우에 해당합니다. 그런데, 현실에는 풀고자 하는 문제에 강화학습을 위한 시뮬레이터가 없을 수도 있습니다. 이런 경우에는 어떻게 해결할 수 있을까요? 다음에는 이러한 고민과 관련된 논문을 살펴보겠습니다.

2. A Model-Based Solution to the Offline Multi-Agent Reinforcement Learning Coordination Problem^[4]

산업 현장에서는 계속해서 시뮬레이션이 아닌 실제 현장에서 전문가가 행동한 데이터가 쌓이고 있습니다. 그렇다면 시뮬레이션 대신에 데이터를 활용하여 에이전트를 학습하면 어떨까요? 시뮬레이터 위에서 에이전트가 상호작용하며 학습하는 방식을 온라인 강화학습(Online RL), 시뮬레이션 없이 사전에 축적된 데이터 만을 사용하여 학습하는 방식을 오프라인 강화학습(Offline RL)이라고 합니다. 시뮬레이터를 확보하기 어려운 상황에서 오프라인 강화학습은 좋은 대안이 될 수 있습니다. 본 연구에서는 멀티 에이전트 문제에 대해 오프라인 강화학습을 확장하여 데이터만으로도 에이전트를 일정 수준 학습시키는 방법에 대해 제안합니다.

Offline Reinforcement Learning

오프라인 RL은 에이전트와 환경 간의 추가적인 상호작용, 즉 추가 데이터 수집 없이 과거에 축적된 데이터로만 에이전트의 행동 정책을 학습시키는 방법입니다. 여기서 일반적인 온라인 RL과의 가장 중요한 차이점은 에이전트가 자신의 행동 정책을 환경에 적용해 보고 새로운 피드백을 받는 것이 불가능하다는 것입니다.

일반적인 강화학습 알고리즘들은 새로운 행동과 상태를 경험하는 시행착오를 기반으로 고안되었습니다. 때문에 이를 오프라인 RL 문제에 단순히 적용하면 경험하지 못했던 상태, 행동에 대한 과대평가(Overestimation)로 인해 학습이 정상적으로 되지 않을 수 있습니다. 이러한 한계점을 보완하기 위해, 많은 오프라인 RL 알고리즘들은 데이터에서 본 적 없는 상태나 행동에 대해 행동 정책이나 가치 함수를 보수적으로 학습하는 것을 제안했습니다. 데이터에 있는 행동에 대해서는 가치를 높게, 새로운 행동들에 대해서는 가치를 낮게 평가하는 목표함수를 추가한 Conservative Q-Learning^[5], 데이터에 있는 행동을 모방하는 목표함수를 추가한 TD3+BC^[6]가 그 예입니다.

Offline Multi-Agent Reinforcement Learning

기존의 오프라인 RL 알고리즘들은 단일 에이전트를 학습시키는 경우에 과대평가 문제를 보완할 수 있음을 보여주었지만, 단순히 오프라인 MARL에 확장하기에는 한계가 있습니다. 본 연구에서는 크게 2가지의 문제점, 전략 합의(Strategy Agreement), 전략 미세조정(Strategy Fine-tuning)을 지적합니다. 단일 에이전트 문제와는 달리 멀티 에이전트 문제는 협력을 위해 여러 에이전트가 공통된 팀 전략에 대해 합의하는 동시에(전략 합의), 합의된 팀 전략에 따라 각자의 전략을 조정해야 합니다 (전략 미세조정). 온라인 MARL에서는 이러한 문제가 환경에서 수많은 시행착오를 통해 해결될 수 있지만, 오프라인 MARL에서는 여러 전략들이 파편화되어 기록된 한정된 데이터로만 학습해야 하기 때문에 올바른 팀 전략을 합의하고, 이에 따라 각자의 전략을 조정하는 것이 어렵습니다.

그림 4. 온라인과 오프라인 MARL의 비교^[4]

Model-Based Offline Multi-Agent PPO (MOMA-PPO)

본 연구에서는 이러한 추가적인 상호작용이 불가능하다는 것을 오프라인 MARL의 가장 큰 약점으로 지적합니다. 이를 해결하기 위해 환경 모델을 학습하고, 이를 기반으로 에이전트를 학습하는 방법을 대안으로 제시했습니다. 이렇게 환경 모델을 학습하여 강화학습에 활용하는 방법을 모델 기반 강화학습(Model-based RL)이라고 합니다. 여기서 환경 모델은 주어진 상태와 행동에 대해 다음 상태와 보상을 예측하는 모델을 의미합니다. 이 모델을 가지고 있으면, 실제 환경과의 상호작용 대신 가상의 환경과 상호작용하는 것이 가능해집니다. 가상의 환경 모델은 딥러닝으로 학습하는 만큼 실제 환경과 완벽히 동일한 결과를 줄 수는 없지만 여전히 추가적인 상호작용을 위한 좋은 대안이 될 수 있습니다.

데이터를 통해 환경 모델을 학습하고, 이 모델의 불완전성을 보완하는 몇 가지 장치를 두면 일반적인 온라인 RL 알고리즘을 적용하는 것이 가능합니다. 본 연구에서는 N개의 모델을 독립적으로 학습시킨 뒤, 이 모델들 간의 분산을 통해 모델의 불확실성(Epistemic Uncertainty)을 추정하고, 이를 이용해 예측한 보상에 불확실성에 비례하는 페널티를 더해주거나, 불확실성이 일정 기준보다 높은 상태로는 더 이상 전이(Transition)하지 않도록 막는 방법 등으로 보완합니다. 최종적으로, 단일 에이전트를 위해 고안된 RL 알고리즘인 PPO를 멀티 에이전트로 확장한 MAPPO 알고리즘을 통해 가상의 환경 모델 위에서 에이전트들을 학습시키는 방식, 즉 MOMA-PPO를 제안합니다.

그림 5. 오프라인 MARL 실험 성능 비교^[4]

본 연구에서 제안된 방법인 MOMA-PPO는 로봇 제어 등 여러 실험에서 기존 오프라인 MARL 방법들에 비해 좋은 성능을 보입니다. 이를 통해, 저자들은 오프라인 MARL에 있어 환경 모델 학습과 불완전성을 보완하는 방법, 그리고 안정적인 PPO 알고리즘 기반의 학습이 효과적이라고 제안합니다. 결론적으로 멀티 에이전트 상황에서 시뮬레이션 환경을 확보하기 어렵더라도 현실에서 축적한 데이터가 있다면 에이전트들을 일정 수준 이상으로 학습하는 것이 가능할 것으로 기대됩니다.

3. Improving Offline-to-Online Reinforcement Learning with Q-Ensembles^[7]

현실에서 AI 모델을 사용할 때 중요하게 고려해야 할 점은 바로 학습 효율성입니다. 특히, 최근 거대언어모델(Large Language Model, LLM) 등 학습에 천문학적 비용이 드는 방식이 주목받고 있는 가운데, 학습 효율성을 높이는 것은 중요한 문제입니다. 앞선 연구를 통해 환경과의 상호작용 없이도 과거에 축적해 둔 데이터를 이용해 일정 수준 이상의 에이전트를 학습시킬 수 있음을 보았습니다. 그렇다면 미리 사전 학습된 에이전트들이 환경과의 상호작용을 통해 추가 학습할 수 있다면 어떨까요? 이러한 Offline-to-Online RL 방식을 통해, 학습 효율성을 높이기 위한 방법론을 다루는 논문에 대해 살펴보겠습니다.

Offline-to-Online Reinforcement Learning

오프라인 RL은 제한된 데이터만으로 일정 수준의 에이전트를 학습하고, 온라인 RL은 환경과의 상호작용을 통해 최적 성능의 에이전트를 학습하는 방법론입니다. Offline-to-Online RL은 두 가지 방식의 RL을 결합한 형태로, 사전에 모아둔 데이터로 에이전트를 일정 수준으로 학습하고(오프라인 Pre-training), 이어서 환경과의 추가적인 상호작용(온라인 Fine-tuning)을 통해 최종 성능을 빠르게 높이는 방법입니다. 각각의 방법을 잘 연결만 하면 학습이 잘될 것 같지만, Distribution Shift 문제로 인해 여러 문제가 발생합니다. 이는 실제로는 데이터를 수집할 때 사용한 행동 정책의 수준이 천차만별이고, 실제 환경에서 새로 경험하는 상태, 행동과 차이가 있을 수 있다는 것을 의미합니다. 이로 인해 온라인 Fine-tuning 초반에 오히려 성능이 급격히 낮아지거나 학습속도가 느려지는 문제가 발생합니다.

Ensemble-Based Offline-to-Online Reinforcement Learning

본 연구에서는 Distribution Shift로 인한 문제가 앙상블(Ensemble) 기반의 가치 함수를 사용하는 것만으로도 크게 완화될 수 있음을 실험적으로 보입니다. 일반적인 강화학습에서는 가치 함수, 즉 Q함수를 1개 또는 2개 학습하여 상태, 행동의 가치를 평가하는데, 대신 그보다 많은 N개를 사용하여 적절히 조합하면 가치 함수가 더욱 안정적으로 학습되고 변동성이 크게 줄어듭니다. 따라서 Distribution Shift가 있더라도 성능 하락을 방지하고 학습이 빠르게 될 수 있습니다.

그림 6. 앙상블 적용 유무에 따른 성능 비교^[7]

그리고 여러 앙상블 기법 중 MinPair 방식이 가장 적합하다고 실험적으로 확인할 수 있습니다. 이 방식은 N개의 학습된 Q함수가 있을 때, 그중 임의의 쌍을 고르고, 그 중 최소값을 사용하는 방식을 의미합니다. 또한, 오프라인 사전학습 단계에서는 제한된 데이터에 대해서만 경험했기 때문에 온라인 학습 단계에서는 탐험(Exploration)을 더욱 강조할 필요가 있으며, 여러 탐험 전략 중 SUNRISE^[8]가 가장 효과적이라는 것을 실험적으로 보입니다. SUNRISE는 앙상블 기반 RL 알고리즘에서의 탐험 전략 중 하나인데, 여러 Q함수들에 대한 표준 편차(standard deviation)을 활용하여 Q함수의 학습을 안정화하고 에이전트가 아직 경험하지 않은 상태와 행동을 탐험하도록 하는 기법입니다.

1. Confidence weight에 비례하여 Q함수 업데이트:
   $L_{W}Q\left({\theta }_i\right)=w(s_{t+1},a_{t+1})\left(Q_{{\theta }_i}\right(s_t,a_t)-r_t-\gamma \overline{V}(s_{t+1}){)}^2$
   $,where a_{t+1}~\pi (a_t│s_t),w(s,a)=\sigma (-{\overline{Q}}_{std}(s,a\left)T\right)+0.5,T>0,\sigma is sigmoid function$

2. 불확실성이 높은 행동을 찾는 탐험 전략
   $a_t=\underset{a}{max}\left\{Q_{mean}\right(s_t,a)+\lambda Q_{std}(s_t,a)\}$
   
   

그림 7. (좌) 앙상블 기법에 따른 성능 비교 (우) 탐험 전략에 따른 성능 비교^[7]

이러한 방식들을 통합하여 본 연구에서는 E2O라는 방식을 제안하였고, 여러 벤치마크에서 뛰어난 성능을 보였습니다. 물론, 데이터를 활용한 사전 학습 없이 처음부터 학습하는 온라인 RL 알고리즘들에 비해 매우 빠른 학습 속도와 최종 성능을 보였습니다. 이렇듯 축적된 데이터를 활용한 뒤 추가학습까지 하면 매우 효율적으로 에이전트를 학습시킬 수 있다는 것을 알 수 있습니다.

그림 8. Offline-to-Online 성능 비교^[7]

Conclusion

지금까지 AAMAS 2024에서 발표된 연구들 중 강화학습을 현실 문제에 적용하기 위해 필요한 Asynchronous MARL, Offline MARL, Offline-to-Online RL연구에 대해 자세히 살펴보았습니다. 최근 강화학습에 대한 관심이 더욱 높아지는 가운데, MARL에 대한 연구도 함께 주목 받고 있습니다. 현실 문제를 다루기 위해서는 축적된 데이터 활용, 멀티 에이전트 간의 비동기성 등 여러가지 현실적인 조건들을 고려하는 것이 중요합니다. 아직 각각의 연구 분야에서도 개선할 점들이 많이 있지만, 각각의 기술을 발전시키고 더 나아가서 그들 간의 시너지를 이끌어낼 수 있다면 실제 산업 현장에서 그 효율성이 더 높아질 것으로 기대됩니다. 앞으로도 LG AI연구원은 실제 산업 현장의 목소리에 귀 기울이고 더 나은 삶을 위한 AI 기술 연구를 선도해 나겠습니다.

 

▶Agent-Oriented Centralized Critic for Asynchronous Multi-Agent Reinforcement Learning

▶Naphtha Cracking Center Scheduling Optimization using Multi-Agent Reinforcement Learning