[NAACL 2022] Language Models for Planning in Real-world Tasks

본 연구에서는 언어 모델이 텍스트 명령에서 일련의 중간 단계를 계획하는 데 유용하게 사용되는 상식(common-sense)을 인코딩할 수 있다는 사실을 확인했습니다. 이 관측에 기반하여 언어 모델의 in-context 학습 역량을 빌려 단 20개 정도의 training 예시만으로 계획 예측에 있어 70%의 높은 recall을 달성하는 방법론을 제시하였습니다. 이번 연구를 통해 상호 정보량에 따른 순위 기준을 적용하고, 환경에서의 상호작용 및 피드백을 통합할 때 관련 예측이 월등히 개선된다는 사실을 확인했습니다.

Introduction and Motivation

예를 들어, 가정용 로봇에게 커피 한 잔을 만들라는 기본적인 작업을 지시하는 경우를 생각해 보겠습니다. 이 경우, 로봇은 집 안을 돌아다니면서 다양한 객체와 상호작용을 하며 작업을 완수해야 합니다. 이는 로봇에게 텍스트 및 시각적 이해와 연상, 그리고 오랜 시간과 여러 단계에 걸친 정보에 대한 기억 등 다양한 추론 역량이 요구되는 쉽지 않은 작업입니다. 반면, 인간은 먼저 작업을 완수하기 위한 과정을 추상적으로 계획하고 이를 토대로 행동하는 방식으로 작업에 접근합니다. 이번 연구는 만약 인공지능 에이전트도 인간과 같은 계획 능력을 갖추게 할 수 있다면, 실제 작업을 더 성공적으로 수행할 수 있을 것이라는 생각에서 비롯되어 진행되었습니다.

이번 연구의 목표는 언어 모델이 사전에 학습한 상식을 사용하여 subgoal들을 추론하게 하는 것으로, 해당 언어 모델은 다음과 같은 항목을 수행할 수 있습니다.

• Supervision이 거의 없는 상태에서 작업 명령을 통해 subgoal들을 추론
• 각 객체의 행동유도성(affordance)을 추론
• Unseen subtasks를 포함하여, unseen instructions에 대한 체계적 일반화

이 연구는 subgoal planning 문제를 연구하는데 특히 중점을 두고 있습니다. 높은 수준의 작업 지침을 감안할 때, 연구의 목표는 전체 작업을 일련의 subgoals 또는 객체들과의 상호작용으로 나누고, 구현된 환경에서 해당 작업을 수행할 수 있는 모듈 에이전트 정책을 구축하는 것입니다.

Subgoal Planning with In-context Demonstrations

먼저 Figure 1과 같이 in-context 학습이라는 언어 모델의 새로운 속성을 사용하여 subgoal들을 예측합니다. 그 다음 subgoal sequence와 쌍을 이루는 언어 모델에 대한 몇 가지 명령 예시를 제공합니다. 이어서 모델은 제한적인 beam search를 사용하여 주어진 쿼리 명령에 대한 subgoal sequence 후보들을 예측합니다. 이 후보들은 언어 모델의 확률에 기반하여 순위가 정해집니다.

Figure 1. In-context 학습에 따른 subgoal 예측
몇 가지 명령 실행 예시들과 각각 해당하는 일련의 subgoal들을 제공하면, 모델은 주어진 쿼리 명령에 대한 subgoals sequence 후보를 예측합니다.

Mutual Information based Ranking

이러한 과정에서 언어 모델이 타당한 후보들을 생성할 수는 있으나, 여러 모델 보정(calibration) 문제들로 인해 후보들의 순위가 교란되는 일이 발생한다는 점을 확인할 수 있었습니다^[1]. 'Place a martini glass with a fork on it on the table'라는 쿼리 명령을 예시로 생각해 보겠습니다. 상위 1개의 후보만을 예측할 경우, 모델은 잔을 놓아야 할 곳을 'table' 대신 'sink'로 잘못 예측하게 됩니다. 하지만 ‘sink’가 포함된 모든 실행 예시들을 삭제하고 다시 예측하도록 하면, 이번에는 모델이 놓아야 할 곳을 'table'이라고 올바르게 예측하게 됩니다. 우리 연구진은 언어 모델이 강력한 후보를 식별할 수 있음에도 불구하고, 예시로 든 ‘싱크대’와 같이 가장 많이 공유되는 단어들로 인해 후보의 순위가 편향되어(popularity bias) 정해진다는 점을 발견했습니다^[2].

이러한 교정 문제를 해결하기 위해 상호 정보량에 근거한 순위 기준을 고려했습니다. 이에 대한 예시로, 아래 Equation 1과 같이 q와 h가 쿼리 및 가설이고 λ가 하이퍼 파라미터인 PMI(Pointwise Mutual Information)의 가중 버전을 들어보겠습니다.

Equation 1

이 가중 PMI를 최대화하면, 다음과 같은 순위 기준이 나옵니다.

Equation 2

이는 두 수량의 선형 가중치입니다.

• λ = 0인 경우, 쿼리에 주어졌을 때 후보의 조건부 확률인 이전의 순위 metric과 같아집니다.
• λ = 1인 경우, 후보가 주어졌을 때 쿼리의 조건부 확률을metric으로 구합니다. 문헌 [3]에서는 이를 noisy channel prompting이라고 칭합니다. 이러한 확률은 subgoal sequence가 텍스트 명령을 얼마나 잘 설명하는지에 대한 수치로 해석됩니다.

Lambda가 중간 값일 경우, 두가지 metric을 선형적으로 결합하게 됩니다.

이번 연구에서는 이 방법론을 ALFRED 벤치마크에서 평가하였습니다. 해당 벤치마크는 물건 들기, 썰기, 가열하기와 같은 상호작용들의 sequence들로 이루어져 있습니다. 각 명령은 해당하는 subgoal들과 함께 제공되며, 저희는 이를 학습과 평가에 사용하였습니다. 7가지 작업 유형과 11가지 세부 유형 중, 탐색 관련 subgoal들은 무시하고 “pick up X”, “place X”등과 같은 7가지 객체 상호작용만을 고려했습니다. 여기서 X는 80가지 객체 유형 어휘에서 나오는 객체를 의미합니다.

아래 Figure 2는 다른 순위 기준에 따른 언어 모델의 subgoal 예측 정확도를 비교하여 보여줍니다. 작업 유형별 1개의 예시만을 사용할 경우, p(q|h)에 근거한 순위 예측이 p(h|q)에 근거한 예측보다 개선된 결과를 보이는 것을 확인할 수 있습니다. 하지만 더 많은 supervision을 사용할 시에는 이와 동일한 혜택이 나타나지 않습니다. 한편, 두 가지 metric을 λ = 0.5로 결합할 경우, 두 metric보다 일관적으로 개선된 정확도를 보이며 상위 10개의 recall ceiling에 보다 가까워질 수 있습니다.

Figure 2. 여러 순위 metric의 성능을 비교할 때 다양한 양의 supervision에 대한 GPT-J 언어 모델의 subgoal 예측 정확도

Subgoal Planning with Environment Feedback

지금까지는 subgoal들을 예측할 때 텍스트 명령만을 고려했지만, 보다 정확한 예측을 위해서는 에이전트가 주변 환경에서 얻을 수 있는 정보를 통합해야 합니다. 예를 들어, 모델이 겪는 오류를 분석하는 중 ‘floor lamp’와 ‘desk lamp’와 같은 객체 카테고리 사이에서 혼란을 겪는 것을 발견했습니다. 이런 상황에서 조명의 유형이 텍스트 명령에 정확하게 명시되지 않는다면 모델이 올바른 카테고리를 식별하기는 어렵습니다. 이때, 환경에서 얻은 정보는 모델에게 수행할 수 있는 작업의 유형(예: 주방에서는 썰기 및 가열, 냉각 등의 작업을 수행할 수 있다)이나 상호작용에 사용될 수 있는 객체(예: 칼은 주방에서 찾을 수 있음)등을 알려줄 수 있습니다. 이러한 정보는 텍스트 명령 계획만을 고려했을 때보다 더 정확한 subgoal 예측을 하는데 도움이 됩니다.

우선 subgoal sequence가 주어졌을 때, 주어진 환경에서 순차적으로subgoal들을 수행하도록 사전 학습된 subgoal 정책을 사용하여 에이전트 정책을 구성합니다. 여기서 언어 모델은 실행해야 할 하위 단계의 subgoal 정책에 대한 목표를 제공하는 상위 단계 컨트롤러라고 할 수 있습니다. 해당 에이전트로 언어 모델이 예측한 명령을 환경에서 실행하고, 이에 따른 피드백을 수집할 수 있습니다. 그리고 수집한 피드백을 활용해 환경에 대한 정보를 벡터로 담은 에이전트의 state representation에 기초하여 언어 모델 예측의 순위를 재조정하는 랭킹 모델(re-ranker)을 학습합니다.

추론 과정에서는 위에서 학습된 랭킹 모델을 사용하여 모든 단계에서의 모델이 생성한 후보들의 순위를 Figure 3과 같이 재조정합니다. 아래 Figure 3의 예시에서는 쿼리 명령이 물건을 놓아야 할 곳을 'white table with shelving'이라 모호하게 명시합니다. 설령 언어 모델이 놓아야 할 곳을 ‘shelf’로 생각하더라도, 에이전트 state representation은 환경에 ‘dining table’이 존재한다는 사실에 기반하여 올바른 후보를 선택합니다.

Figure 3. 언어 모델이 뽑은 후보들은 에이전트의 state representation에 기반하여 각 실행 단계마다 순위가 재조정됩니다. 원래의 상위 1개 예측이 부정확한 경우에도, re-ranker는 에이전트의 state representation를 사용하여 올바른 subgoal sequence를 식별합니다.

이번 연구에서는 ALFRED 벤치마크에서 에이전트 정책을 평가했습니다. 계획 예측 정확도를 살펴봤던 이전의 평가 방식과는 달리, 여기서의 metric으로는 구현된 환경에서 작업을 수행하는 성공률을 측정했습니다. MOCA^[5] 및 FILM^[6], HLSM^[7]은 해당 벤치마크를 위해 최근 개발된 방법론들입니다. 우리는 이번 실험에서 HLSM에서 사용됐던 하위 단계 subgoal policy를 차용하였습니다.

아래 Figure 4에서는 다양한 모델의 작업 성공률을 비교하고 있습니다. 먼저 20개의 예시를 사용하는 PMI 기반의 순위에 따라 in-context 학습 결과를 살펴보았습니다(No env feedback). 1,000개의 피드백 인스턴스(With env feedback)를 기반으로 학습된 re-ranker를 사용할 경우 예측이 개선되지만, 이는 여전히 HLSM 모델에 비해 규모가 적은 subgoal supervision을 사용합니다. 마지막으로는 HLSM 하위 단계 정책의 성능 상한선에 해당하는 oracle subgoal들을 사용할 때의 성능을 살펴보았습니다. 이는 아직 모델 예측에 개선의 여지가 있으며, subgoals 예측의 개선이 시스템의 전반적 성능 향상으로 이어질 수 있음을 나타냅니다.

Figure 4. ALFRED 벤치마크에서 다양한 접근방식의 작업 완수 성공률 비교 차트
우리 모델(green)은 HLSM의 하위단계 사전 학습 정책을 사용하여 환경 피드백의 유무에 따른 성능을 보여줍니다.
해당 접근방식은 1,000개의 성공과 실패에 대한 피드백 인스턴스로 기준 정책과 경쟁하며, 훨씬 적은 규모의 supervision을 사용합니다.

Conclusion and Future Work

이번 연구에서 언어 모델이 실제 작업에서 중간 목표 계획을 추론하는 데 도움이 될 수 있음을 확인했습니다. 특히 초거대 언어 모델과 결합된 in-context 학습은 몇 가지 예시만으로도 타당한 subgoal sequences를 생성하는 데 도움이 된다는 사실을 알 수 있었습니다. 또한, 상호 정보량에 근거한 ranking metric들이 언어 모델의 순위 예측에서 보다 도움이 된다는 사실을 확인할 수 있었습니다. 마지막으로, 우리는 에이전트의 주변 환경에서 피드백을 수집하고 랭킹 모델을 학습함으로써 관련 예측을 보다 개선할 수 있는 방법을 제안했습니다.

본 연구를 통해, ranking model에 환경 정보를 통합하여 한층 개선된 모델 예측 결과를 낼 수 있음을 알 수 있었습니다. 향후 연구로는 에이전트 정책과 주변 환경의 보다 긴밀한 통합을 통하여 언어 모델을 더욱 발전시키는 방향을 기대하고 있습니다. 또한 planning 오류 개선과 같은 에이전트 정책의 robustness를 향상시킬 수 있는 방안에 대해 꾸준히 연구해 나갈 계획입니다.

▶Few-shot Subgoal Planning with Language Models (Link)