[AAAI 2022] Learning Parameterized Task Structure for Generalization to Unseen Entities

이번 블로그에서는 매개 변수화된 하위 작업 그래프 추론(Parameterized Subtask Graph Inference)을 소개합니다. PSGI는 1차 논리 방식으로 계층 및 구성적 작업의 구조를 추론하는 것을 말합니다. 본 연구에서 cooking 도메인, mining 도메인 (Minecraft 기반), 그리고 가상 AI2Thor 도메인에서 PSGI를 실험 테스트한 결과, 관련 선행 연구보다 더 효율적이면서도 일반화가 가능한 방법론이라는 사실을 확인했습니다.

Introduction

AI의 궁극적인 목적은 현실 세계에서 인간의 노동을 대체하여 삶을 더욱 효율적이고 편리하게 만드는 것입니다. 하지만 AI에게 인간이 실제로 수행하는 작업을 가르치는 일은 많은 어려움을 수반합니다. 그 중에서도 가장 큰 난제는 구성적 작업 구조(compositional task structure)에서 비롯됩니다.

(Figure 1) 아침 식사를 만드는 과정은 구성적 작업 구조로 이뤄져 있습니다.

구성적 작업 구조는 자연어, 영상 및 의사 결정 환경(예: 가상 비서, 로봇 공학)이라면 당연히 존재하는 것입니다. 현실에서 우리가 수행하는 작업은 여러 개의 작은 하위 작업으로 구성되고, 이러한 하위 작업을 특정한 순서로 수행할 때 전체 작업을 완수할 수 있습니다.

예를 들어, Figure 1과 같은 아침 식사를 만들어야 하는 가정용 로봇을 생각할 수 있습니다. 식사는 하위 작업으로 간주할 수 있는 여러 가지 요리(예: 스크램블 에그, 토스트 빵)와 음료로 구성됩니다. 그다음 각각의 하위 작업은 추가로 몇몇 기본적인 하위 작업(예: 달걀 집어 들기)에 도달하기까지 더 작은 단위의 하위 작업으로 나누어질 수 있습니다. 이때, 각각의 하위 작업은 에이전트에게 보상을 제공할 수 있습니다. 그리고 그 중에서도 일부의 하위 작업만이 보상을 제공할 경우, 이는 희소 보상(sparse reward)의 문제로 간주합니다. 하위 작업의 속성이 복합적이고 보상이 드문 경우, 최적의 정책을 학습하는 데 환경과의 많은 상호 작용이 필요할 수 있습니다.

본 연구에서는 이러한 문제 영역에 집중해 연구했으며, 다양한 구성적 작업 및 복합한 하위 작업 속성을 추론하고 이에 적응하기 위해 빠르게 학습하는 방법에 관한 연구를 진행했습니다.

Motivation

(Figure 2) 선행 연구에서는 학습에서 못 본 개체를 동반하는 학습에서 못 본 작업을 일반화하는 것이 불가능했습니다.

선행 연구에서는 그래프 구조에서 하위 작업 간의 속성을 모델링하는 방식을 통해 구성적 작업 구조를 학습하는 것을 다뤘습니다.^[1] 이와 같은 설정에서 훈련 단계(adaptation phase)의 에이전트는 잠재 그래프 구조(latent graph structure) 추론을 통해 효율적으로 작업에 적응합니다. 이후 에이전트는 시험 단계(test phase)에서 보상을 극대화하기 위해 추론된 그래프를 사용합니다. 하지만, 이러한 접근 방식은 학습에서 못 본 개체(예: 달걀, 양배추 등)가 포함된 작업에 적용할 수 없었습니다. 또한, 개별적으로 하위 작업의 구조를 추론하고자 시도했지만, 관련된 작업에서 개체 간의 관계를 고려하지 않았습니다. 예를 들어, Figure 2와 같이 선행 연구는 [냄비에 달걀 놓기]와 [팬에 달걀 놓기]가 유사한 구성적 구조를 가진다고 추론하지 않습니다. 이와 달리, 이번 연구에서는 선행 연구의 한계점을 극복하기 위해 Figure 3과 같이 매개 변수화된(parameterized) option 및 하위 작업을 이용하여 학습에서 못 본 개체가 포함된 제로 샷 작업 일반화(zero-shot task generalization)를 실행할 것을 제안합니다.

(Figure 3) PSGI는 1차 논리 방식으로 잠재 작업 구조를 추론하여 학습에서 못 본 작업을 일반화할 수 있습니다.

Method

(Figure 4) cooking 환경에서 매개 변수화된 하위 작업 그래프 추론(PSGI) 과정

다양한 작업에서는 보상받기 위해 다양한 음식을 요리해야 합니다.

PSGI의 주요 개념은 매개 변수화된(parameterized) option 및 하위 작업을 이용하여 전체 작업을 모델링하는 것입니다. 이를 통해 PSGI는 잠재 작업 구조를 1차 논리 방식으로 추론합니다. 예를 들어, Figure 4의 요리 작업에서 우리는 매개 변수화된 option [Pickup x]를 이용하여 모든 [객체 집어 들기] option을 표현합니다. 매개 변수화된 형식에서 option과 하위 작업을 표현하는 것은 다음과 같은 두 가지 역할을 수행합니다.

1. 결과 그래프가 더 간결해 집니다. 또한, 공통된 구조를 공유하는 구성적 작업을 표현하는 경우 중복이 줄어듭니다. 따라서 매개 변수화된 하위 작업 그래프는 추론을 위해 더 적은 수의 샘플만이 필요합니다(예: [사과 집어 들기], [팬 집어 들기] 등의 관계는 매개 변수화된 option [Pickup x]를 통해 한 번에 추론됩니다).

2. 결과 그래프는 학습에서 못 본 각 하위 작업으로 일반화할 수 있습니다. 여기서 학습에서 못 본 하위 작업은 유사한 구조를 공유하지만, adaptation 과정에서는 만나지 않습니다. (예: Figure 4의 [양배추 집어 들기]).

이 포스팅에서는 선행 조건 및 속성 함수의 추론만을 다루므로, 더 자세한 내용은 논문 전문(Link)을 참조해주시기 바랍니다.

Parameterized Precondition Inference via Predicate Logic Induction

다음의 ${\mathrm{\tau }}_{\mathrm{H}}=\left\{({\mathrm{x}}_1,{\mathrm{e}}_1),({\mathrm{x}}_2,{\mathrm{e}}_2),\dots ,({\mathrm{x}}_{\mathrm{H}},{\mathrm{e}}_{\mathrm{H}})\right\}$가 H 시간 이후 적응 정책 ${\mathrm{\pi }}_{adapt}$의 적응궤적(adaptation trajectory)이라고 정의하겠습니다. 여기서 목표는 이러한 궤적 ${\tau }_H$을 고려하여 매개 변수화된 최대 가능도 선행 조건(maximum likelihood parameterized precondition)을 추론하는 것입니다.

여기서 ${\mathrm{f}}_{\mathrm{Gprec}}$는 선행 조건 함수이고, ${\mathrm{E}}^{\left(\mathrm{i}\right)}$는 주어진 작업에서 i 번째 option의 개체 집합입니다. 그리고 ${\mathrm{x}}_{\mathrm{t}}$는 각 하위 작업이 t 시간에 완료되는지의 여부를 나타내는 하위 작업 완료 벡터이며, $e_t$는 각 하위 작업의 적격성 여부(예: 선행 조건이 충족된 경우)를 나타내는 적격성 벡터입니다. 관련 선행 연구^[2]와 마찬가지로, 이 문제는 inductive logic programming (ILP) 문제로 해석될 수 있습니다. 우리는 가능한 모든 완료 값 $\left\{{{\mathrm{x}}_{\mathrm{t}}}^{\mathrm{i}}\right\}$ 및 모든 속성 값 ${{\left\{{\mathrm{f}}_{\mathrm{i}}\left(\mathrm{X}\right)\right\}}^{\mathrm{i}}}_{\mathrm{X}\in \mathrm{E}}$으로 구성된 Boolean 입력값으로부터 일부 개체 $\mathrm{E}=\left\{{\mathrm{X}}_1,{\mathrm{X}}_2,\dots \right\}$를 포함하는 일부 option O의 적격성 ${\mathrm{e}}_{\mathrm{t}}$ (Boolean 산출 값)을 추론합니다.

Zero-shot Learning Entity Attributes

매개 변수화된 표현이 가능하게 하기 위해서 우리는 구성적 작업을 완성하는 각 구성 요소의 속성을 학습했습니다. 이 속성들은 매개 변수화된 각각의 option 및 하위 구조의 차이를 나타내는 데 사용됩니다. 예를 들어, Figure 4의 요리 작업에서 모든 객체가 [Pickup]을 통해 집어들 수 있는 것은 아닙니다. 따라서, 추론된 속성$f_{pickupable}\left(x\right)$는 [Pickup x]의 선행 조건입니다. 마찬가지로, 더 복잡한 요리 작업에서 일부 객체 x는 삶기 전에 얇게 썰어야 하지만(예: 양배추), 일부는 그렇지 않습니다(예: 달걀). 이와 관련한 지도 체계가 존재하지 않기 때문에 우리는 제로 샷 학습 문제로 속성을 추론하는 과정을 공식화합니다. option에 대한 선행 조건인 추론된 속성은 적응 단계에서 학습에서 본 option뿐만 아니라 학습에서 못 본 option에 대한 정확한 predicate subtask graph를 구성해야 합니다. 이에 따른 적응 단계에서 에이전트는 학습에서 본개체 E의 집합을 만나게 될 것입니다. 우리는 유사한 개체가 유사한 선행 조건으로 귀결되는 smoothness 추정을 이용하여 E로부터 후보 속성을 구성합니다. 그리고 유사성을 기준으로 주어진 개체(단어) 임베딩 $\varphi$(예: Bag-of-Words 모델^[5]) 을 이용하여 후보 속성을 일반화합니다. 즉, $\mathrm{C}=\left\{{\mathrm{C}}_1,{\mathrm{C}}_2,...\right\}$가 개체 임베딩 $\varphi$을 통해 E로부터 생성된 클러스터의 완전 집합이 되도록 합니다. 그런 다음, 각 클러스터로부터 후보 속성 함수를 정의합니다.

${\hat{f}}_i\left(X\right)≔\mathrm{𝕀}[X\in C_i]$

학습에서 못 본 개체 $X\in E$의 속성을 추정하기 위해, 우리는 가장 가까운 학습에서 본개체의 속성을 이용하는 1-Nearest Neighbor classifier를 활용합니다.

${\hat{f}}_i\left(X\right)≔\mathrm{𝕀}[X^{*}\in C_i]$

여기서 $X^{*}={\mathrm{argmin}}_{X^{\text{'}}\in E}\mathrm{dist}\left(\varphi \right(X),\varphi (X^{\text{'}}\left)\right)$ 입니다.

Experiment

이번 연구에서 2차원 그리드 환경(Cooking & Mining)과 AI2Thor 기반의 현실적인 가정 환경에서 PSGI 에이전트를 실험했습니다.^[6] 이 환경은 다양한 객체가 있는 다양한 구조의 집에서 여러 음식을 요리하는 작업을 구현합니다.

(Figure 5) PSGI 에이전트를 테스트하기 위해 사용된 AI2Thor(왼쪽) 및 그리드 환경(오른쪽)

이 실험을 통해 우리는 다음 두 가지 연구 질문에 답하는 것을 목표로 합니다.

1. PSGI가 선행 연구보다 계층 및 구성적 작업의 잠재 구조를 효율적으로 학습하는가?
2. PSGI가 추론된 속성을 이용하여 학습에서 못 본 하위 작업 및 option의 잠재 구조를 일반화할 수 있는가?

(Figure 6) cooking 환경에서 2,000step을 거친 후 추론된 매개 변수화된 하위 작업 그래프.

option은 사각형 노드에 표시되어 있으며, 하위 작업 완료 및 속성은 타원형 노드에 표시되어 있습니다.

(Figure 7) 적응 수준은 cooking, AI2Thor 및 마이닝 도메인에서 곡선으로 표시

이처럼 어려운 전이 학습(transfer learning) 작업에서 PSGI는 Figure 6과 같이 매개 변수화된 형식으로 작업 구조를 추론하고, 학습에서 못 본 작업을 일반화할 수 있었습니다. 게다가 PSGI는 다양한 하위작업에서 선행 조건의 효과와 지식을 공유한 덕분에 Figure 7과 같이 더 높은 sample efficiency를 보일 수 있었습니다. 한편, 다른 기준치는 cooking와 AI2Thor 도메인에서의 MSGI+를 제외하고는 유의미한 정책을 학습하지 않았습니다.

결과적으로 이 실험은 매개 변수화된 하위 작업 그래프가 PSGI로 하여금 유사한 하위 작업 및 option(예: 모든 가능한 X, Y 쌍의 경우 Y에서 X 집어 들기)의 경험을 공유하는 데 도움이 된다는 사실을 입증합니다. 또한, 이를 통해 MSGI+에서 하위 작업 그래프를 이용하는 것에 비해 대략적인 개체 수의 배수만큼 샘플 효율성이 향상된다는 사실도 보여줍니다.

Future work

본 연구에서 현실 속 환경과 직접적인 상호 작용을 통해 학습될 수 있는 작업 구조만을 고려했습니다. 실제로 작업구조는 비주얼이나 텍스트 등 다양한 정보 출처로부터 학습될 수 있습니다. 앞으로 샘플 학습의 효율성을 향상하고 강력한 일반화를 구현하기 위해 잠재적인 구성적 작업 구조를 보다 효과적으로 발견하고 활용할 수 있는 방법을 연구할 계획입니다.

▶Learning Parameterized Task Structure for Generalization to Unseen Entities (Link)

- 코드 (Link)