[Paper Review] WebDancer: Towards Autonomous Information Seeking Agency

최근 LG의 EXAONE 4.0, OpenAI의 GPT-o 시리즈(o1, o3)^[1], DeepSeek-R1^[2] 등 고성능 모델의 등장으로, LLM의 진화 방향은 단순히 질문에 답하는 지시 기반 모델(Instruction Model)을 넘어, 심층적 추론(Reasoning)을 수행하는 에이전트로 빠르게 전환되고 있습니다. 이러한 모델들은 일반적으로 대규모 추론 모델(Large Reasoning Model, LRM)이라고도 불리며, 복잡한 실제 문제를 다루기 위한 다단계 사고 능력을 갖춘다는 점에서 기존 Instruction 모델과 뚜렷이 구별됩니다.

기존의 GPT-3.5, GPT-4와 같은 지시 기반 모델은 주어진 질문에 신속히 응답하거나 짧은 수준의 추론(Chain-of-thought)에 최적화되어 있었습니다. 이에 비해 LRM은 보다 인간적인 사고 과정을 따릅니다. 문제를 단계적으로 분석하고, 다양한 전략을 시도하며, 실수를 인지하고 보완해 나가는 긴 추론 과정(long-CoT)을 거쳐 답에 도달합니다.

이처럼 뛰어난 추론 능력을 기반으로 LRM은 물리·화학·생물 등 여러 과학·기술 분야에서 박사 수준의 문제 해결 능력을 보여주며, 다양한 벤치마크에서 기존 지시 기반 모델을 능가하는 성과를 내고 있습니다^[3].

하지만 LRM에는 근본적인 한계도 존재합니다. 긴 추론 과정에서 정보 공백(Information Gap)이 발생하면, 모델은 자신의 내재 지식(Internal Knowledge)에만 의존해 사실과 다른 추론(Hallucination)을 전개할 수 있습니다^[4]. 특히 추론이 길어질수록 중간 단계에서의 오류가 누적·전파될 뿐 아니라, 사고가 불필요하게 길어지는(Over-thinking) 문제로 이어지기도 합니다^[5].

이러한 문제를 해결하기 위한 방안으로 외부 지식을 능동적으로 활용하는 에이전트형 LRM(이하 Agentic LRM)이 주목받고 있습니다. Agentic LRM은 모델이 추론 과정에서 지식의 부족을 스스로 감지하고, 필요할 때 외부 지식을 활용해 이를 보완하는 구조로 작동합니다. 최근 Agentic LRM 구조를 반영한 모델과 서비스가 활발하게 등장하고 있으며, OpenAI의 ChatGPT(Deep Research), Google DeepMind의 Gemini, xAI의 Grok3, 그리고 LG AI연구원의 ChatEXAONE(심층리서치)가 대표적입니다. 

이번 글에서 소개할 알리바바 Tongyi Lab의 “WebDancer: Towards Autonomous Information Seeking Agency^[6]”는 웹 검색 도구를 활용해 LRM의 long reasoning 능력을 강화하는 방법을 제안합니다. 또한 에이전트형 LRM 분야의 핵심 아이디어부터 데이터 생성, 학습 구조에 이르기까지 폭넓게 다루며, 해당 분야를 이해하는 데 유용한 출발점이 되어줍니다.

 

1. 합성 데이터 생성 : CRAWLQA, E2HQA

이미지 1. 합성 데이터 생성 구조

Agentic LRM은 단순한 질의응답을 넘어, 고도화된 추론 능력과 필요시 외부 검색을 통해 정보를 능동적으로 획득하고 활용하는 능력까지 요구됩니다. 이를 위해 WebDancer는 복잡한 추론을 요구하지 않는 오픈소스 QA 데이터셋에만 의존하지 않고, 모델이 탐색 기반의 추론 과정을 자연스럽게 익히며 검색을 통한 정보 보완 전략까지 학습하도록 설계된 합성 QA 데이터셋을 직접 생성합니다. 저자들은 이를 위해 두 가지 핵심 방법론인 CRAWLQA와 E2HQA를 제안했습니다.

2.1 CRAWLQA

CRAWLQA는 여러 웹페이지를 오가며 정보를 수집하고 판단하는 과정을 학습하기 위해 설계된 데이터셋입니다. 단일 문서에 의존하는 QA가 아닌, 복수의 하위 페이지(Subpages)를 함께 고려해야 정답을 도출할 수 있는 Multi-hop QA로 구성된 점이 특징입니다. 이를 통해 모델이 사고하며 여러 웹페이지를 탐색하고 정보를 종합하는 능력을 기르도록 하는 것이 목적입니다. 생성 절차는 다음과 같습니다.

(1) Knowledgeable 웹사이트 수집
우선 arXiv, GitHub, Wikipedia와 같이 정보가 풍부하고 신뢰도가 높은 웹사이트들을 선정합니다. 이들은 정보의 루트(Root) 페이지로 사용되며, 하위 링크를 통해 관련 문서로 확장됩니다.

(2) 하위 페이지 재귀 수집
루트 페이지에 포함된 링크를 따라가며 관련된 하위 페이지를 재귀적으로 수집합니다. 예를 들어 arXiv 논문 페이지의 References, Related Papers, Author Profiles 등이 이에 해당됩니다.

(3) LLM 기반 QA 생성
이렇게 수집된 여러 페이지를 묶어 LLM(i.e., GPT-4o)에 입력하여, 복수 문서의 내용을 바탕으로 질문–답변(QA) 쌍을 생성합니다. 이때 단순한 Factoid 질문을 넘어서 Reasoning을 요구하는 다양한 유형이 포함됩니다. 이러한 과정을 통해 생성된 CRAWLQA는 다음과 같은 유형의 데이터를 포함합니다:

1. COUNT: 특정 항목의 개수를 세는 유형 (예: “이 문서에서 언급된 오픈소스 툴은 몇 개인가?”)

2. MULTI-HOP: 여러 하위 페이지(subpage)의 단서를 연결해야 하는 유형 (예: “이 논문에서 제안한 방법 중 GitHub에서 구현된 것은 무엇인가?”)

3. INTERSECTION: 서로 다른 하위 문서 간 교집합을 추론하는 유형 (예: “논문 A와 B에서 모두 사용된 데이터셋은 무엇인가?”)

 

2.2 E2HQA: Easy-to-Hard

E2HQA(Easy-to-Hard QA)는 단순한 Factoid 질문에서 출발해, 점차 더 복잡하고 심층적인 Reasoning을 요구하는 형태로 발전시키기 위한 데이터셋입니다. 이 방법의 핵심은 정답 자체는 그대로 유지하되, 모델이 그 정답에 도달하기 위해 더 많은 정보를 고려하고 더 긴 추론 과정을 거치도록 질문을 재구성하는 데 있습니다. 생성 절차는 다음과 같습니다.

1. (1) QA 데이터셋 준비: 기존 SimpleQA 스타일의 질문–답변 쌍을 수집합니다 (공개 데이터 활용).

2. (2) 엔티티 추출: 질문에 포함된 인물, 개념, 기관 등 핵심 엔티티(entity)를 추출합니다.

3. (3) 엔티티 관련 정보 수집: 각 엔티티에 대해 웹에서 추가 정보를 확보합니다.

4. (4) 질문 재작성: 수집된 정보를 활용해 LLM(GPT-4o 등)이 질문을 더 길고 복잡하게 재작성합니다.

5. (5) 반복 수행: 2–4 단계를 반복하여 다단계 추론이 필요한 구조로 점차 발전시킵니다.

 

아래 Q1, Q2, Q3는 각 단계별로 진화된 질문의 예시를 보여줍니다:

 

1. Q₁: "2010년 IEEE Frank Rosenblatt Award 수상자는?"

2. Q₂: "2010년, 퍼지 로직에 기여한 학자에게 수여된 AI 관련 상은 누구에게 주어졌는가?"

3. Q₃: "산업 자동화 분야에서 퍼지 제어 이론을 적용해 AI 발전에 기여한 인물에게 2010년에 수여된 저명한 기술 상의 수상자는?"

 

2. WebDancer의 프레임워크 : ReAct 기반의 Thought–Action–Observation trajectory 수집 방법

 

이미지 2. WebDancer 프레임워크

 

WebDancer는 전체 모델 프레임워크를 ReAct(Reasoning + Acting) 구조를 기반으로 설계했습니다. ReAct^[7]는 대표적인 Agent 프레임워크로, LLM이 복잡한 문제를 해결할 때 단계적으로 사고하고 필요한 행동을 수행하며, 그 결과로 얻은 관찰을 이후 Reasoning에 반영하는 방식을 취합니다:

1. Thought (생각): 다음에 수행할 행동을 결정하기 위한 모델의 내부 reasoning

2. Action (행동): 외부 정보를 획득하거나 목표를 달성하기 위한 명시적 도구 사용

3. Observation (관찰): 행동 결과로부터 얻어진 정보

 

이 세 가지 구성 요소(Thought-Action-Observation)는 하나의 Step을 이루며, 모델은 각 Step의 결과를 바탕으로 다음 Step의 Thought를 생성하면서 점진적으로 문제 해결 Trajectory를 만들어 갑니다. WebDancer에서는 Agent가 활용할 수 있는 두 가지 Action 도구를 정의했습니다:

1. 1) Search action
   - 설명: 외부 웹 검색을 통해 필요한 정보를 찾는 행동
   - 입력 파라미터: (1) query — 검색 쿼리, (2) filter_year — 검색 결과 연도 필터
   - Observation: Google API를 사용해 입력 파라미터에 대한 상위 10개의 검색 결과를 반환

2. 2) Visit action
   - 설명: 특정 웹페이지의 본문을 직접 읽고, 필요한 정보를 요약해 얻는 행동
   - 입력 파라미터: (1) url_link — 방문할 페이지 주소, (2) goal — 해당 페이지에서 얻고자 하는 정보의 목적
   - Observation: 페이지 본문에서 goal에 해당하는 부분을 추출·요약한 evidence를 LLM을 통해 생성

 

3. Trajectory Filtering: 고품질 학습 데이터 확보를 위한 정제 절차

WebDancer는 에이전트가 생성한 Trajectory(Thought–Action–Observation의 반복)를 곧바로 학습에 사용하지 않습니다. 대신 여러 단계의 정제 과정을 거쳐 고품질 데이터만을 선별하며, 이렇게 확보된 데이터는 모델의 SFT 학습에 활용됩니다. 이를 위해 WebDancer는 세 단계로 이루어진 Funnel-style Filtering Pipeline을 제안합니다.

1. (1) Validity Control: 포맷 유효성 검사
   우선 trajectory가 정해진 포맷, 즉 Thought–Action–Observation 구조를 올바르게 따르고 있는지, 또 정의된 Action을 올바른 형태로 수행했는지를 검사합니다. 이 과정을 통해 형식에 맞는 데이터만을 선별합니다.

2. (2) Correctness Verification: 정답 검증
   두 번째 단계에서는 Trajectory의 최종 정답(Answer)이 정확한지를 확인합니다. 이를 위해 GPT-4o 기반의 LLM-as-Judge 방법을 활용하며, LLM이 정답이라고 판별한 데이터만 취합합니다.

3. (3) Quality Assessment: 품질 평가
   최종 정답이 맞더라도 Trajectory가 불필요하게 길거나, 비논리적이거나, 중복되거나, 목표와 맞지 않으면 학습에는 방해가 됩니다. 따라서 마지막 단계에서는 LLM을 이용해 이러한 저품질 데이터를 제거합니다.

 

4. 모델 학습: SFT와 RL을 통한 모델 학습

 

이미지 3. WebDancer 학습 파이프라인

 

WebDancer의 에이전트는 두 단계에 걸쳐 학습을 수행합니다. 먼저 지도 학습(Supervised Fine-Tuning, SFT)을 통해 기초적인 추론–행동 구조를 안정적으로 습득합니다. 이후 강화 학습(Reinforcement Learning, RL)을 적용하여 정답률, 추론의 일관성, 행동 효율성과 같은 일반화 성능을 극대화합니다. 이러한 2단계 학습 구조는 Agentic LRM이 효과적으로 작동하기 위한 대표적인 전략이며, WebDancer 역시 이 과정을 따릅니다.

 

5.1 지도 학습: Supervised Fine-Tuning (SFT)

SFT는 WebDancer 학습 파이프라인의 첫 단계이자 핵심적인 “초기화(Cold Start)” 과정입니다. Agent LRM이 Reasoning 기반의 문제를 해결하려면, 먼저 ReAct 형식의 Trajectory를 이해하고 따라 할 수 있는 능력을 갖추어야 합니다. 이러한 능력이 없는 상태에서 곧바로 RL을 적용하면 학습이 불안정해지거나 실패할 가능성이 높습니다.

WebDancer는 3장에서 설명한 방식으로 생성된 고품질 Trajectory 데이터를 SFT에 직접 활용합니다. 모델은 이 데이터를 토대로 아래 수식에 따라 Cross-entropy Loss를 계산하며 학습합니다:

 

$L=\sum _{i=1}^{\left|H\right|}\frac{\mathrm{𝕀}\left[x_i\ne o\right]}{\left|H\right|-{\sum }_j\mathrm{𝕀}\left[x_j=o\right]}·\log {\pi }_{\theta }\left(x_i\mid tc,x_{<i}\right)$

 

여기서, $H=\left\{x_1,\dots ,x_{\left|H\right|}\right\}$는 전체 Trajectory 시퀀스를 나타내며, 각 $x_i\in \left\{{\tau }_i,{\alpha }_i,o_i\right\}$ 는 $i$번째 Thought-Action-Observation을 나타내며, $tc$ 는 Task Context (모델에게 주어지는 질문 및 Prompt) 을 나타냅니다. 또한, Observation 부분은 모델의 생성 영역이 아니므로 손실 계산에서 제외하며, 이를 반영하기 위해 손실 함수에 $\mathrm{𝕀}\left[x_i\ne o\right]$ 항이 포함됩니다.

 

5.2 강화학습: On-policy RL with DAPO

WebDancer는 지도 학습으로 초기화된 에이전트를 대상으로, DAPO(Decoupled Advantage-weighted Policy Optimization) 알고리즘을 활용해 On-policy 강화학습을 수행합니다. DAPO는 GRPO 기반의 정책 최적화 기법으로, Trajectory 샘플링 → LLM 평가 기반 Reward 계산 → 토큰 단위 Likelihood에 따라 Advantage를 차등 적용하는 과정을 통해 정책을 업데이트합니다. 정책 최적화를 위한 목적 함수는 다음과 같습니다:

 

${\mathcal{J}}_{\mathrm{DAPO}}\left(\theta \right)={\mathbb{E}}_{(q,a)}\left[\frac{1}{{\sum }_{i=1}^G\left|o_i\right|}\sum _{i=1}^G\sum _{t=1}^{\left|o_i\right|}\min \left(r_{i,t}\left(\theta \right)·{\hat{A}}_{i,t},clip\left(r_{i,t}\left(\theta \right),1-{ϵ}_{\text{low }},1+{ϵ}_{\text{high }}\right)·{\hat{A}}_{i,t}\right)\right]$

 

이때, $o_i$는 $i$번째 Trajectory에서 Observation을 제외한 모델 생성 영역(Token)을 의미합니다. $r_{i,t}\left(\theta \right)$는 현재 Policy와 이전 Policy 간의 Token-level Likelihood Ratio를 나타냅니다.

 

$r_{i,t}\left(\theta \right)=\frac{{\pi }_{\theta }\left(o_{i,t}\mid q_i,o_{i,<t}\right)}{{\pi }_{{\theta }_{\text{old }}}\left(o_{i,t}\mid q_i,o_{i,<t}\right)}$

 

${\hat{A}}_{i,t}$는 $o_i$에 대한 Reward $R_i$ 를 샘플링된 전체 Rollout들의 Reward 집합 $\left\{R_j\right\}$ 을 기준으로 z-score 방식으로 정규화한 값입니다:

 

${\hat{A}}_{i,t}=\frac{R_i-mean\left(\left\{R_j\right\}\right)}{std\left(\left\{R_j\right\}\right)}$

 

보상 $R_i$는 LLM judge(GPT 기반 모델)를 통해 산출되며, 정답성$( scor{e}_{answer} )$ 과 포맷 적절성$\left(scor{e}_{\mathit{\text{format }}}\right)$ 을 기준으로 계산됩니다:

 

$R\left(y_i,y\right)=0.1·{\text{ score }}_{\text{format }}+0.9·{\text{ score }}_{\text{answer }}$

 

위와 같은 구조를 통해, WebDancer는 올바른 Reasoning과 행동을 강화하고, 불필요하거나 비논리적인 토큰은 자연스럽게 억제하는 Fine-grained 학습을 수행합니다.

 

5. 실험 및 분석

5.1. 주 실험 결과

 

이미지 4. 실험 결과

 

저자들은 WebDancer를 GAIA와 WebWalkerQA 벤치마크에서 평가했습니다. 비교 대상에는 검색을 사용하지 않는 Base, 질문당 1회 검색을 수행하는 RAG, ReAct, 그리고 WebDancer가 포함되었으며, 추가적으로 OpenAI의 DeepResearch(OpenAI DR)도 함께 비교되었습니다. 그 결과, GAIA에서는 OpenAI DR이 67.4로 가장 높은 성능을 기록했지만, WebDancer는 다른 모든 Baseline 대비 일관되게 우수한 결과를 보였습니다. 특히 QwQ-32B와 결합했을 때 GAIA에서 51.5, WebWalkerQA에서 47.9를 기록하여 GPT-4o 기반 ReAct보다도 뛰어난 성능을 달성했습니다.

 

5.2. 분석

5.2.1. 학습 데이터 품질에 대한 분석

 

이미지 5. 학습데이터 효과 비교

 

가장 먼저, Open-source QA(open-only) 데이터만 사용한 경우 가장 낮은 성능을 기록했습니다. 이는 단순 Factoid 중심의 QA 데이터가 GAIA와 같이 복잡한 Reasoning을 요구하는 벤치마크에서는 효과적이지 않음을 보여줍니다.

또한, 저자들이 제안한 CrawlQA와 E2HQA 데이터로 학습한 결과를 보면, Trajectory Filtering 적용 여부에 따라 성능 차이가 뚜렷하게 나타났습니다. 필터링을 거친 최종 서브셋(6,550개)은 전체 데이터를 활용한 경우보다 더 높은 성능을 기록했으며, 이는 데이터 양이 줄더라도 고품질 Trajectory를 선별해 학습하는 것이 훨씬 더 효과적임을 시사합니다.

 

5.2.2. 강화학습 효과 분석

 

이미지 6. 강화학습에 따른 성능변화

 

이미지 6은 DAPO 알고리즘을 통한 강화학습이 성능 향상에 기여한 결과를 보여줍니다. RL을 적용하면 Pass@3와 Consistency@3 모두에서 일관된 개선이 나타났으며, 특히 사전 추론 능력이 낮은 모델일수록 그 효과가 더 두드러졌습니다. 예를 들어 QwQ-32B는 SFT-only 대비 RL 적용 후 Pass@3에서 +11.6pt, Consistency에서 +9.7pt 상승했고, 7B 모델 역시 +7.7pt 향상되는 등 모든 규모에서 긍정적인 변화가 관찰되었습니다. 추가적으로, 저자들은 학습이 Base → SFT → RL 단계로 진행됨에 따라 평균 Reasoning 길이와 Action 수가 함께 늘어나고, Reasoning 일관성 역시 향상된다는 점을 확인했습니다.

 

6. 맺으며

WebDancer는 복잡한 웹 기반 정보 탐색 문제를 해결하기 위해 설계된 Agentic LRM 프레임워크로, 데이터 생성부터 Trajectory 수집, SFT, 강화학습에 이르는 전체적인 방법론을 제시합니다. 실험 결과, WebDancer는 GPT-4 수준에 근접하거나 이를 능가하는 성능을 달성했으며, 고품질 Trajectory와 SFT + RL 구조를 결합했을 때 정답률, 일관성, Reasoning Depth 모두에서 유의미한 향상이 가능함을 입증했습니다. 특히 WebDancer는 오픈소스 환경에서도 충분히 강력한 에이전트를 구축할 수 있다는 점에서 큰 의의가 있습니다.

LG AI연구원에서도 ChatEXAONE을 통해 ‘심층리서치’ 서비스를 제공하고 있으며, EXAONE이 사용자의 질문에 대해 웹 검색, 문서 검색 등 다양한 도구를 활용해 깊이 있는 Reasoning을 전개하고 상세한 답변을 생성하는 Agentic LRM 서비스를 경험하실 수 있습니다.

▶ 논문 원문 보러가기 (arXiv)