언어모델 활용 과학적 지식추론을 위한 QASA (Advanced Question Answering on Scientific Articles) 접근론

1. Instruction

LG AI연구원은 본 연구에서 과학적 질문에 대한 추론을 위한 QASA (Question Answering on Scientific Articles) 접근론 및 벤치마크를 제안^[8]합니다. 우리의 Think-aloud 스터디를 통해, 독자들이 과학적 문헌을 읽는 과정에서 표면적 사실에 대해 질문(Surface Question)뿐만 아니라, 복잡한 추론이 필요한 심층적 질문을 많이 떠올린다는 사실을 확인했습니다. 그러한 질문에 답을 하기 위해서는 관련성이 높은 근거를 유추하는 연상 추론과 주어진 근거를 토대로 결론을 도출하는 논리적 추론이 모두 필요하며, 기존의 기계독해^[1] 및 질의응답 데이터셋^[2]에서 가정했던 환경들에 비해 훨씬 더 정교한 노력이 필요한 것으로 나타났습니다.

구체적으로, 과학적 질문과 답을 위한 벤치마크를 구축하기 위하여 다음과 같은 차별성을 고려하였습니다. 우리는 Think-aloud 스터디에 기반하여 질문을 3가지 유형(Surface, Testing, Deep)으로 스키마를 디자인하고, 과학논문의 저자 및 AI 전문가로부터 다양한 질의-응답 쌍을 수집하였습니다. 또한, 논문의 독자 및 저자가 논문 전체를 읽으면서 질문을 던지며, 그 질문에 대해 논문 내의 다각적인 근거들을 제시한 다음, 포괄적인 최종 답변으로 작문하도록 요청하였습니다. QASA 벤치마크에는 AI/ML 도메인의 전문가 독자가 질문하고, 또 다른 전문가 혹은 저자가 답변하는 질의-응답 쌍 1798개가 포함되어 있습니다.

2. QASA Approach

우리는 과학논문 위에서 심층적 질문에 답하는 새로운 QA 방법론을 제안합니다. 본 연구의 아이디어는 언어모델을 이용하여 질의응답 태스크를 다음의 세 가지 하위 태스크들로 나눈 것입니다: (1) Associative Selection, (2) Rationale Generation, (3) Systematic Composition 그리고, 각 태스크에 적합한 Instruction을 언어모델에 넣고, 세 단계에 따라 질문에 대한 답변을 추론합니다. 아래의 [그림1]에서 우리의 방법론에 대한 오버뷰를 볼 수 있습니다.

그림1. QASA 방법론의 멀티스텝 추론
(언어모델은 각 스텝에 따른 task-specific Instruction이 사용됨)^[8]

위 단계별 추론에 대하여 아래에서 더 구체적으로 설명하겠습니다.

STEP1. Associative Selection

일반적인 연구논문은 여러 단락(약 40~80개 단락)으로 구성되어 있습니다. 이 첫 번째 Selection 스텝에서는 논문이 주어졌을 때 질문과 연관된 단락들을 추출하는 것을 목표로 합니다. 즉, 질문과 K개의 단락들이 주어지면, 그 질문에 대한 답변 또는 근거를 포함하는 증거 단락을 분류 및 선택합니다. 이전 오픈도메인 QA 연구에서는, 질문에 대한 단문(Short-form) 답변을 포함하는 단락을 추출하는 것을 목표로 하는 반면, 우리는 이를 확장하여 관련 근거 및 장문(Long-form) 답변과의 연관성을 잡아냅니다.

STEP2. Rationale Generation

두 번째 Rationale Generation 스텝에서는 추출된 각 단락에 기반하여 근거를 생성하며, 이것은 다음 스텝에서 최종 답변의 일부가 될 수 있습니다. 복잡한 질문의 답변 담화구조에 대한 선행 연구^[3]에 따르면, 답변은 (a) 주요 답변(질문을 직접적으로 답하는 주요 내용), (b) 설명(주요 답변을 자세히 설명하는 문장), (c) 보조 정보(사용자에게 도움이 될 수 있는 배경 지식) 등으로 구성될 수 있습니다. 따라서, 이 스텝에서 생성되는 근거도 마찬가지로 주요 답변, 설명, 보조 정보 등으로 구성될 수 있습니다.

STEP3. Systematic Composition

이 마지막 Composition 스텝의 목표는 사용자에게 간결하고 가독성 있는 정보를 제공하기 위해 이전 스텝에서 생성된 모든 Rationale들을 최종 답변으로 작문하는 것입니다. 답안이 여러 근거로 구성되어 있다고 가정할 때, 최종 답변은 중복된 텍스트가 제거되어야 하고 모든 풍부한 근거를 보존하는 것을 목표로 합니다. 주어진 지문에 근거한 답변은 질문에 대한 포괄적인 설명으로 볼 수 있습니다.

각 모듈의 학습 및 데이터에 대한 상세 내용은 본 논문에서 확인할 수 있습니다.

3. Experiment

3.1 정량지표 자동평가

정량적인 평가를 위하여 사전학습 언어모델(공개된 체크포인트 혹은 API)과 파인튜닝 언어모델들을 고려하였습니다. 사용한 언어모델은 아래와 같습니다.

1. 비교대상 언어모델: T5 (Version 1.1, LM-Adapted)^[4], T0^[5], GALACTICA^[6], InstructGPT (text-davinci-003), Flan-T5^[7]

 

[표1]은 3개의 서브태스크 위에서 모델을 평가한 것이며, 각 모듈을 독립적으로 평가하기 위하여 인풋은 Oracle 컨텍스트를 제공하고 아웃풋에 대한 성능만 평가하였습니다. 반면, [표2]에서는 Oracle 컨텍스트 없이 3개의 모든 태스크를 거친 최종 답변에 대하여 평가하였습니다. 평가지표로는 Selection 모듈의 경우 Precision, Recall, F1 score을 통해 평가되었으며, 나머지 생성 태스크에 대해서는 Rouge-1, Rouge-2, Rouge-L 스코어를 사용하였습니다.

 

표1. Precision, Recall, F1, ROUGE Score로 측정된 QASA의 서브태스크에 대한 각 시스템 성능^[8]

표2. QASA의 full-stack 태스크에 대한 각 시스템 성능^[8]

 

Q: 어떤 사전학습 언어모델이 가장 높은 성능을 보이는가?
A: 사전 학습된 언어모델 중 InstructGPT(175B)가 다른 모델보다 우수한 성능을 보였습니다. 특히 Rationale Generation 태스크에서 모든 모델 중 가장 우수한 성능을 보였습니다. T5 기반 언어모델들 중에서는 학습 시 사용된 다운스트림 태스크의 수가 성능에 큰 영향을 미쳐, T5 < T0 < Flan-T5의 결과를 보였습니다.

Q: 어떤 파인튜닝 모델이 가장 높은 성능을 보이는가?
A: 파인튜닝된 T0, T5, Flan-T5를 비교할 때, 이 모델들은 세 가지 서브태스크들에서 성능 차이가 대체로 적었습니다. 그러나 full-stack QA 태스크에서는 Flan-T5가 다른 모든 LM을 능가했으며, 심지어 최신 모델인 InstructGPT(175B)보다도 성능이 뛰어났습니다. 이 관찰을 바탕으로, 파인튜닝된 Flan-T5 모델이 우리의 QASA 벤치마크에서 좋은 테스트 베드가 될 것이라고 제안합니다.

Q: 과학적 질의응답 태스크에 근거생성 스텝이 정말 도움이 되는가?
A: 우리의 3-step 방법론은 근거를 생성하고 이를 최종 답변으로 구성하지만, 대안으로서 근거생성 단계를 생략하고 선택한 단락들 위에서 바로 최종 답변을 생성할 수도 있습니다. 이를 비교하기 위하여, 우리는 [표2]의 두번째 근거생성 스텝을 생략한 결과(“w/o Rationale Gen”)를 보고하였습니다. 이 스텝의 생략은 성능 하락을 보여주며, 근거생성 스텝의 중요성을 보여주었습니다.

 

3.2 Human Evaluation

위의 자동평가 지표는 모델이 생성한 텍스트와 사람의 정답 텍스트 간의 오버랩을 기반으로 측정되므로, 최종적인 사람의 만족도를 온전히 반영하는 데 한계가 있습니다. 따라서 우리는 다음의 4가지 기준으로 InstructGPT와 우리 모델 간의 A/B 테스트를 수행했습니다.

1. 4가지 기준: Groundedness, Completeness, Specificity, Fluency

 

채점 방식은 두 시스템의 결과 비교에서 승리할 경우 1점을, 동점일 경우 0.5점을 부여합니다. 평가는 9명의 전문가가 100개의 QA 쌍에 대해 수집하여 진행했습니다.

 

그림2. Ours vs InstructGPT: A/B테스트 결과^[8]

 

[그림2]의 A/B 테스트 평가 결과, 우리의 QASA 방법론의 답변이 InstructGPT의 답변보다 더 Completeness와 Groundedness 관점에서 높은 성능을 보였습니다. 반면, 생성된 텍스트의 신뢰도와 관계없이 InstructGPT의 답변은 더 유창하고 구체적인 경향이 보였습니다.

 

4. Conclusion

기존의 정보검색은 관련 문헌을 검색하고 선택된 정보를 수동으로 읽고 재구성하는 것까지 일련의 노력이 필요합니다. 특히 과학 논문의 경우, 점점 지식의 양이 증가함에 따라 지식습득 및 추론에서 도구의 혁신이 요구되고 있습니다. 생성형 AI는 유망한 대안이 될 수 있지만, 아직 과학적 질문에 초점을 맞춘 기존 연구들이 부족한 실정입니다. 본 연구에서는 새로운 벤치마크 데이터셋과 새 방법론을 제안합니다. 우리는 전문가 및 논문 저자를 통하여 다양한 레벨/유형의 질의응답 벤치마크를 구축하였고, Full-stack 추론 프로세스를 Associative Selection, Rationale Generation, Systematic Composition이라는 세 가지의 멀티스텝 방법론을 통해 해결하였습니다.

몇 가지 실험결과, 우리가 제안하는 공개데이터 및 합성데이터를 학습한 Flan-T5 모델이 QASA를 위해 적합한 테스트베드 역할을 할 수 있음을 보여주었습니다. 본 연구를 통해 기존 정보검색에서 나아가 언어모델을 통한 과학적 지식추론 및 인사이트를 이끌어 낼 수 있는 가능성을 확인했습니다. 차후 연구에서는 검색 툴을 포함한 다양한 외부 툴을 통합하여 과학적 지식탐색을 돕는 언어모델 방법론 관련 연구를 이어 나갈 계획입니다.

▶ QASA: Advanced Question Answering on Scientific Articles (Link)