[CVPR 2026] 텍스트를 넘어, 다이어그램·차트·표 등 문서 속 시각 요소를 활용해 답하는 멀티모달 문서 QA, VinQA

실제 문서에는 글과 함께 다이어그램·차트·표·사진 등의 시각요소가 뒤섞여 있는 경우가 많습니다. 또, 특정 질문에 대해 줄글로 설명하기 보다 근거가 되는 그림이나 표를 함께 보여주는 형태가 더 좋은 답변이 될 수 있습니다. 복잡한 절차나 개념은 다이어그램으로, 정량적 정보는 표와 차트로 전달할 때 가장 효과적이기 때문입니다.

이미지 1 VinQA 데이터 예시 ^[1]

이미지 1의 예시처럼, 어떤 제품의 설치 절차에 대해 물어봤을 때 단지 글로만 설명하는 대신, 해당 단계를 보여주는 그림을 설명 문장 바로 앞에 함께 제시하면 사용자는 절차를 훨씬 직관적으로 따라갈 수 있습니다.

LG AI연구원은 ‘답변에 시각 요소를 함께 활용하면 이해도를 크게 높일 수 있다’는 점에서부터 연구를 시작했습니다. 멀티모달 문서 QA(Question Answering), 그 중에서도 단순히 그림을 덧붙이는 수준을 넘어, 근거가 되는 시각 요소를 적절한 위치에 배치하는 Long-Form Answer를 생성하는 연구를 진행했고, 그 성과로 CVPR 2026에 VinQA 논문을 발표할 수 있었습니다. 

본 연구는 생성과 평가, 두 가지 측면에 초점을 맞추고 있습니다. 

"어떻게 하면 실제 문서에서 근거가 되는 시각 요소를 정확히 고르고, 적절한 위치에 배치해 긴 답변을 생성할 수 있는가. 그리고 해당 답변의 품질을 어떻게 신뢰성 있게 측정할 것인가." 

실제 문서는 본질적으로 멀티모달입니다. 한 페이지 안에 다이어그램, 차트, 표, 사진 등 여러 시각 요소가 다양한 레이아웃으로 공존합니다. 그런데 MLLM(Multimodal Large Language Model)을 활용한 기존 문서 QA 연구들은 크게 두 갈래—문서 전체를 통째로 모델에 넣는 방식과, 멀티모달 RAG로 관련 페이지를 먼저 검색해 답을 생성하는 방식—로 발전해 왔지만, 공통적으로 답변을 텍스트로만 생성했습니다.

VinQA는 단순한 모델이 아니라, 실제 문서 기반의 멀티모달 QA 데이터셋과 그에 맞는 평가 프레임워크를 함께 제안한 연구입니다. 연구의 핵심 기여점은 다음과 같이 네 가지 주요 축으로 정리할 수 있습니다. 

이미지 2. VinQA 데이터 구축 과정 ^[1]

VinQA의 각 인스턴스는 (i) 텍스트와 시각적 이해를 모두 요구하는 질문(Question), (ii) 멀티모달 RAG 파이프라인으로 검색한 상위 K개 관련 페이지로 구성된 맥락(Context), 그리고 (iii) 그 맥락에 근거해 작성된 긴 답변(Multimodal Grounded Answer)으로 이루어집니다. 답변에서는 인용된 시각 요소가 이를 설명하는 문장 바로 앞에 삽입됩니다.

데이터셋은 MMLongBench-Doc^[2], TAT-DQA^[3], SlideVQA^[4] 등 다양한 공개 문서 QA 데이터셋의 원본 문서만을 모아(기존 QA 라벨은 사용하지 않음) 학술 논문·웹·교과서·가이드북·연구 보고서·재무 보고서·슬라이드 등 7개 도메인으로 재구성했습니다. 규모 면에서도 학습 Split은 약 13만 페이지·42,700개 QA, 테스트 Split은 9,373페이지·1,605개 QA에 이르며, 단일 페이지뿐 아니라 여러 페이지·여러 문서·여러 모달리티에 걸친 추론 질문과, 답이 없는 경우를 가려내는 'Unanswerable' 질문까지 포함합니다. 기존 데이터셋 대부분이 짧은 단답·텍스트 전용이었던 것과 달리, VinQA는 긴 답변 + 텍스트·시각 요소 병합을 동시에, 그리고 가장 넓은 도메인 범위에서 다룹니다.

이미지 3. Page Encoding, Modality Encoding 방식 ^[1]

원본 문서 페이지 이미지를 MLLM 입력으로 변환하면서 시각 요소를 인용하게 만드는 두 방식을 함께 연구했습니다. Page Encoding은 전체 페이지 이미지를 그대로 인코딩하고, 탐지된 시각 요소의 바운딩 박스를 함께 제공해 그 영역을 인용 단위로 삼습니다. 레이아웃 등 시각 정보를 온전히 보존하지만, 모델이 픽셀에서 직접 글자를 읽고 박스 영역을 해석해야 하는 부담이 있습니다. Modality Encoding은 OCR로 텍스트를 추출하고 시각 요소를 잘라내(Crop) 따로 인코딩한 뒤, 그 크롭 이미지를 인용 단위로 씁니다. 레이아웃 정보 일부를 잃는 대신, 텍스트와 시각 요소를 모달리티별로 정밀하게 다룰 수 있습니다.

텍스트와 시각 요소가 섞인 긴 답변은 기존 지표로 품질을 가늠하기 어렵습니다. 이에 본 연구에서는 텍스트 전용 근거 답변 평가 도구인 GroUSE를 멀티모달로 확장한 M-GroSE(Multimodal Grounded QA Scoring Evaluator)를 제안했습니다^[5]. 답변 가능한 질문은 관련성(Relevance)·완전성(Completeness)·충실성(Faithfulness) 세 기준으로, 답변 불가능한 질문은 모델이 올바르게 "답할 수 없음"을 판단하는지를 Unanswerability F1으로 평가합니다. 여기에 시각 요소 인용 정확도를 직접 측정하는 Visual Source F1, 그리고 인용된 시각 요소의 효과성·배치 적절성·충실성을 MLLM 심판으로 평가하는 Visual G-Eval을 더했습니다.

VinQA 테스트셋 실험에서, GPT-4.1·Claude 3.5 Sonnet 같은 프론티어 상용 모델이 여전히 최고 점수를 기록했지만, 오픈소스 Qwen2.5-VL-7B을 VinQA 학습셋으로 파인튜닝하자 성능이 크게 향상되며 상용 모델과의 격차를 뚜렷하게 좁혔습니다. 파인튜닝 전 Qwen2.5-VL-7B의 M-GroSE 평균은 2점 안팎에 그쳤지만, 파인튜닝 후에는 3.3점대까지 올라 최고 성능(3.5~3.6점대)에 근접했습니다.

이미지 4. 맥락 길이(문서 복잡도)에 따른 M-GroSE 점수 ^[1]

어떤 조건에서 이러한 점수 향상이 나타나는지를 두 가지 축으로 더 깊이 확인해봤습니다. 

첫째, 맥락 길이(문서 복잡도)에 따른 분석입니다. 맥락 토큰 길이를 0~2.5K부터 10K 이상까지 구간으로 나눠 보면, VinQA 파인튜닝은 모든 구간에서 일관되게 답변 품질을 끌어올렸습니다. 또한, 파인튜닝 전에는 맥락이 길어질수록 Modality Encoding이 Page Encoding보다 우세했지만(이미지4 그림 (c)의 양의 차이), 파인튜닝 후에는 그 격차가 거의 사라져 Page Encoding도 명시적 파싱 없이 복잡한 문서를 처리할 수 있음을 보여줍니다.

이미지 5. 시각 요소 유형별 인용 정확도 (Visual Source F1) ^[1]

둘째, 시각 요소 유형별 인용 정확도(Visual Source F1) 분석입니다. 파인튜닝 전에는 모든 유형의 시각 요소에 대해 인용 성능이 VinQA 학습 후 크게 개선되었습니다. 여러 유형을 함께 인용해야 하는 Mixed 사례에서도 향상이 나타나, VinQA가 이질적인 시각 요소를 다루는 능력까지 끌어올린다는 점을 확인했습니다. 또한, 맥락 길이 분석 때와 마찬가지로 학습 후에는 Page Encoding과 Modality Encoding의 성능 차가 거의 없어짐을 확인할 수 있습니다.

마지막으로, 시각 요소가 답변에 제대로 어우러졌는지를 직접 평가하기 위해 Visual G-Eval로 효과성·위치·충실성을 1~5점으로 채점했습니다. 그 결과 두 인코딩 방식 모두 VinQA 학습 후 세 지표가 일관되게 향상되었습니다. 예를 들어 Page Encoding 기준으로 효과성은 3.44→3.94, 위치는 4.24→4.77, 충실성은 3.44→3.85로 올랐습니다. 다만 시각 요소를 얼마나 효과적으로 활용·설명하는지(효과성·충실성)에서는 Modality Encoding이 여전히 약간의 우위를 유지했습니다. 정리하면, VinQA는 멀티모달 답변의 근거성(Groundedness)과 시각 요소 인용 정확도를 모두 끌어올리는 효과적인 학습 신호를 제공함을 확인할 수 있습니다. 

VinQA는 출발점입니다. LG AI연구원이 가장 주목하고 있는 Next Step은 AI Agent 관점으로의 확장입니다. 현재 VinQA는 멀티모달 리트리버(Retriever)가 한 번에 가져온 페이지를 맥락으로 받아 그 안에서 답하는 구조입니다. 그러나 실제 업무에 적용될 경우, 한 번의 검색만으로는 충분한 않은 경우가 많습니다. 그래서 LG AI연구원은 모델이 스스로 부족한 정보를 판단해 필요한 자료를 능동적으로(Agentic) 검색·수집하고 여러 문서를 오가며 근거를 보강하는 방향으로 연구를 이어갈 계획입니다. 문서를 읽고 글과 시각 요소로 답하는 VinQA의 능력은 사용자의 업무를 대신 수행하는 에이전트의 핵심 역량이 되며, 근거를 함께 제시하는 Grounding은 환각(Hallucination)을 줄여 결과를 신뢰할 수 있게 만듭니다.

또한 LG AI연구원은 장기적으로 이러한 기술이 실제 업무 자동화와 신뢰할 수 있는 AI Agent로 이어지도록 연구를 이어가며, "AI가 사람처럼 문서를 읽고, 사람처럼 보여주며 답하는" 미래를 만들어가고자 합니다.