우리는 매일 수많은 문서를 마주합니다. 문서에는 텍스트뿐만 아니라 도표, 이미지, 그래프 등 다양한 형태의 정보가 포함되며, 우리는 이를 종합적으로 이해하여 문서에 담긴 깊은 의미를 해석합니다. 하지만 컴퓨터는 아직 사람처럼 복잡한 형태의 정보를 완전히 이해하지 못하기 때문에, 문서 내용을 분석하고 활용하려면 컴퓨터가 인식할 수 있는 형태로 변환하는 번거로운 작업이 필요합니다.

“만약 AI가 문서 속 다양한 형태의 데이터를 이해할 수 있다면, 우리의 삶은 어떻게 변화할까요?”

LG는 ‘세상의 모든 문서를 이해하는 AI’를 구현하는 것을 목표로, Deep Document Understanding (DDU) 기술을 연구해 왔습니다. LG의 DDU 기술은 일반 문서의 텍스트, 그래프, 테이블을 이해하는 것은 물론, 화학 논문과 특허 속 복잡한 분자구조식, 반응식까지도 해석해 냅니다.

이미지 1. LG의 DDU 기술 ^[1]

LG의 DDU 기술의 연구 성과를 지금 공개합니다. 바로 화학 분야에 특화된 DDU 모델, ‘MolMole’ 입니다. MolMole 모델은 주요 경쟁 모델 대비 SOTA를 달성하며 뛰어난 성능을 입증했습니다. MolMole 모델의 Technical Report를 통해 모델의 기술적 설명과 성능 평가 결과를 확인할 수 있습니다.

또한 LG는 MolMole 모델 개발과 더불어, 화학 분야 DDU 기술의 성능을 측정하는 자체 벤치마크 데이터셋도 구축했습니다. 지금까지 OCSR (Optical Chemical Structure Recognition) 등 단일 모델의 성능을 평가하는 벤치마크는 있었지만, 실제 화학자들의 사용 환경에 맞게 전체 PDF 문서에서 분자구조식 추출 성능을 평가하는 벤치마크는 부재한 상황이었습니다. 우리는 모델 성능을 측정할 수 있는 벤치마크를 구축함으로써 이러한 한계를 극복하고 AI 생태계 활성화를 돕고자 합니다. 나아가 연내에는 벤치마크 데이터셋을 공개할 예정입니다. 우리의 이번 도전을 통해 DDU 기술 연구자들 간에 다양한 논의와 기술적 교류가 이뤄지기를 기대합니다.

화학 분야 특화 DDU, MolMole

화학 특허 문서와 논문 속에는 수많은 분자구조식 정보가 포함되어 있습니다. 사람은 이를 읽어내고 이해할 수 있지만, 기계는 대부분의 정보를 읽어내지 못합니다. 그런데 AI가 화학 문서 속 분자구조식을 인식하고, 기계가 이해할 수 있는 데이터로 변환하는 일이 가능해진다면 어떤 변화가 생길까요?

가장 먼저, 분자구조식에 대한 대규모 데이터 베이스를 구축할 수 있게 됩니다. 연구자들은 데이터 베이스를 활용해 화학 구조식을 검색하고, 연구에 필요한 대규모 분석 작업을 진행할 수 있습니다. AI 기술로 화학자들의 연구 효율을 높이고, 나아가 화학 분야의 혁신적 발견을 지원하게 될 것으로 기대됩니다.

분자구조식 인식 기술의 높은 난이도
복잡한 문서에서 분자구조와 반응 데이터를 추출하는 작업은 쉽지 않습니다. 특허와 논문 속에는 매우 다양한 형태의 화학 정보가 담겨있고, 규칙을 정의할 수 없는 비정형적인 특징을 지니기 때문입니다. 문서의 레이아웃 자체도 복잡해, AI가 이를 정확하게 인식하도록 개발하는 것은 매우 높은 기술적 난이도를 요구합니다.

MolMole만의 특징과 기술력
MolMole의 중요한 특징은 실제 연구 현장의 니즈를 반영해 하나의 프레임워크로 구현했다는 점입니다. 기존 화학 분야 DDU 기술은 분자구조식 이미지를 모델에 입력하면, 이를 변환하는 데 그쳤습니다. 그러나 실제 연구 현장에서 사용되는 특허나 논문 등의 자료는 대부분 PDF 문서 형태로 존재하며, PDF 문서 속 이미지를 일일이 잘라 입력해야 하는 번거로움이 있었습니다. 그래서 다른 AI 모델은 활용도가 낮아질 수밖에 없었습니다. 이러한 불편함을 개선하기 위해 MolMole은 PDF 문서를 그대로 모델이 입력할 수 있도록 구현되었습니다. MolMole에 PDF 문서를 입력하면, 한 번에 분자구조 등 화학 데이터를 인식해 제공합니다.

MolMole 모델은 ViDetect, ViReact, ViMore의 3개 모듈로 구성되어 있습니다. ViDetect와 ViReact는 문서에서 분자구조식 영역 및 구조화된 반응 정보를 추출하고, ViMore는 분자구조 및 화학 반응식의 구성을 인식하는 역할을 수행합니다.

이미지 2. MolMole 모델 파이프라인^[1]

ViDetect : 문서에서 분자구조식 영역을 추출
ViDetect 모듈은 PDF 문서 내에서 분자 구조식에 해당하는 영역을 Bounding Box로 정확히 검출하는 역할을 수행합니다. 기존의 일반적인 Object Detection과는 달리, 분자 구조식은 단 하나의 원자(atom)라도 누락되면 완전히 다른 분자로 인식될 수 있기 때문에, 더 높은 정밀도와 정확도가 요구됩니다. 따라서 ViDetect는 보다 정교한 객체 검출 기술을 적용하여, 구조식의 모든 구성 요소를 빠짐없이 포착하는 것을 목표로 합니다.
ViReact: 문서에서 구조화된 반응 정보를 추출
화학 반응식은 일반적으로 반응물(reactants), 반응 조건(conditions), 생성물(products)로 구성됩니다. ViReact 모듈은 각 반응식으로부터 이들 구성 요소의 위치를 식별하고, 해당 영역에 대해 적절한 클래스를 부여하는 역할을 합니다. 반응식은 단순한 단일 라인 형태부터 트리(Tree) 구조, 그래프(Graph) 구조 등 복잡한 형태로 존재할 수 있어, 이를 정확히 추출하는 것은 기술적으로 까다로운 과제입니다. ViReact는 이러한 다양한 형태의 반응식을 효과적으로 처리하기 위한 구조화된 정보 추출 방식을 제공합니다.
ViMore: 분자 구조식을 SMILES, InChI, Mol 포맷으로 변환
ViMore 모듈은 문서 내 분자 구조식을 인식한 후, 해당 구조의 원자(Atom)들과 그들 간의 결합 관계를 분석하여, 이를 SMILES, InChI, Mol과 같은 화학 구조 표현 포맷으로 변환합니다. 이 과정에서 단 하나의 원자나 결합을 놓칠 경우, 전혀 다른 분자로 해석될 수 있으므로 높은 수준의 정확도가 요구됩니다.
현실적인 제약 사항도 고려했습니다. 특허 문서는 스캔 형태로 존재하는 경우가 대부분인데, 스캔 노이즈가 많아 AI가 인식할 때 정확도가 떨어지는 상황이 자주 발생합니다. 이를 보완하기 위한 기술적 노력도 진행해 모듈을 개발했습니다.

New Tech, New Benchmark

MolMole 연구와 함께, DDU 분야의 새로운 기준을 세우는 데도 집중했습니다. 바로 화학 분야 DDU 기술의 성능을 측정하는 자체 벤치마크 데이터셋을 구축한 것입니다. 앞에서 설명한 것처럼, 기술적인 니즈와 중요도는 높았지만 실제 이를 구현하기가 현실적으로 어려웠고, 공신력 높은 벤치마크도 부재한 상황이었습니다. 기존에 OCSR 영역의 벤치마크가 존재했으나, PDF 문서 단위에서의 인식 및 변환 성능을 측정하지는 않는다는 점이 한계였습니다.

LG는 실제 연구 현장에서의 사용성을 고려한 맞춤형 데이터셋을 새롭게 구축하고, PDF 문서 단위에서 화학 정보 인식 기술을 제공하는 주요 모델과 성능 비교 평가를 진행했습니다. LG가 구축한 자체 벤치마크 데이터셋은 연내 연구자들에게 공개할 예정입니다.

Key Performance

ViMore 모듈, 공신력 있는 OCSR 벤치마크에서 SOTA 달성

OCSR 성능 평가에는 대표적으로 CLEF, JPO, UOB, USPTO의 4개 벤치마크가 사용됩니다. JPO는 일본 특허 문서에서 추출된 이미지로 구성되어 있고, 주로 저해상도와 비정형 구조 중심의 데이터셋으로 난이도가 높습니다. USPTO의 경우 미국 특허 문서에서 추출된 이미지로, 이미지 내 구조가 복잡한 경우가 많습니다. CLEF와 UOB는 비교적 선명한 이미지로 구성된다는 특징이 있습니다.

LG의 분자구조식 변환 모델인 ViMore는 이 중 3개의 벤치마크에서 기존의 SOTA 딥러닝 모델들이었던 DECIMER Image Transformer, MolScribe, MolGrapher 성능을 뛰어넘으며 SOTA를 달성했습니다. LG 모델의 분자구조식 변환 정확도가 기존 모델보다 높다는 것을 입증한 것입니다. 특히 LG 모델의 경우, 난이도 높은 데이터셋으로 구성된 JPO에서 타 모델 대비 높은 성능을 기록했다는 점이 특징입니다. 그 밖의 데이터셋에서도 기존 SOTA 모델 대비 더 높거나 비슷한 성능을 보이고 있어 범용적인 활용성과 우수한 정확도 성능을 갖췄다고 할 수 있습니다.

이미지 3. OCSR performance on public benchmarks.
InChI and SMILES refer to exact match accuracy based on InChI keys and SMILES strings, respectively^[1].

LG의 모델, 자체 벤치마크에서 주요 경쟁 모델 대비 성능 우위 입증

ViDetect & ViMore

우리는 자체 벤치마크 데이터셋으로 분자구조식 영역 검출 모듈인 ViDetect, 분자구조식 변환 모듈인 ViMore의 통합 성능도 평가했습니다. 통합 성능 평가인 만큼, 분자구조식 영역을 검출하고 변환하는 기능 모두에서 높은 성능을 보여야 합니다. 한쪽 모듈의 성능이 낮을 경우 전체적인 성능도 낮아지게 됩니다.

LG가 구축한 벤치마크 데이터셋은 특허와 논문을 나누고, 특허 300 페이지와 논문 250 페이지 각각에 대한 평가를 진행합니다. 특허와 논문이 지니는 서로 다른 특성을 반영하기 위해서입니다. 특허는 스캔 이미지의 해상도가 낮거나, 다양한 형식의 그림이 포함되는 경우가 많아 인식 난이도가 높습니다. 한 장에 분자구조식이 빽빽하게 채워져 있거나, 테이블 안에 분자구조식이 배치된 경우 등입니다. 반면 논문은 해상도가 높고 선명한 경우가 많지만, 분자구조식이나 배경에 컬러가 포함되어 인식이 어려운 경우가 발생한다는 점에 차이가 있습니다.

또한, 이렇게 특허와 논문을 분류함으로써 최대한 다양한 영역에서 테스트셋을 확보할 수 있다는 점도 LG가 구축한 벤치마크 데이터셋의 강점입니다.

결론적으로 LG의 ViDetect & ViMore는 기존 경쟁 모델인 Decimer Segmentation & Image Transformer, MolDetect & MolScribe 대비 Precision Recall 부분에서 성능 우위를 보였습니다. 이는 실제 모델 사용 환경에서 가장 신뢰할 수 있는 End-to-End 성능을 의미합니다.

이미지 4. Combined performance of molecule detection to conversion on Patents and Articles^[1].

ViReact

LG의 벤치마크 데이터셋으로 반응식 검출에 대한 성능 평가도 진행했습니다. 그 결과, 기존 경쟁 모델인 ReactionDataExtractor2.0, RxnScribe 대비 더 높은 Precision Recall 성능을 확인할 수 있었습니다.

이미지 5. Reaction parsing performance on Patents and Articles^[1].

앞으로 다가올 변화

지금까지 살펴본 것처럼, MolMole과 같은 화학 분야 특화 DDU 모델이 상용화되면 분자구조식에 대한 대규모 데이터 베이스 구축이 가능해집니다. 이를 통해 화학자들은 원하는 구조식을 신속하게 검색하고, 방대한 화학 데이터를 기반으로 새로운 물질을 설계하거나 연구를 더욱 체계적으로 확장할 수 있게 됩니다. 이는 단순한 연구 효율성 향상을 넘어, 신약 개발, 신소재 탐색 등 화학 산업 전반의 혁신을 가속하는 데 핵심적인 역할을 할 것입니다.

또한 최근 수학적 논리 이해, 과학적 개념 추론 등 고차원적 사고를 수행한 AI 모델에 대한 연구가 활발히 진행되고 있습니다. LG는 DDU 기술을 통해 화학 분야 핵심 정보를 정밀하게 해석하고 구조화함으로써, 차세대 고성능 추론 모델의 학습 기반을 마련하는 데 기여하고자 합니다.

MolMole을 시작으로, LG는 세상의 모든 문서를 완벽히 이해하고 해석하는 DDU 기술을 선도해 나가겠습니다. LG가 AI 기술로 만들어가는 변화를 기대해주세요!

▶ LG’s DDU, Unlock the Power of AI (YouTube)