EXAONEPath : 기가 픽셀 크기의 조직병리 이미지 처리를 위한 MIL(Multi-Instance Learning) 프레임워크와 패치 단위 파운데이션 모델

LG AI연구원이 조직병리 이미지 처리에 특화된 모델인 EXAONEPath를 오픈소스로 공개합니다. 조직병리 이미지는 보통 20k x 20k 로 이미지 사이즈가 매우 크고, 이미지가 가지는 색조의 범위도 범용 이미지와 상이합니다. 조직병리 이미지에서 다루는 객체도 핵, 세포질 등 한정적이라는 점도 특수한 점입니다. 때문에 조직병리 이미지를 효율적으로 처리하고 분석할 수 있는 특화된 모델 개발의 필요성이 대두되었고, 이에 특화된 EXAONEPath를 오픈소스로 공개하게 되었습니다.

이번에 공개한 EXAONEPath는 우수한 성능과 경제성을 모두 확보한 모델입니다. 6가지 벤치마크를 활용한 결과 조직병리 이미지 분석의 ‘정확도’가 글로벌 빅테크의 경쟁 모델과 유사 수준으로 높다는 점을 확인했습니다. 주목할 만한 부분은 경쟁 모델 대비 월등한 경제성입니다. 경쟁 모델 대비 적은 양의 학습 데이터를 사용했고 사이즈도 1/10 수준의 경량화된 모델로, 데이터 학습에 소요되는 인프라 비용이 적어 경제성 측면에서 우월합니다.

지난주 공개한 EXAONE 3.0과 EXAONEPath는 LG AI연구원이 그려가는 ‘Expert AI’의 지향점을 현실에 구현해 낸 성과들입니다. 특히 EXAONEPath가 Bio 분야 혁신의 시작이 되어줄 것이라 기대합니다. AI가 조직병리 이미지를 이해하고 분석할 수 있게 되면, 기존 유전자 검사 단계 없이도 유전자 변이를 예측하고 적합한 치료 방법과 약의 종류를 결정할 수 있습니다. 최대 2주까지 소요되던 기존의 유전자 검사 기간을 단축함으로써 시간과 비용을 모두 줄일 수 있게 됩니다. Bio 분야 전문가들이 EXAONEPath를 통한 혁신을 경험하고, 나아가 우리의 삶에서도 이러한 변화를 경험하는 순간이 오기를 기대합니다. 또한 EXAONE 3.0과 EXAONEPath가 보여주는 Expert AI의 모습은 LG그룹이 그려 나가는 ‘ABC’의 방향과도 맞닿아 있습니다. AI와 Bio, Cleantech 분야 미래 성장동력과 기술 경쟁력 확보의 과정에서 LG AI연구원도 끊임없는 연구와 혁신을 이어가겠습니다.

이번 포스팅에서는 조직병리 이미지 분야 연구 동향과 LG AI연구원이 오픈소스로 공개한 EXAONEPath에 대해 자세히 소개합니다.

조직병리 이미지 연구 동향

조직병리 이미지(Histopathology Images)는 일반인들에게는 생소하지만 임상의학에서는 필수적인 데이터입니다. 조직병리 이미지 분석을 통해 세포 및 조직 특성을 파악하고 진단명 확정 및 치료, 복약 계획을 수립할 수 있습니다. 조직병리 이미지를 통해 임상병리학자들은 기본적으로 세포와 주변 조직들의 형태적(Morphology)/구조적(Structure) 특징들을 관찰합니다. 따라서, 해당 특징들이 시각적으로 잘 표현될 수 있도록 슬라이드 시편(Specimen)을 만드는 데 노력을 많이 기울입니다.

먼저 진단을 위해 환부와 정상조직이 함께 있는 조직을 잘라낸 후, 수분 제거 및 조직구조 유지와 부패를 막기 위해 포르말린처리(Formalin Fixation)를 진행합니다. 그리고 더 이상 조직구조가 변형되지 않도록 파라핀을 주입하여 고정(Paraffine Embedding)시킵니다. 이러한 과정을 FFPE (Formalin Fixed-paraffine Embedded) 처리라고 합니다. 이후 4um 정도의 두께로 슬라이싱하여 현미경 촬영용 슬라이드로 만들고, 세포핵을 더 잘 보이게 하기 위한 염색 처리를 합니다. H&E 염색 (Hematoxylin and Eosin Staining)은 일반적인 염색법이며 이를 통해 세포사이의 거리나 세포 자체의 크기들을 쉽게 식별할 수 있게 됩니다. 이렇게 만들어진 슬라이드를 광학 현미경으로 촬영하면 비로소 진단을 위한 조직병리 이미지인 Whole Slide Image(WSI)을 얻을 수 있게 됩니다.

범용 이미지는 AI 모델 학습을 위해 보통 256px~1024px 사이로 리사이즈 되어 사용됩니다. 그렇게 해도 전체적인 의미는 크게 변하지 않기 때문에 보통은 허용이 됩니다. 그러나 WSI는 이러한 방법이 허용되기에는 크기가 너무 큽니다. 예를 들어, 대물렌즈 20배율(x20)로 촬영한 이미지의 픽셀당 길이(MPP, Micro-meter Per Pixel)는 보통 0.5입니다. 만약, 시편에 2cm x 2cm 조직이 올라가 있다면 획득되는 이미지 크기는 최소 40,000px x 40,000px입니다. 최신 TV의 최대 픽셀 사이즈가 한 변에 8,000px임을 감안하면 최소 5배 크기입니다(면적으로는 25배). 이 정도 크기의 이미지를 256px~1024px로 대폭 축소하게 되면 세포의 형태는 식별 불가능해집니다.

이미지 1. MIL 프레임 워크

 

그래서, 조직병리 이미지 처리 분야에서는 이미지 1의 Multi-Instance Learning (MIL)이라는 프레임워크^[1]를 주로 사용하고 있습니다. MIL에서는 이미지를 패치(a.k.a 타일) 단위로 쪼개서 각각의 패치를 사전학습 된 이미지 인코더를 통해 표현형 벡터(Latent Vector)로 변환하고 이것들을 통합하여 전체 이미지(슬라이드) 단위의 표현형 벡터로 만들어냅니다. 이러한 방식으로 세포들의 형태적 특성을 유지하면서 전역 정보도 담을 수 있게 합니다. MIL 프레임워크는 본래 데이터-레이블의 형태가 아닌 데이터백(Bag)-레이블의 형태로 문제가 주어졌을 때 사용되는 ML 방식입니다. 즉, 기가픽셀 사이즈의 조직병리 이미지를 패치들의 백으로 보고 MIL 프레임워크로 다루는 것입니다.

 

조직병리 이미지 처리에 특화된 모델 필요성 대두

최근(~23년)까지 조직병리 이미지 처리 분야의 사전학습된 이미지 인코더는 대부분 범용이미지를 학습시킨 CNN을 사용하였습니다. ImageNet 1k를 지도 학습시킨 ResNet 계열들이 주로 사용되었는데, Pretrained ResNet이 그간 보여준 범용성도 한 몫 했으나 더 큰 이유는 조직병리 이미지를 지도학습 할 방법이 없다는 것이 주된 이유였습니다. 조직병리 이미지를 통해 파악 가능한 레이블이 무엇인지에 대한 정리가 되어 있지 않았고, 레이블을 할당하더라도 ImageNet과 같이 클래스 밸런스가 뛰어난 데이터셋을 만들어 내는 것도 현실적으로 곤란한 부분이 있습니다.

그러나 우리는 조직병리 이미지는 범용 이미지와는 다른 고유한 특성을 가지고 있기 때문에, 이에 특화된 모델이 필요하다는 데 초점을 맞췄습니다. 예를 들어 범용 이미지에는 사람, 사물 등 다양한 객체가 존재하고 색채나 크기들도 다양한 반면 조직병리 이미지 내의 객체들은 세포, 세포질로만 이루어져 있어 상대적으로 단순한 편입니다. 또한 조직병리 이미지는 세포의 크기, 주변 조직들의 분포들이 많은 정보를 담고 있기 때문에 학습되어야 할 패치의 스케일이 일정해야 합니다. 우리는 조직병리 이미지의 고유한 특성이 고려되지 않은 Pretrained CNN들의 표현형 벡터 품질에 의문을 갖게 되었고, 성능적인 한계도 명확하다는 결론을 내리게 되었습니다. 조직병리 이미지 처리 분야에서 리딩 기업이 되기 위해서는 조직병리 이미지를 학습시킨 사전학습 인코더가 필요하다는 점에 공감하게 되었고, 연구 개발을 진행해왔습니다. 

 

조직병리 이미지 처리에 특화된 사전학습 모델, EXAONEPath

최근 발전된 자기지도학습 방법들은 조직병리 이미지 사전학습 인코더를 확보할 수 있는 기술을 제공해 주었습니다. 비전 분야의 자기지도학습은 최근 Teacher-student Model을 중심으로 비약적으로 성장하였습니다. MoCo^[2], DINO^[3,4]등의 알고리즘으로 대변되는 자기지도학습 방법은 Teacher Network가 출력하는 이미지 벡터를 Student Network가 배우는 형식으로 학습합니다. DINO를 예로 들면 Teacher Network에는 원래 이미지에 적은 강도로 변형한 이미지를 입력하고, Student Network에는 높은 강도로 변형한 이미지를 입력합니다. 그러나 이 두 이미지는 의미적으로는 같아야 합니다. 따라서 입력 이미지의 변형 강도가 다르더라도 두 네트워크에서 출력되는 표현형은 비슷해야 하는 것입니다. 이러한 방식을 통해 학습시키면 이미지의 객체, 형태 등을 잘 이해하는 지식을 모델에 내포할 수 있습니다. 이는 레이블이 있는 데이터를 대상으로 후속 작업을 학습시킬 때 우월한 성능으로 증명됩니다.

조직병리 이미지 사전학습 모델도 DINO 방식으로 학습될 수 있습니다. 다만 WSI에서 조직 부분만을 분할하여 Teacher-student Network에 입력될 수 있는 크기로 패치들을 만들어내야 합니다. 이 때, 전술한 대로 각 패치의 스케일을 일정하게 유지시켜 주어야 하기 때문에 WSI의 메타 정보를 읽어서 모든 패치가 동일한 MPP를 갖도록 이미지 사이즈를 조정했습니다. 우리는 우선 35,000여장의 공개 WSI 데이터로 사전학습 모델을 학습시켰습니다. 패치 단위로는 약 2.8억 장 정도입니다.

그런데 조직병리 이미지 패치들을 DINO를 이용하여 학습시켰을 때 관찰된 문제가 있었습니다. 이미지 2의 상단에서 볼 수 있듯이 H&E 염색은 염색물질을 사용하여 사람이 염색을 하기 때문에 염색 상태가 이미지에 따라 천차만별입니다.

 

이미지 2. 원본 H&E 염색 이미지(상단), Stain Normalization 처리 후 이미지(하단), 표본 이미지(하단 좌측)

 

이로 인해, 이미지 3의 좌측에서 볼 수 있듯이 DINO로 학습된 패치들이 색감을 따라 슬라이드 별로 클러스터링 되는 현상들이 발견되었습니다. 머신러닝의 관점에서는 DINO가 패치에서 보여지는 세포들의 형태와 주변 조직들의 분포를 학습하는 것이 아니라 단순히 색감을 학습해서 모이는 현상으로 보여지는 것입니다. 따라서 학습된 모델이 출력하는 패치들은 슬라이드의 색감에 의존하게 되고, 이는 튜닝 작업의 질에도 악영향을 미칠 수 있습니다.

이를 해결하기 위해 Stain Normalization^[5]이라는 정규화 기법을 활용하였습니다. 이미지 2의 하단 좌측과 같이 염색 품질이 좋은 이미지를 표본으로 두었고, 이미지 2의 하단과 같이 패치들의 색감을 이 표본과 동일하게 변환시켰습니다. 이를 통해, 색감에 대한 편차를 약화해 모델이 색감을 학습하기 보다는 세포 형태와 크기, 그리고 주변 조직 분포를 학습하도록 했습니다. 이는 이미지 3의 우측에서 확인할 수 있듯이 슬라이드별로 패치가 모이지 않고 골고루 흩어져 분포되는 결과를 확인할 수 있습니다.

이미지 3. Stain Normalization 전(좌), 후(우)의 표현형벡터 분포. 슬라이드 10개에서 무작위 1000개의 패치에 대한 벡터 플롯 결과

이렇게 학습된 사전학습 조직병리 이미지 인코더가 EXAONEPath 입니다. 우리는 6가지 패치 이미지 벤치마크 데이터셋을 활용해 EXAONEPath, 그리고 경쟁모델과 성능을 비교했습니다. 경쟁 모델(prov-GigaPath^[6], Rudolf V^[7], Phikon^[8], CTransPath^[9], Lunit^[10])들은 많게는 16만여 장의 병리 이미지를 학습하였고, 적게는 2,200만 개부터 많게는 11억 개의 파라미터를 가지고 있었습니다. 반면 EXAONEPath는 8,600만 개의 파라미터를 사용하였습니다. 이미지 4, 5에서 확인할 수 있듯이 EXAONEPath는 상대적으로 적은 학습 데이터와 작은 사이즈의 모델로 학습되었음에도 글로벌 빅테크 모델과 동등한 정확도 성능을 갖췄음을 확인할 수 있었습니다. 학습 시 필요한 리소스가 적게 필요하다는 점에서 경제성과 효율성을 확보하였고, 조직병리 이미지를 추가로 확보할 경우 더 높은 성능 향상을 기대할 수 있습니다. 특히, 대/직장암 및 위암의 MSI(Micro Satellite Instability, 돌연변이가 MMR protein의 유전자 결함에 의해 복구가 되지 않으면서 반복횟수에 변화가 발생하여, 그 길이가 정상 세포와 다르게 되는 현상을 나타내는 척도. 수치에 따라 흔히 MSS(Stable), MSI-L/H(Instable Low/High)로 구분) 예측 성능이 경쟁 모델과 비교하여 가장 높은 것으로 나타났습니다(Linear Probing 기준).

 

이미지 4. 파라미터 수, 학습 슬라이드 수 대비 성능 

이미지 5. 모델별 벤치마크 성능 상세

 

LG AI연구원은 학습데이터 추가와 학습 방법의 고도화를 포함한 포괄적인 후속 연구를 통해 EXAONEPath의 업데이트를 거듭해 나갈 것입니다. 이를 위해, 국내외 의료기관과의 연구협약을 이어가고 있으며 실증적인 벤치마킹을 지속하여 EXAONEPath의 실사용 사례를 구축할 예정입니다.

 

이번 연구를 통해 패치레벨의 인코더 모델을 확보하였지만, MIL 프레임워크의 최종 목적은 슬라이드 레벨의 추론입니다. 아직은 슬라이드 레벨에서의 벤치마크 데이터셋이 부족하고, 프라이버시 및 윤리적인 문제로 인해 실증적 벤치마크를 확보하기도 쉽지 않으며, 있더라도 규모가 작은 실정입니다. 데이터 셋의 부족은 EXAONEPath가 출력한 패치 레벨의 표현형 벡터들을 슬라이드 레벨로 조합할 통합 네트워크(Aggregation Network)를 학습시키는 데 어려움을 겪게 합니다.

학습 데이터 부족이라는 현실적 문제를 해결하기 위한 연구도 이어가고 있습니다. LG AI연구원은 통합 네트워크에 자기지도/비지도 학습을 적용하기 위한 연구를 진행하고 있으며, 여기에는 조직병리 이미지와 관련한 다수의 환자 데이터와 랩 데이터가 함께 사용됩니다. 이러한 방향성은 의학계에서 최근 활발하게 진행되고 있는 중개의학(Translational Medicine)의 방향성과도 일치합니다. LG AI연구원은 다양한 환자 데이터를 통해 환자의 상태 및 치료 방법을 발견하고, 나아가 인류의 삶을 증진시키는 데 기여할 수 있도록 의료 AI 분야 연구에 매진하겠습니다.

 

Try EXAONEPath on Hugging Face →

View more details : EXAONEPath 1.0 Patch-level Foundation Model for Pathology →