[NeurIPS 2022] 개인화 암 백신 치료를 위한 HLA-peptide 결합 예측 모델

Introduction

암을 치료하는 기존의 항암제에는 1세대인 세포독성 항암제와 2세대인 표적항암제가 있었습니다. 1세대 세포독성 항암제는 독성 물질을 이용해 암세포를 직접 없애는 방식으로 작용하고, 2세대 표적항암제는 암의 성장을 가속하는 유전자나 비정상화된 암 억제 유전자를 저해하는 방식으로 암의 진행을 막습니다. 그러나 1세대 항암제의 경우 정상 세포에도 부정적인 영향을 미친다는 단점이 있으며, 2세대 항암제의 경우 돌연변이 유전자 발생 시 부작용이 있을 수 있다는 단점이 있습니다.

이를 보완하기 위해 3세대 항암제인 면역 항암제가 등장했습니다. 이는 암세포 자체를 공격하는 기존 항암제와는 달리 인공 면역 단백질을 체내에 주입해 면역 체계를 자극함으로써 면역 세포가 선택적으로 암세포만을 공격하도록 유도하는 치료약제로, 현재 개발되고 있는 여러 암 치료법 중 가장 많은 관심을 받고 있습니다.

Figure 1. 개인화 암 백신 치료 과정^[1]

면역 항암제가 겨냥하고자 하는 면역 요소에는 여러 가지가 있지만, 그중에 하나를 꼽자면 Human Leukocyte Antigen(HLA)가 있습니다. HLA는 Major Histocompatibility Complex(MHC)의 human version으로, 인간의 적응 면역 체계에 매우 중요한 역할을 합니다. 우리 몸의 세포는 지속적으로 단백질 조각을 배출하는데, 이 조각으로부터 생기는 8~10개의 아미노산으로 이뤄진 peptide가 HLA class I 분자와 결합하면 세포의 표면에 발현됩니다. 특정 peptide 혹은 epitope는 이러한 과정을 통해 세포 표면에 발현되었을 때, Cytotoxic T 세포가 이를 암세포로 인식하고 cytotoxin을 내뿜어 사멸시킵니다. 암세포의 유전 변이로 인해 발생하는 epitope를 neoepitope라고 하며, 이를 이용해 개인화된 암 백신을 만들 수 있습니다. LG AI연구원 Material Intelligence(MI) Lab은 이러한 HLA class I 분자와 neoepitope에 주목해 개인화된 암 백신을 만드는 AI 모델을 개발하고 있습니다. 또한, 이 과정에서 HLA-peptide 결합 예측 모델을 개발해 “Allele-conditional attention mechanism for HLA-peptide complex binding affinity prediction”이라는 이름의 논문을 선보였고, NeurIPS 2022 Machine Learning on Structural Biology(MLSB) Workshop에서 발표했습니다.

현업의 문제와 연구 계기

최근 Immune Epitope Database(IEDB)^[2]라는 오픈 데이터 세트가 공개되면서, HLA-peptide 결합 예측의 성능이 상당히 개선되었습니다. NetMHCPAN^[3]가 최초로 HLA-Peptide 결합 예측에 Neural Network를 사용한 뒤 Recurrent Neural Network, Convolutional Neural Network 등을 이용한 여러 모델이 발표되었습니다. 나아가 최근에는 Attention mechanism을 기반으로 Evolutionary Scale Modeling(ESM)^[4], Bidirectional Encoder Representations from Transformer(BERT)^[5] 등의 Self-supervised pretrained 모델을 이용한 방식도 다수 발표되었습니다. 이러한 방식은 일반적으로 Attention mechanism을 활용해 residue-level에서의 단백질(HLA)과 peptide 간 상호작용을 표현합니다. 하지만, 데이터가 상대적으로 부족한 상황에서, 어떤 방식으로 Attention mechanism을 활용해야 가장 효과적일지에 대한 구체적인 연구는 부족한 상황입니다.

이를 극복하기 위해 LG AI연구원에서는 peptide 정보를 이용해서 HLA 구조에 Attention을 취하는 Conditional attention mechanism을 제안하며, 좀 더 복잡한 기존의 concatenated 혹은 cross attention 방식보다 더 나은 성능을 확인했습니다. 또한, 파편화된 데이터 세트나 소스 코드를 활용해 객관적인 성능 비교가 어려웠던 기존 모델의 한계를 극복하기 위해 소스 코드와 데이터 세트를 통합했으며, 보다 공정한 성능 비교를 위해 측정 대상을 여러 아미노산의 feature 표현 방식과 pooling 방식으로 설정했습니다.

Figure 2. Attention 기반 모델의 구조^[9]

LG AI연구원의 연구 내용

Figure 3. GRU / CNN 기반 모델의 구조^[9]

본 연구를 통해 풀고자 하는 문제는 [HLA]와 [Peptide]라는 두 개의 문자열 시퀀스 간 관계를 예측하는 것입니다. 여기서 핵심은 두 문자열 시퀀스 간의 상호작용을 Attention mechanism으로 표현하는 것입니다. Attention mechanism을 이용한 기존 방식의 경우 Figure 2.a의 Bert attention과 같이 peptide와 HLA 시퀀스를 [SEP] 토큰으로 연결한 후 전체 시퀀스에 self-attention을 적용하거나 Figure 2.b의 Cross attention과 같이 peptide와 HLA에 각각 self-attention을 취한 뒤 두 시퀀스에 대해서 cross-attention을 취합니다. 하지만, 일반적으로 HLA 시퀀스의 경우 길이는 길지만 다른 HLA 간 구조의 다양성이 크지 않습니다. 반대로, peptide 시퀀스의 경우 길이는 짧지만 각 peptide 시퀀스 간 구조의 다양성이 상대적으로 크고, 담고 있는 정보도 좀 더 다양합니다.

이러한 점에 착안해서, 본 논문은 HLA 시퀀스를 peptide-단백질 상호 작용의 context로 사용하는 구조를 제안합니다. 먼저 self-attention을 통해 peptide 시퀀스에 대한 representation을 얻습니다. 얻어진 peptide representation을 attention의 query로(Q_pep), HLA 시퀀스를 attention의 key(K_HLA)와 value(V_HLA)로 놓고 attention 연산을 취해 peptide 시퀀스 길이만큼의 representation을 얻습니다. 이 representation에 대해 pooling 연산을 취한 뒤 MLP 연산을 통해서 최종적으로 peptide와 HLA의 binding affinity score를 예측합니다. 이 과정에서 모델은 peptide가 HLA 시퀀스에 결합하게 되는 binding site를 자연적으로 학습합니다.

Input embedding을 표현하는 방식으로는 크게 Learned Embedding(LE), Amino Acid Index(AA), ESM Pretrained Model의 Embedding(ESM)까지 세 가지를 고려했습니다. LE의 경우 각 amino acid character에 대해 trainable한 random initialized embedding을 이용했고, AA의 경우 각 amino acid의 물리/생물학적 특성 값^[6]과 BLOSUM matrix^[7]에서의 값으로 표현했으며, ESM의 경우 각 HLA 시퀀스를 input으로 했을 때 ESM model의 output embedding을 이용했습니다.

Pooling 방식으로는 [CLS] token과 Mean pooling, Learned weighting 등 세 가지를 고려했습니다. [CLS] token의 경우 시퀀스 끝에 [CLS] token을 추가해 [CLS] token 자리에 얻어진 final representation을 MLP의 input으로 활용하는 방법입니다. Mean pooling은 시퀀스의 final representation을 시퀀스 길이에 대해서 평균값을 취하는 방법이고, Learned weighting은 trainable한 weight를 각 시퀀스 자리에 곱한 후 평균값을 취하는 방식입니다.

Table 1. Input embedding에 따른 모델별 성능. (Pooling 방식: Learnable weight)^[9]

Table 2. Pooling 방식에 따른 모델별 성능(Input embedding: peptide=AA, HLA=ESM)^[9]

Table 1과 Table 2에서 볼 수 있듯이, input embedding이나 pooling 등 여러 방식을 고려해봤을 때 본 논문이 제안하는 conditional attention 방식이 전반적으로 더 좋은 성능을 보여주고 있습니다. 그 이유로는, 한정된 데이터 내에서 conditional attention이 peptide와 HLA의 길이의 차이, 다양성의 차이를 잘 고려해 효율적으로 attention 연산을 진행할 수 있었기 때문이라고 볼 수 있습니다. 또한, 좀 더 복잡한 HLA의 input embedding을 사용할수록 (LE → AA → ESM) 점진적으로 conditional attention model의 성능이 증가하는 추세를 볼 수 있습니다. 이는 본 모델이 pretrained model에서 나오는 좀 더 풍부한 정보를 효과적으로 사용하는 구조를 가지고 있기 때문이라고 볼 수 있습니다.

Figure 4. peptide 시퀀스에서 amino acid에 대한 attention weight의 분포.
(Left: positive binding, middle: negative binding instance의 분포. Right: positive의 분포와 negative의 분포 간의 차이 값)^[9]

Figure 5. HLA 시퀀스에서 amino acid에 대한 attention weight의 분포
(Left: positive binding, middle: negative binding instance의 분포. Right: positive의 분포와 negative의 분포 간의 차이 값)^[9]

또한 peptide와 HLA의 각 포지션/amino acid에 대한 attention weight의 분포를 visualization 해보았습니다. Binding affinity 예측에 중요하다고 볼 수 있는 포지션/amino acid를 Figure 4와 5의 오른쪽 plot에서 확인할 수 있습니다. 특히, Figure 5에서 보이는 것과 같이 binding affinity 예측에 중요한 HLA 포지션을 파악함으로써 실질적으로 HLA-peptide 결합 과정에서의 binding site를 유추해볼 수 있습니다.

Figure 6. peptide와 HLA 간 3D 공간에서의 attention highlight.
밝은 녹색을 띄는 부분이 highlight 된 부분^[9]

마지막으로, Figure 6에서 볼 수 있듯이 attention weight 분포상에서 highlight 되는 포지션을 실제 3D 구조상에서 visualization 해볼 수 있습니다. 실제로 peptide에서 highlight 되는 포지션과 HLA에서 highlight 되는 포지션이 물리적으로 가깝게 위치하는 것을 보아 Conditional attention 모델이 시퀀스 정보를 통해서 peptide-HLA의 결합 과정에서의 구조 정보 또한 학습하고 있다고 유추할 수 있습니다.

LG AI연구원의 향후 계획

본 연구에서는 binding affinity 예측에 HLA와 peptide의 시퀀스 정보만을 활용했지만, 추가로 HLA와 peptide의 3D 구조 정보를 활용하는 방식도 future work로 고려해볼 수 있습니다. 단백질 language model에서 3D 구조를 고려하는 연구는 기존^[8]에도 있었지만, peptide와 HLA의 complex에 대한 docking 데이터가 부족하다는 문제점이 있습니다. 이를 해결하기 위해 3차원 구조 정보와 관련된 pretrained model을 활용하는 접근법 또한 재밌는 시도가 될 것입니다.

더불어, LG AI연구원 MI Lab에서는 peptide-HLA의 binding affinity뿐만 아니라 면역원성 반응 예측 모델까지 개발했습니다. 개발된 모델을 기반으로 예측된 candidate peptide에 대해서 in vitro 실험을 통해 검증했으며, 추후 전임상 및 임상 실험까지 계획하고 있습니다. 전임상 및 임상 실험이 진행될수록, 해당 연구가 개인화 암 백신 개발에 더욱 큰 영향력을 발휘할 것으로 기대합니다.

▶Allele-conditional attention mechanism for HLA-peptide complex binding affinity prediction (Link)