[CVPR 2026] Mixture-Of-Experts 구조 내에서 진정한 의미의 Expert를 만드는 Upcycling 방법

AI 모델의 성능을 높이는 가장 직관적인 방법은 모델을 더 크게 만드는 것입니다. 하지만 모든 파라미터가 모든 입력을 처리하는 Dense 모델에서는 학습과 추론 비용이 모델 크기에 비례해 커집니다. Mixture-of-Experts, 즉 MoE는 이 문제를 완화하기 위해 등장한 구조입니다. MoE는 하나의 네트워크 내부에 여러 서브 네트워크(Expert)를 준비해두고, 입력 토큰마다 일부 전문가만 활성화함으로써 전체 모델 용량은 키우되 실제 계산량은 상대적으로 낮게 유지할 수 있는 구조입니다.

이러한 MoE 구조를 효율적으로 학습하기 위한 방법 중 하나로 Upcycling이 있습니다. 이는 이미 학습된 Dense 모델의 파라미터를 활용해 MoE 모델을 초기화한 뒤, MoE 학습을 상대적으로 짧은 시간 동안 추가 수행함으로써 비교적 적은 학습 비용으로 높은 성능을 달성하는 방식입니다. 이번 CVPR 2026에 소개된 논문 “Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling”^[1]은 기존에 학습된 Dense 모델을 MoE 모델로 Upcycling 할 때 초기화하는 방식에 따라 최종 학습 결과에 차이가 발생함을 분석하고, 효과적인 학습을 위한 초기화 방식을 제시한 논문입니다.

이미지 1. Sparse Upcycling^[2] 개념

“MoE로 바꿨는데 전문가가 ‘전문가답지’ 않다”

MoE 구조가 매력적인 이유는 적은 추론 비용 대비 높은 성능을 달성할 수 있다는 점입니다. 실제 산업 현장의 이야기를 들어보면, 대규모 AI 모델을 운영함에 있어 성능만큼이나 중요한 것이 바로 비용입니다. 모델을 계속 키우면 성능은 좋아질 수 있지만, 모든 파라미터를 매번 사용하는 Dense 구조에서는 학습과 추론 비용이 함께 커지는 부담이 있습니다. 반면 MoE 구조는 전체 파라미터는 크게 유지하되, 입력마다 일부 전문가만 호출해 추론 효율을 확보할 수 있습니다. 

그러나 MoE를 처음부터 학습하는 것은 여전히 많은 비용이 듭니다. 이를 해결하기 위해 2022년 Google Research 그룹에서는 기존 Dense Checkpoint를 MoE로 재활용하는 Sparse Upcycling^[2]을 제안하였습니다. 기본 방식은 Dense 모델의 FFN을 여러 expert에 복사하고 Router를 새로 초기화하는 것입니다. 문제는 이때 모든 Expert가 같은 파라미터에서 출발한다는 점입니다. 겉으로 보기에는 Expert가 여러 개 생겼지만, 실제로는 서로 비슷한 기능을 하는 “복제본”에 가까워져 Early Specialization이 약해질 수 있습니다. 논문은 이를 Expert Symmetry 문제로 정의합니다.

기존 연구는 이 Symmetry를 깨기 위해 Noise Injection, 일부 파라미터 재초기화, 수동 Domain Partitioning 기반 Fine-Tuning 등을 시도했습니다. 하지만 Noise는 효과가 제한적일 수 있고, 파라미터를 크게 흔드는 방식은 Pretrained Representation을 손상시킬 위험이 있으며, Domain별 Fine-Tuning은 Expert 수가 많아질수록 확장성이 떨어집니다.

LG AI연구원의 “Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling”

LG AI연구원은 기존에 학습된 Dense 모델을 MoE 모델로 Upcycling하는 과정에서, 초기화 방식에 따라 최종 학습 결과와 성능이 달라질 수 있음을 분석하고, 보다 효과적인 학습을 위한 초기화 기법을 제안했습니다. 

이 논문에서는 “이미 잘 학습된 Dense 모델의 Activation에는 데이터의 의미 구조가 담겨 있다”라는 것을 핵심 전제로 합니다. 그렇다면 Expert를 모두 같은 Weight로 복사하는 대신, Dense 모델의 Activation Space를 먼저 살펴보고, 의미적으로 비슷한 입력들이 모이는 영역을 찾아 각 Expert가 서로 다른 영역을 담당하도록 초기화할 수 있습니다. 논문에서는 이 전략을 Cluster-Aware Upcycling이라고 표현합니다.

비유하자면, 기존 Sparse Upcycling은 같은 교육을 받은 직원 여러 명을 한 방에 배치한 뒤 “이제 각자 전문 분야를 찾아보라”고 하는 방식입니다. 반면 Cluster-Aware Upcycling은 업무 데이터를 먼저 분석해 “이미지-텍스트 검색에 강한 업무군”, “특정 시각 패턴에 민감한 업무군”처럼 의미적으로 가까운 일들을 묶고, 각 직원을 처음부터 해당 업무에 맞게 배치하는 방식에 가깝습니다.

Step 1. FFN Activation을 Spherical K-Means로 클러스터링
첫번째 단계로 Pretrained Dense 모델의 각 FFN Block에 입력되는 Activation을 작은 Calibration Dataset을 이용하여 추출합니다. 이후 Cosine Similarity 기반의 Spherical K-means Clustering을 통해 추출된 Activation들을 정해진 개수의 Cluster로 나눕니다. 이 선택이 중요한 이유는 MoE Router의 Logit 계산 역시 방향 정렬, 즉 Activation과 Router Weight 사이의 유사도에 기반하기 때문입니다. 이 과정의 결과로 Expert 수만큼의 Activation Cluster와 Centroid가 만들어집니다. 논문은 이 Cluster와 Centroid를 Dense 모델에서 만들어지는 Activation들의 Semantic Partition으로 보고, 이를 Expert와 Router 초기화의 기준으로 사용합니다.

Step 2. 각 Expert를 Cluster별 Subspace에 맞춰 초기화

논문의 핵심 목표는 Pretrained Dense 모델이 가진 능력은 최대한 보존하면서, 각 Expert가 특별하게 가질 수 있는 능력은 서로 차별화되도록 하는 것이었습니다. 즉, 각 Expert는 자신에게 대응되는 Cluster의 입력 분포를 잘 보존하도록 초기화되어야 하며, 이를 위해서 Data-Aware Truncated SVD가 사용되었습니다. 단순히 Weight Matrix만 보고 SVD를 수행하는 것이 아니라, 해당 Cluster의 입력 통계를 반영해 주요 Singular Direction을 보존합니다. 이렇게 하면 Pretrained Knowledge를 유지하면서도 Expert마다 서로 다른 Principal Subspace를 담당하게 만들 수 있습니다. 이렇게 되면 Upcycling의 장점을 유지하면서도 Expert Redundancy를 줄일 수 있습니다.