독자 기술로 완성한 대한민국 대표 AI: K-EXAONE

전 세계적으로 인공지능(AI) 기술이 빠르게 발전하고 있는 가운데, 특히 대규모 언어 모델(LLM) 분야에서 미국과 중국을 중심으로 한 AI 선진국들의 경쟁이 치열해지고 있습니다. 이들 국가는 수천억 개에서 수조 개의 매개변수를 보유한 거대 AI 모델을 개발하며 기술적 우위를 점하고 있습니다. 

그렇다면 한국의 상황은 어떨까요? 한국 역시 세계적인 수준의 AI 역량을 지향하지만, 전용 데이터센터나 고성능 AI 칩 등 핵심 인프라가 부족해 상대적으로 작은 규모의 AI 모델(수십억 개의 매개변수 수준) 개발에 집중해 왔습니다.

그러나 오늘날 AI는 단순한 기술적 도구를 넘어 국가의 경제, 산업, 안보를 지탱하는 핵심 인프라이자 국가 경쟁력의 핵심 요소로 부상했으며, 이에 따라 글로벌 수준의 성능을 갖춘 ‘국가대표 AI 모델’의 필요성이 커지고 있습니다. 

이러한 흐름에 발맞춰 한국 정부는 AI 산업 발전을 위해 고성능 GPU, 데이터, 인재와 같은 핵심 자원을 지원하는 ‘독자 AI 파운데이션 모델 프로젝트’를 추진하고 있습니다. LG AI연구원은 이 프로젝트에 적극 참여하여 K-EXAONE이라는 대규모 AI 모델을 개발했습니다. 이번 글에서는 LG AI연구원의 독자적인 기술력으로 탄생한 K-AI, K-EXAONE를 소개합니다.

1. 효율성 확보를 통한 학습과 추론 비용 절감

LLM의 크기는 보통 모델의 파라미터 수에 의해 결정됩니다. 파라미터 수가 많을수록 모델은 더 복잡한 패턴을 학습할 수 있고 더 높은 성능을 기대할 수 있지만, 그만큼 더 방대한 컴퓨팅 자원과 시간이 필요합니다. LG AI연구원 컨소시엄은 이러한 한계를 극복하고자 효율성에 기반한 K-EXAONE 만의 성능 개선 전략을 수립했으며, 다음과 같은 구체적인 접근 방식을 택했습니다. 

1.1 혼합 전문가 모델 구조
우선, 기존 EXAONE 모델들이 채택했던 밀집형(Dense) 아키텍처 대신, K-EXAONE은 혼합 전문가(Mixture-of-Experts, MoE) 구조를 채택해 모델의 확장성과 효율성을 동시에 극대화했습니다. K-EXAONE은 128개의 전문가(Expert)를 활용하는 MoE 설계를 적용했으며, 그중 상위 8개의 전문가와 하나의 공유 전문가를 활성화하는 방식으로 총 9개의 전문가가 동시에 동작합니다. 이로 인해, 전체 파라미터 수는 2360억 개에 달하지만, 실제로 활성화되는 파라미터는 약 10% 수준인 230억 개에 불과해, 자원 효율성을 획기적으로 높였습니다.

1.2 멀티 토큰 예측
추론 속도 또한 대폭 개선됐습니다. 기존의 언어 모델은 한 번에 하나의 토큰만 예측하고, 그 결과를 다음 예측에 반영하는 자율회귀 방식(autoregressive decoding)을 사용했습니다. 이 방식은 직관적이지만, 추론 속도와 효율성 측면에서 한계가 있습니다.

반면, K-EXAONE은 멀티 토큰 예측(Multi-Token Prediction, MTP) 모듈을 도입했습니다. 이는 다음 토큰과 그다음 토큰을 동시에 예측하는 구조로, 기존 모델 대비 추론 속도를 약 1.5배 향상시켜 사용자가 더욱 빠르게 답변을 받아볼 수 있게 합니다. 

1.3 토크나이저: 더 적은 토큰으로 더 많은 정보를 제공
여기에 더해 토크나이저의 효율성도 강화했습니다. 예를 들어, 하나의 토큰이 더 많은 글자를 담고 있다면, 동일한 문장을 표현하는 데 필요한 토큰 수가 줄어들어 전체적인 효율성이 향상됩니다.

기존 EXAONE 시리즈는 약 10만 개의 어휘를 사용했지만, K-EXAONE은 이를 약 15만 개로 확장했습니다. 이를 통해 더 다양한 단어와 표현을 한 번에 처리할 수 있게 됐고, 그 결과 다양한 언어와 전문 분야(예: 과학, 기술, 수학, 코드 등)에서 뛰어난 효율성을 발휘할 수 있게 되었습니다.

특히, K-EXAONE은 자주 등장하는 단어 조합을 하나의 토큰으로 묶는 SuperBPE 전략을 채택했습니다. 예를 들어, ‘New York’이라는 단어를 ‘New’, ‘York’이라는 2개의 토큰이 아니라, ‘New_York’과 같이 하나의 토큰으로 취급하는 것입니다. 이를 Superword Token이라고 하며, K-EXAONE 어휘의 약 20%를 차지합니다. 그 결과, K-EXAONE의 토크나이저는 바이트 당 토큰 수(bytes per token)를 기준으로 측정했을 때, 기존 EXAONE 대비 평균 약 30%의 효율을 높일 수 있었습니다. 

2. 글로벌 수준의 성능을 확보하기 위한 체계적인 학습 과정

2.1 사전 학습
K-EXAONE의 사전 학습은 총 세 단계로 이루어져 있으며, 각 단계에서 모델은 기초 지식, 전문 지식, 추론 능력을 차례대로 학습합니다. 특히, 세 번째 단계에서는 추론 능력의 강화를 위해 ‘사고 궤적(Thinking Trajectory)’을 포함한 데이터를 합성하여 학습에 활용합니다.

이는 모델이 단순히 정답만을 출력하는 것이 아니라, 단계별 사고 과정을 학습하도록 합니다. 즉, 문제를 해결할 때 어떤 논리적 흐름을 따라야 하는지, 어떤 중간 단계를 거쳐야 하는지를 이해하도록 돕는 방식입니다. 이러한 학습 방식은 이후 사후 학습 단계에서 모델의 추론 능력을 크게 향상시키는 데 중요한 역할을 합니다.

2.2 컨텍스트 길이 확장
K-EXAONE은 방대한 정보를 한꺼번에 처리할 수 있도록 컨텍스트 길이를 최대 약 26만 토큰까지 지원합니다. 이를 위해 두 단계에 걸쳐 점진적으로 컨텍스트 길이를 확장했습니다.

첫 번째 확장 단계에서는 약 8천 토큰에서 약 3만 3천 토큰까지, 두 번째 단계에서는 약 26만 토큰까지 컨텍스트 길이를 확장했습니다. 중요한 점은, 긴 컨텍스트 데이터만 학습에 사용하면 짧은 컨텍스트의 성능이 저하될 수 있다는 것입니다. 이를 해결하기 위해, 고품질의 짧은 컨텍스트 샘플을 포함한 ‘리허설 데이터셋’을 컨텍스트 길이 확장 시 함께 활용했습니다.

컨텍스트 길이가 제대로 확장되고 있는지 확인하기 위해, 학습 과정 중 Needle-In-A-Haystack (NIAH) 테스트를 수시로 수행했습니다. 이는 긴 문맥 속에서 특정 정보를 정확히 찾아내는 능력을 평가하는 방식으로, 모델의 긴 문맥 이해 능력을 철저히 검증하는 역할을 했습니다.

2.3 사후 학습
사전 학습은 마치 교과서를 읽고 배경 지식을 쌓는 과정과 비슷합니다. 이 단계에서 모델은 다양한 텍스트를 읽으며, 언어의 구조, 단어의 의미, 일반적인 지식 등을 학습합니다. 반면, 사후 학습은 그 지식을 바탕으로 문제를 풀거나, 사용자의 명령을 이해하고 실제 작업을 수행하는 법을 배우는 과정입니다.

K-EXAONE의 사후 학습 과정은 다음과 같이 3단계로 구성되어 있습니다.

(1) 대규모 지도 학습 (Supervised Fine-tuning): 다양한 지시를 이해하고 응답하는 능력 배우기
최근 생성형 AI 시대에서 Agentic AI 시대로 넘어오면서, AI가 여러 도구를 사용할 수 있도록 학습시키는 것이 중요한 과제가 되고 있습니다. 이를 위해서는 현실 세계의 도구나 API와 직접 연결해 상호작용할 수 있는 환경을 조성해야 하는데, 이 과정은 비용이 많이 들고 시간도 오래 걸립니다.

그래서 K-EXAONE은 현실 세계의 도구 대신 가상의 도구 사용 환경을 만들어 데이터를 생성했습니다. 예를 들어, 코딩 도구나 일반적인 도구 호출 시나리오를 가상으로 만들고, 각 작업에 대해 검증 가능한 성공 기준도 함께 설정했습니다. 이렇게 만들어진 환경을 통해 K-EXAONE은 수백 개의 현실적이고 검증 가능한 도구 사용 작업을 학습할 수 있었습니다.

(2) 강화 학습 (Reinforcement Learning): 추론 능력 향상
강화 학습은 모델이 보상(Reward)을 받아가며 학습하는 방식입니다. 마치 아이가 퍼즐을 맞추면 부모로부터 칭찬을 받고, 그 칭찬(보상)을 통해 더 잘하려고 노력하는 방식입니다. 

K-EXAONE은 수학, 코딩, 과학, 지시 따르기 등 다양한 분야에서 강화 학습을 진행했습니다. 학습 과정에서 검증 가능한 보상(Verifiable Reward)을 사용하며, 이는 보상이 객관적으로 맞는지 확인할 수 있습니다. 예를 들면, 코딩 문제를 풀었을 때, 코드가 잘 동작하면 1점, 오류가 발생하면 0점을 부여하는 식입니다.

K-EXAONE은 기존의 GRPO(Group Relative Policy Optimization) 알고리즘의 한계를 보완한 AGAPO(Asymmetric Sampling and Global Advantage Policy Optimization) 알고리즘을 새롭게 고안해 적용했습니다. 기존 GRPO는 모든 응답이 정답이거나 모두 오답인 경우, 해당 샘플이 학습에 도움이 되지 않는다고 판단하여 학습 과정에서 제외합니다. 반면 AGAPO는 모든 응답이 오답인 샘플도 버리지 않고 활용합니다. 이때 해당 샘플에는 작은 음의 보상을 부여함으로써, 모델이 잘못된 추론 경로를 피하도록 유도합니다. 이러한 방식은 오답을 낸 샘플조차도 ‘잘못된 경로를 피하는 학습 자료’로 활용함으로써 모델이 실수를 통해 더 정확한 정답을 찾도록 만듭니다.

(3) 선호 학습 (Preference Alignment): 사람의 선호도에 맞춰 모델의 답변 스타일 조정
K-EXAONE은 대규모 지도 학습과 강화 학습을 통해 다양한 지시를 이해하고, 수학, 코딩, 과학 등의 분야에서 논리적인 추론 능력을 크게 향상시켰습니다. 하지만 AI가 단순히 똑똑한 것만으로는 충분하지 않기 때문에, 사용자가 더 친근하고, 안전하고, 자연스럽게 대화할 수 있도록 만드는 마지막 단계가 필요합니다.

이를 위해 K-EXAONE은 선호 학습 단계를 거칩니다. 이 단계에서는 사람의 선호도에 맞춰 모델을 더 정교하게 조정합니다. 

K-EXAONE은 기존의 SimPER 알고리즘을 발전시킨 GrouPER(Group-wise SimPER)라는 새로운 방식을 도입했습니다. GrouPER는 여러 개의 응답을 한 번에 비교하며 학습하는 방식입니다. 예를 들어, 하나의 질문에 대해 여러 답변을 생성하고, 이들 중 어떤 답변이 더 적절한지 평가 후 학습에 반영합니다. 이렇게 그룹 단위로 샘플을 평가하는 방식은 개별 샘플을 각각 평가하여 학습하는 방식에 비해 개별 샘플의 노이즈를 상쇄할 수 있어 학습을 보다 안정적으로 진행할 수 있게 돕습니다.

각 답변에 대한 선호도 점수는 아래의 두 가지 기준으로 평가됩니다.

1. 규칙 기반 평가: “안전한 답변인가?”, “지시를 잘 따랐는가?”와 같은 명확한 기준으로 평가
2. Rubric 기반 평가: 창의성, 논리성, 자연스러움 등과 같은 기준으로 평가

그 후, 그룹 단위로 어떤 답변이 더 적절한지 판단하고 그 결과를 바탕으로 모델을 업데이트합니다.

3. 성능 평가 결과

LLM의 성능을 평가하는 것은 단순히 “정답을 얼마나 잘 맞히는가”를 보는 것이 아닙니다. 중요한 것은 이 모델이 실제로 우리가 사용하는 다양한 상황에서 얼마나 유용하게 활용될 수 있는지를 판단하는 것입니다.

한 가지 테스트만으로 LLM의 성능을 평가하기 어려운 이유는 각 테스트(벤치마크)가 특정 작업에 맞춰져 있는 경우가 많기 때문입니다. 따라서 LLM의 성능을 종합적으로 평가하려면, 다양한 영역에서의 벤치마크를 선정해 테스트를 수행해야 합니다.

K-EXAONE은 ▲지식 ▲수학 ▲코딩 ▲에이전트 도구 사용 ▲지시 따르기 ▲긴 문맥 이해 ▲한국어 및 다국어 능력 ▲안전성 등 여러 분야에서 성능 평가를 진행했습니다.

성능 검증을 위해 EXAONE 시리즈의 가장 최신 모델인 EXAONE 4.0 32B를 비롯하여 동급에서 가장 좋은 성능을 보이고 있는 오픈웨이트 모델 gpt-oss-120b(이하 gpt), Qwen3-235B-A22B-Thinking-2507(이하 Qwen3), DeepSeek-V3.2(이하 DeepSeek)와 비교 테스트를 진행했습니다.

그 결과, K-EXAONE은 지식, 수학, 코딩 등 다양한 분야에서 뛰어난 경쟁력을 보여주었습니다. 특히 지식 벤치마크인 MMLU-Pro에서 우수한 성적을 기록하며 학문적 지식 이해와 추론 능력을 입증했고, 수학 벤치마크인 AIME 2025에서는 gpt와 Qwen3를 능가하는 성적을 보였습니다. 코딩 분야인 LiveCodeBench v6에서도 Qwen3 및 DeepSeek 보다 향상된 성능을 보여 실제 코딩 업무에서의 활용 가능성을 높였습니다.

뿐만 아니라, K-EXAONE은 에이전트 도구 사용 영역 벤치마크인 τ²-Bench에서도 우수한 성능을 보이며 멀티 스텝 상호작용이 필요한 환경에서의 도구 선택과 정보 탐색 능력을 입증했습니다. 또한, 지시 따르기 벤치마크인 IFBench, 한국어 벤치마크 KoBALT, 다국어 평가에 사용되는 MMMLU에서도 K-EXAONE은 준수한 점수를 기록하며 안정적인 성능을 입증했습니다.

특히 주목할 점은 안전성을 평가하는 KGC-Safety 벤치마크에서 가장 우수한 성적을 거두었다는 점입니다. 이는 K-EXAONE이 한국의 사회문화적 맥락과 글로벌 윤리 기준을 동시에 충족하며, 다양한 유해 프롬프트와 민감한 쿼리 처리 상황에서도 성능 저하 없이 위험을 효과적으로 완화할 수 있는 안정적인 모델임을 보여줍니다. 

또한, K-EXAONE은 글로벌 AI 벤치마크인 Artificial Analysis Intelligence Index에 오픈 웨이트 모델 기준 세계  7위·국내 1위로 등재되며, 한국 AI 기술의 세계적 수준을 입증했습니다. 이는 단순한 점수 이상의 의미를 넘어, 한국이 AI 주권을 확보하고 글로벌 경쟁에서 독자적인 입지를 다지고 있음을 보여주는 중요한 지표입니다.

K-EXAONE은 대한민국 AI 기술이 한 단계 더 도약했음을 증명하는 중요한 이정표입니다.  혼합 전문가 구조, 멀티 토큰 예측 기술, 고도화된 토크나이저를 도입해 효율성을 높였고, 다단계 사전 학습과 리허설 데이터셋을 활용한 컨텍스트 길이 확장을 통해 최대 약 26만 토큰까지 처리할 수 있는 능력을 갖추었습니다.

또한, 대규모 지도 학습, 강화 학습, 선호 학습으로 구성된 사후 학습 과정을 통해, 다양한 작업에서의 높은 정확도와 신뢰할 수 있는 안전성을 확보했습니다. 단순한 기술적 성과를 넘어, 산업 현장과 연구 분야에서 실질적으로 문제를 해결하고 더 나은 의사결정을 지원하며 혁신을 뒷받침할 모델로서 그 가능성을 보여주었습니다. 

LG AI연구원은 K-EXAONE이 AI 생태계에 긍정적인 영향을 주고, 글로벌 시장을 선도하는 최고 수준의 국가대표 AI로서 대한민국 AI의 경쟁력을 높이기 위해 지속적인 연구 개발을 이어가겠습니다. 

K-EXAONE Hugging Face  →

K-EXAONE Friendli AI  →