1. Introduction
지난 몇 년간 거대 언어 모델(Large Language Model, LLM)은 폭발적인 성장을 거듭해왔습니다. 단순히 사용자의 간단한 질문에 답변하는 어시스턴트 수준을 넘어, 최근에는 모델 스스로 생각하고 추론하는 능력까지 갖추어 박사 과정의 전문적인 질문이나 수학경시대회 수준의 어려운 문제도 해결합니다. 또한, 이러한 추론 능력의 발전과 함께 검색, 컴퓨터 조작, API 호출이나 코드 실행과 같은 다양한 도구를 활용하여 사용자를 대신해 복잡한 작업을 수행하고, 편의성을 크게 향상시키고 있습니다.
LLM의 이러한 발전 흐름 속에서 저희 LG AI연구원 역시 EXAONE 3.0, EXAONE 3.5, 그리고 EXAONE Deep[1,2,3] 모델을 차례로 공개하고 세계 최고 수준의 성능을 달성해왔으며, LLM 기술 발전에 기여해왔습니다. 현재에도 더욱 향상된 성능과 편리한 사용성을 갖춘 모델을 개발하기 위해 연구를 지속하고 있습니다.
이번 글에서는 거대 언어 모델(LLM)의 기반이 되는 파운데이션 모델(Foundation Model)에서부터 사후학습(Post-training), 에이전트(Agent)에 이르기까지 최근의 주요 내용들을 살펴보고, 나아가 앞으로 LLM의 발전 방향에 관해서도 이야기해 보고자 합니다.
2. LLM 활용에 기반이 되는 Foundation Model
파운데이션 모델(Foundation Model)은 대규모 데이터셋을 기반으로 사전 학습된(Pre-trained) 모델을 지칭하며, 특히 트랜스포머(Transformer)를 사용하여 방대한 웹 데이터로 다음 토큰을 예측하도록 훈련된 언어 모델이 대표적입니다. 최근 LLM의 다양한 응용 분야에서 파운데이션 모델이 핵심적인 역할을 수행하고 있습니다.
파운데이션 모델의 성능과 구조는 이후 모든 학습 단계에서 중요한 영향을 미칩니다. 초기 설계 단계에서 결정한 모델 구조나 학습 방식은 이후 단계에서 변경하기 어렵기 때문에, 파운데이션 모델 설계 시에는 사전 학습 단계 뿐 아니라 이후의 사후학습(Post-training)과 생성(Inference) 단계에서의 사용을 고려해야 합니다. 또한, 파운데이션 모델은 전체 학습 과정에서 가장 많은 시간과 비용을 소모하는 단계이기 때문에 효율적인 학습 방법론이 중요합니다.
파운데이션 모델의 사전 학습에는 주로 스케일링 법칙(Scaling Law)[9, 10]에 따라 모델의 크기와 학습 데이터의 규모를 확장하는 방향으로 진행됩니다. 그러나 제한된 자원 내에서 어떤 데이터를 어떤 구조와 방법으로 학습하는지가 중요한 과제입니다. 이어지는 내용에서는 효율적인 모델 크기 확장을 위한 Mixture-of-Experts (MoE)모델과 FP8 학습 방법에 대해 알아보겠습니다.
효율적인 대규모 모델 학습을 위한 Mixture-of-Experts
파운데이션 모델을 더 효율적으로 학습하기 위해 다양한 구조가 연구되고 있습니다. 최근 많이 사용되는 구조는 Mixture-of-Experts (MoE)입니다. MoE 모델은 상대적으로 적은 계산 비용으로도 대규모 모델 학습을 가능하게 하는 효율적인 구조입니다.
MoE 모델은 기존의 트랜스포머 모델의 Feed-Forward Network(FFN) 계층을 ‘전문가(Expert)’라 불리는 다수의 FFN으로 구성된 MoE Layer로 대체하고 입력 토큰 마다 선택적으로 특정 Expert들을 활성화해 연산을 수행하는 모델 구조를 말합니다. 컴퓨팅 관점에서 큰 FFN 레이어를 사용하는 트랜스포머는 Dense 모델, 일부 Expert만 선택적으로 사용하는 MoE를 Sparse 모델이라 합니다.
MoE 모델은 비슷한 연산량이나 활성 파라미터 수를 가지는 Dense 모델과 비교 시, 더 많은 파라미터를 가질 수 있어 모델의 크기를 크게 늘릴 수 있습니다. 학습의 불안정성과 함께 동일한 양을 학습했을 때 Dense 모델 보다 조금 떨어지는 성능을 보일 수도 있지만, 더 빠른 속도로 학습 가능하기 때문에 더 많은 양의 토큰을 학습할 수 있으며, 생성(Inference) 과정에서도 더 빠르고, Dense 모델 보다 적은 수의 파라미터가 활성화되기 때문에 훨씬 효율적입니다.
MoE 모델 구조는 주로 Switch Transformer[4], Mixtral[5], Megablocks[6] 등에서 활용된 기법들처럼 Expert의 수와 크기를 최적화하고 입력 토큰이 Expert에게 고르게 분배되기 위한 Auxiliary Loss나 Token-Dropping을 방지하는 방법과 같이, 모델을 안정적이면서 효과적으로 학습하는 테크닉들이 주로 연구되었습니다.
DeepSeek에서는 DeepSeekMoE[7]를 제안해 최근 DeepSeek-V3[8] 모델에도 적용했습니다. DeepSeekMoE는 기존 Expert를 더욱 세분화(Fine-grained Expert Segmentation)하는 동시에, 공통적으로 사용되는 ‘공유 전문가(Shared Expert)’ 개념을 도입한 것이 특징입니다. 전문가를 더 잘게 나누는 접근방식은 각 전문가가 특정 분야에 더욱 특화된 지식을 학습하도록 유도하며, 일반적으로 필요한 공통 지식은 Shared Expert가 담당함으로써, 각자의 전문 영역과 공통 지식 영역을 보다 효율적으로 학습할 수 있도록 합니다.
이미지 1. 기본 MoE 모델과 DeepSeekMoE 모델 구조. [7]
빠르고 효율적인 학습을 위한 FP8 Training
LLM의 학습 속도와 효율을 더 높이기 위한 낮은 정밀도(Low-precision)학습이 주목받고 있습니다. 현재 많은 모델들이 16비트 부동소수점 형식인 Bf16(Bfloat16)으로 학습되고 있지만, 한 걸음 더 나아가 FP8과 같이 더 낮은 정밀도로 학습하는 기술의 중요성이 커지고 있습니다.
LLM 학습에 사용되는 정밀도는 초기 32비트(Float32)에서 시작하여 Bf16과 같은 16비트로 발전해 왔으며, 최근에는 8비트(FP8)를 넘어 그보다 더 낮은 정밀도를 적용하려는 연구가 활발히 진행 중입니다. 낮은 정밀도를 사용하면 숫자를 표현하는 비트 수가 줄어들어, 이론적으로 메모리 사용량 감소와 함께 계산 속도가 2배 향상되는 이점을 기대할 수 있으며, 특히, 대규모 모델 학습 시 주요 병목인 GPU 및 노드 간 통신 데이터 양을 줄여 학습 효율을 높이는데 기여합니다.
하지만 정밀도를 낮출 경우, 학습 안정성이 낮아져 모델 성능에 부정적인 영향을 미칠 수 있다는 단점도 존재합니다. 따라서 낮은 정밀도 학습 기술의 핵심은 이러한 성능 저하 최소화하면서 안정적으로 학습하는데 있습니다.
혼합 정밀도 프레임워크 (Mixed Precision Framework)
FP8 학습을 위해 DeepSeek-V3에서는 FP8 학습을 위한 Mixed Precision Framework[8]를 제안했습니다. 주요 방법으로는 계산이 중요한 부분에서는 FP8로 계산하고, 수치 안정성이 중요한 부분은 Fp32나 Bf16 정밀도를 사용하여 성능 저하를 방지합니다.
아래 이미지을 보면 노란색의 Gemm(General Matrix Multiplication) 연산 부분은 Fprop(Forward Pass), Dgrad(Activation Backward Pass), Wgrad(Weight Backward Pass) 3가지 연산으로 이루어지며 모두 FP8 정밀도로 실행됩니다. 이러한 디자인은 기존 Bf16에 비해서 이론적으로 2배 빠른 속도를 제공하고, 메모리 사용량도 낮춰줍니다.
그러나 FP8의 이점에도 불구하고, 일부 연산자(Operator)는 계산 민감도 때문에 높은 정밀도를 유지해야 합니다. 정밀한 분석을 통해 임베딩(Embedding), 출력 헤드(Output Head), MoE 게이팅 모듈(MoE Gating Module), 정규화(Normalization), 어텐션(Attention) 연산 등은 기존의 높은 정밀도로 계산하여 모델의 안정성을 확보합니다. 또한, 학습의 정확도를 높이기 위해 Fine-grained Quantization등과 같은 여러가지 전략들도 함께 사용합니다.
이미지 2. DeepSeek-V3 모델에서 사용되는 Mixed Precision Framework. [8]
3. 사람의 지시를 잘 따르기 위한: Instruction Tuning과 심층 추론을 위한 Reasoning Model
사전 학습된 모델은 방대한 양의 웹 데이터를 바탕으로 학습되었기 때문에 사람의 질문이나 요청에 적절한 답을 하는 모델이 아닌, 웹 데이터와 유사한 분포로 텍스트를 생성합니다. 따라서 사람의 선호도와 일치하는 답변을 생성하게 하거나 더 어려운 문제를 푸는 능력, 또는 다양한 도구를 활용할 수 있는 능력을 모델에게 부여하기 위해서 사후학습(Post-training) 과정을 거치게 됩니다.
Post-training 과정에서는 다양한 도메인과 태스크들로 구성된 데이터들을 수집 및 합성 과정을 거치고, 필터링 작업을 거친 후에 SFT(Supervised Fine-tuning)와 RLHF(Reinforcement Learning From Human Feedback) 과정을 거칩니다. 다음 부분에서는 Instruction Data 생성부터 Reasoning Model까지 최근 Post-training 방법들에 대해 살펴보겠습니다.
고품질의 Instruction Data 생성
모델에게 다양한 능력을 주입하기 위해 가장 중요한 과정은 다양한 도메인과 태스크로 이루어진 고품질의 Instruction Tuning 학습 데이터입니다. EXAONE 3.5 모델에서는 고품질의 Instruction Tuning 데이터를 얻기 위해 방대한 양의 웹 코퍼스를 먼저 전처리하여 Math, Code, Science 등과 같이 도메인 별로 데이터를 구분합니다. 구분된 데이터에서 지식 분류체계(Knowledge Taxonomy)를 추출하고, 추출된 분류에 따라서 다양한 Instruction 데이터를 생성합니다. 생성된 Instruction은 모델의 능력을 향상시킬 수 있는 복잡하고 어려운 데이터로 만들기 위한 진화(Evol) 과정을 거쳐, 더 높은 품질과 난이도를 갖춘 Instruction 데이터를 얻게 됩니다. 이렇게 수집 및 생성한 데이터를 바탕으로 SFT를 진행합니다.
이미지 3. EXAONE 3.5 모델의 Instruction 데이터 생성 파이프라인. [2]
사람의 선호를 학습하는 Preference Learning
SFT 모델은 고품질의 Instruction 데이터를 통해 모델이 사용자의 지시를 따르는 법과 함께 다양한 스킬과 답변하는 스타일들을 배우게 됩니다. 하지만 학습된 SFT 모델은 고품질의 생성된 데이터를 모방하도록 학습되었지만 그 안에서 유용성, 유해성, 정확성 등 답변의 다양한 측면들을 고려해서 답변을 생성하도록 학습하지는 못했습니다. 따라서 여러가지 측면들을 바탕으로 사람의 선호도를 보상으로 정밀하게 학습하는 RLHF 과정이 필요합니다.
EXAONE 3.5 모델에서는 Preference Learning을 위한 데이터 생성과 학습을 진행했습니다. 먼저 데이터 생성 과정에서는 여러 개의 Response Generator를 이용해서 Response를 생성합니다. 그리고 Reward Model을 이용해 각 Response 별로 Reward를 평가합니다. 이 때 Reward를 기준으로 가장 높은 점수를 가진 Response를 Chosen, 가장 낮은 점수를 가진 Response를 Rejected로 데이터를 구성합니다. 이렇게 구축된 Preference 데이터를 바탕으로 기존 SFT Model에 2단계 Preference Learning을 적용해, 모델이 사람의 선호도가 높은 답변을 생성하도록 학습하고, 성능을 극대화합니다.
이미지 4. EXAONE 3.5 모델의 Preference Learning 학습 파이프라인. [2]
GRPO와 Verifiable Reward
SFT 학습 이후에 모델을 추가적으로 조정하는 방법은 PPO(Proximal Policy Optimization)[13]과 같은 Online RL 방법이 있으며, DeepSeek R1 모델 학습에 사용된 GRPO(Group Relative Policy Optimization)[14]가 있습니다.
GRPO의 경우 PPO의 변형으로 볼 수 있으며, 전반적인 학습 과정과 Objective는 기존의 PPO의 방법을 사용합니다. PPO와의 주요한 차이점으로는 PPO에서 사용하던 GAE(Generalized Advantage Estimation)를 사용한 Advantage 계산에서 Value Model을 제거함으로써 Advantage 계산을 Response Group들 간의 평균과 표준편차로 Normalization한 값으로 사용했습니다. 그리고 계산의 복잡성을 피하기 위해 Kl Penalty를 PPO와 같이 토큰 단위로 적용하는 것이 아닌 최종 Loss에 더해주는 형태로 적용했습니다.
GRPO에서는 Value Model을 제거함으로써 학습시켜야 하는 모델의 수가 줄어들어, 학습의 안정성과 RL 학습 시 자원 관리 측면에서 효율적이고, 동시에 일반 태스크와 추론 태스크 모두에서 효과적임을 보였습니다.
이미지 5. GRPO의 학습 Objective. [14]
이미지 6. PPO와 GRPO의 학습 구조. [14]
LLM에서 RL 학습 시 주요 변화 중 하나는 기존에는 선호도를 바탕으로 학습된 Reward Model로 RL 학습을 했던 것에서 Rule-based Reward Function으로 Verifiable Reward를 통해 학습하는 RLVR(Reinforcement Learning With Verifiable Rewards)[15]방식으로의 변화입니다. Verifiable Reward는 단순한 정답 매칭이나 코드 실행 등과 같이 검증에 기반한 Reward 부여 방법입니다. Verifiable Reward의 장점으로는 Rule-based Function의 정답 여부에 따라 정답이면 1, 오답이면 -1과 같이 단순하게 Reward를 부여하기 때문에 Reward Hacking이 어려우며, RL 학습 시에 추가로 Reward Model을 사용하지 않아, 학습 속도와 GPU 메모리 모두에서 효율적인 장점을 가집니다.
이미지 7. Verifiable Reward를 이용한 RL 학습 흐름. [15]
심층적으로 사고하는 Reasoning Model
추론 모델(Reasoning Model)은 모델이 사람이 스스로 생각하는 것과 같이 CoT(Chain-of-Thought)과정에서 Reflection, Backtracking, Verification, Subgoal-Setting과 같이 다양한 방법으로 문제를 해결하는 모델을 말합니다. 추론 모델은 사람도 풀기 어려운 복잡한 문제들을 해결하는 능력을 보여주면서 기존에 난제로 여겨졌던 문제들을 풀어 인류 발전에 기여할 수 있는 기술로도 의의를 가집니다.
추론 모델은 대규모 강화학습을 통해 학습하는 모델로, 추론 과정 중에 더 많은 시간을 사용하는 Test-time Compute와 함께 더 깊게 추론할 수록 모델이 성능이 향상됩니다. 아래 이미지에서는 OpenAI o1[16]에서 Test-time Compute를 점차 늘렸을 때, 고난이도의 수학시험인 AIME(American Invitational Mathematics Examination)에서 정확도가 향상되는 것을 볼 수 있습니다.
이미지 8. Test-time Compute 증가에 따른 AIME 성능 향상 그래프. [16]
o1 모델 이후 많은 연구자들이 추론 모델 재현을 위해 여러 가지 방법을 시도했지만 o1 모델과 같은 성능은 얻지 못했습니다. 하지만 DeepSeek R1[17]에서 단순한 Rule-based Reward와 대규모의 강화학습(Rl)을 통해 추론 모델을 학습할 수 있음을 보였습니다. R1에서는 대규모 RL 학습 과정 중에 모델이 생각하는 토큰의 수가 점차 늘어나고, 그에 따라 모델의 추론 능력이 향상됨을 보였습니다.
이미지 9. DeepSeek R1 모델의 RL 학습에 따라 성능과 답변 길이가 증가하는 그래프. [17]
추론 모델의 RL 학습 중 흥미로운 부분은 학습 중인 모델에서 문제를 풀다가 다시 초기의 문제 풀이 과정을 다시 검토하는 과정을 보이게 됩니다. 이와 같이 모델이 추론 중에 다시 검토하거나 여러 가지 문제 풀이 전략을 전환하는 지점을 “Aha Moment”라고 하며, 이러한 Aha Moment가 발현되면서 모델의 추론 능력도 향상됩니다. Rl의 힘과 아름다움은 Rl 과정 중에 문제 해결 전략을 직접적으로 가르쳐 주지 않아도, 학습 과정에서 모델이 자율적으로 보다 발전된 전략을 탐색하고 개발하는 점에 있습니다.
이미지 10. 추론 모델의 "Aha Moment". [17]
LG AI연구원에서도 2025년 3월 EXAONE 3.5 Instruct 모델 기반으로 학습하고, Math, Code, Science 분야에 특화된 EXAONE Deep 모델을 공개했습니다. EXAONE Deep 모델은 2.4b, 7.8b, 32b 크기의 모델군을 가지고 있습니다. Deep 모델은 2.4b와 7.8b에서는 비슷한 크기의 모델들과 비교했을 때 큰 성능 차이를 보여주었으며, 32b 모델에서는 DeepSeek R1 모델(671b 파라미터의)의 5%에 불과한 크기임에도 불구하고 최고 수준의 성능을 보여줬습니다.
EXAONE Deep 모델의 학습은 SFT, Dpo, GRPO 순서로 학습했습니다. 먼저 데이터는 고난이도의 Math, Code, Science 데이터를 수집 및 생성하여 SFT 데이터 160만 건으로 구성하였고, Dpo 학습 데이터의 경우 이전의 EXAONE 3.5 모델에서 사용한 Preference 데이터 생성 파이프라인과 유사하게 여러 개의 Response를 생성하고, Verification 과정을 통해 데이터를 필터링하고 Simper[23] 알고리즘을 이용해 학습했습니다. 그리고 마지막으로 모델의 성능을 극대화하기 위해 GRPO 알고리즘을 저희 추론 모델에 맞게 변형해 학습했습니다.
이미지 11. EXAONE Deep 모델의 성능. [3]
4. 행동하는 모델: Agent
주어진 목표를 위해 자율적으로 외부 도구를 활용해서 복잡한 문제를 해결하는 Agent는 올해 가장 주목받는 기술 중 하나입니다. Agent는 추론(Reasoning), 멀티모달(Multimodal) 이해, 도구 사용(Tool-Use), 강화학습(Rl) 등 다년간 축적된 Ai 기술의 집약체입니다. 최근에는 고도화된 추론 모델의 등장, 도구 사용 방식의 표준화, 그리고 이미지 인식 능력의 향상에 따라, Agent가 LLM의 활용 범위를 넓히고 다양한 분야에 혁신을 가져올 것으로 주목받고 있습니다.
AI Agent의 정의
Agent의 정의는 여러 회사마다 다양하지만 종합해 보면, Agent는 주어진 태스크를 처리하기 위해 환경과 상호작용하며, 다양한 도구들을 사용해 복잡한 작업을 수행하는 시스템으로 볼 수 있습니다. 이때 기존의 어시스턴트와의 다른 점으로는 높은 수준의 자율성을 바탕으로 모델이 정해진 절차에 따라 문제를 해결하는 것이 아닌 독립적인 의사결정을 통해 문제 해결 과정을 수행합니다.
이미지 12. Autonomous Agent. [18]
도구를 사용하기 위한 Function Calling
Function Calling은 LLM이 Tool을 사용하는 방법입니다. 모델의 기능을 텍스트 생성에서 확장해 최신 정보들에 접근하고, 계산이나 외부 서비스에 접근해 사용자의 요청을 처리하기 위해 Tool 사용이 필요합니다. 텍스트 기반으로 Tool을 사용하기 위해서는 LLM의 입력에 사용하기 위한 함수를 정의하고 LLM이 자연어 입력을 분석하여 사용자의 의도에 따라 특정 기능을 수행하는 함수(Function)와 필요한 인자(Argument)를 구조화된 형태로 생성하여 처리합니다. 중요한 점은 LLM 자체가 함수를 직접 실행하는 것이 아니라, 함수 호출에 필요한 정보를 제공하면 함수 실행 환경을 통해 실제 함수를 처리하고 그 결과를 다시 모델에 전달하는 방식으로 동작한다는 것입니다.
활용 예시
- 서울의 날씨는 어때?” 와 같은 질문에 현재 날씨 정보를 받는 API를 호출하는 함수인 `Get_Current_Weather(Location:String, Unit: 'Celsius'| 'Fahrenheit')`를 사용해 날씨 정보를 받을 수 있습니다.
- 민지에게 다음주 토요일에 영화 보자는 내용으로 이메일 보내줘” 와 같은 질문에는 `Send_Email(To:String, Body:String)` 함수를 사용해 사용자 대신 이메일을 보낼 수도 있습니다
도구 사용을 위한 새로운 표준 프로토콜, Model Context Protocol (MCP)
Model Context Protocol (MCP)[19]는 AI 모델이 특정 시스템(컨텐츠 저장소, 비즈니스 툴, 개발 환경)에 연결하는 새로운 표준을 말합니다. MCP를 통해 AI 모델이 다양한 데이터 소스와 서비스에 마치 'Usb 포트'처럼 연결되어, 매번 맞춤형 코드를 작성할 필요 없이 표준화된 방식으로 상호작용할 수 있도록 하는 것을 목표로 합니다.
표준화된 프로토콜이 필요한 이유는 Ai 어시스턴트가 응답을 생성하기 위해, 다양한 시스템과 연결될 때 서로 각기 다르게 구현된 시스템이나 레거시 시스템들을 이용할 때 각 시스템 마다 연결하기 위한 인터페이스를 단일한 프로토콜로 통일하여 Ai 시스템이 안정적인 방법으로 시스템에 접근할 수 있도록 합니다.
아래 이미지은 MCP에서 Client-Server 구조이며, 외부 데이터 소스나 서비스를 이용하려는 Host가 MCP Client로 MCP 프로토콜을 통해 MCP Server와 통신하는 구조입니다. 이러한 프로토콜을 통해 개발자는 MCP Server를 통해서 데이터를 노출하고, 어플리케이션 개발 단에서는 MCP Client를 통해 접근하는 안전하면서도 확장성 있는 양방향 통신 구조를 구축할 수 있습니다.
이미지 13. MCP 사용 흐름도. [24]
컴퓨터를 직접 조작하는 Computer-using Agent(CUA)
Computer-using Agent[20, 21]는 모델이 컴퓨터의 그래픽 사용자 인터페이스(Gui)와 직접 상호작용하여 작업을 수행하는 기능입니다. 이러한 Computer-use는 모델의 추론 능력, 멀티모달 이해 능력, 도구 사용 능력을 통합하여 이루어진 것으로 지난 수년간의 연구를 기반으로 합니다. 모델이 사람이 컴퓨터를 보는 것과 같이 스크린의 시각적 정보를 이해하고, 마우스 클릭, 키보드 입력, 스크롤 등의 행동을 통해 다양한 애플리케이션을 조작하여 주어진 태스크를 완수합니다.
CUA에서는 앞선 Agent 동작 흐름과 유사하게 Perception, Reasoning, Action의 반복적인 루프에 따라, 사용자가 태스크를 요청하면 컴퓨터 스크린샷을 Perception하고, 다음 행동을 결정하기 위한 Reasoning 과정을 거친 후 마우스 이동, 키보드 입력, 로그인, CAPTCHA 풀기 등 Action을 결정한 후 다시 Perception 단계로 돌아가 태스크를 완료할 때까지 루프를 반복합니다.
이미지 14. Computer-using Agent의 동작. [20]
5. 맺으며
LLM의 근간이 되는 파운데이션 모델부터 모델을 더욱 똑똑하게 만드는 추론 모델의 발전, 그리고 스스로 행동하는 에이전트에 이르기까지 주요한 내용들을 살펴보았습니다. 매년 빠르게 발전하는 변화 속에서 모델의 추론 능력, 멀티모달 이해 능력, 도구 사용 능력이 결합되는 이 시점에 또 다른 변곡점을 마주하고 있습니다.
경험의 시대(Era of Experience)[22]에서 기존의 대규모 인간 데이터에 기반한 학습은 점차 그 한계에 도달하고 있으며, Ai가 인간의 지능을 넘어서는 초인적(Superhuman)인 역량을 갖추기 위해서는 모델 스스로 환경과 상호작용하며 생성하는 경험 데이터(Experiential Data)로부터 학습하는 것의 필요성을 주장합니다. 이러한 경험의 시대에는 다양한 환경에서 확장된 멀티모달 처리와 풍부한 정보를 사용하는 모델과 함께 강화학습이 중요한 역할을 할 것으로 보입니다.
하지만 AI 모델 내부 작동 방식은 여전히 블랙박스이며, 인간이 모델과 자율적으로 동작하는 Agent에 대한 의존도가 높아짐에 따라 예측하기 어려운 부작용에 대한 우려도 존재합니다. 따라서 모델의 안전성(Safety)과 정렬(Alignment)에 대한 연구도 앞으로 더 중요해질 것입니다.
저희 LG AI연구원은 EXAONE 3.0, EXAONE 3.5, 그리고 EXAONE Deep 모델을 통해 쌓은 기술력을 바탕으로, LLM 기술 발전과 더불어 안전하고 신뢰할 수 있는 AI 연구를 지속하고, 세계 최고 수준의 모델을 개발하겠습니다.
Seonghwan Kim
2025.05.29
