피지컬 AI 시대를 여는 Robot Foundation Model(RFM)

'생각하는 뇌'를 넘어 '행동하는 뇌'로 

최근 AI 기술은 화면 속 텍스트와 이미지를 생성하는 수준을 넘어, embodiment를 통해 현실 세계와 상호작용하는 Physical AI 시대로 진화하고 있습니다. 기존의 거대언어모델(Large Language Model, LLM) 기반 AI가 가상 세계에서 언어로 소통하는 ‘생각하는 뇌’였다면, Physical AI는 실제 하드웨어를 매개체로 물리적 환경을 인지하고 직접 과업을 수행하는 ‘행동하는 뇌’입니다. 그리고 이 변화의 중심에는 다양한 로봇과 작업에 공통적으로 적용될 수 있는 범용로봇 지능, 즉 Robot Foundation Model(RFM)이 자리 잡고 있습니다. 기존 로봇 AI 연구는 특정 작업에 최적화된 policy를 학습하는 방식이 주를 이루었으나, 현재는 다양한 환경과 로봇 형태에 적용 가능한 RFM을 구축하는 방향으로 전환되고 있습니다. 자연어와 비전 분야에서 Foundation Model이 대규모 사전학습을 통해 다양한 task에 적용될 수 있음을 보여주었다면, 로봇 분야에서는 이러한 가능성을 실제 물리 세계의 행동으로 확장하는 것이 핵심입니다.

기존 로봇 AI 연구는 특정 작업에 최적화된 정책(policy)을 학습하는 방식이 주를 이루었으나, 현재는 다양한 환경과 로봇 형태에 적용 가능한 Robotic Foundation Model(RFM)을 구축하는 방향으로 전환되고 있습니다. 자연어와 비전 분야에서 파운데이션 모델이 대규모 사전학습을 통해 다양한 태스크(task)에 적용될 수 있음을 보여주었다면, 로봇 분야에서는 이러한 가능성을 실제 물리 세계의 ‘행동’으로 확장하는 것이 핵심입니다.

이처럼 RFM이 주목받는 이유는 기존 로봇 학습 방식의 한계가 명확했기 때문입니다. 기존의 로봇 정책은 특정 로봇, 특정 환경, 특정 작업에 맞춰 학습되는 경우가 많았습니다. 이 구조에서는 작업 대상의 위치나 카메라 시점, 조명, 로봇의 end-effector를 포함한 로봇 플랫폼 구조가 조금만 달라져도 성능이 급격히 저하될 수 있습니다.

다만 RFM은 단순히 LLM이나 VLM의 단순한 확장에 그치지 않습니다. 로봇은 언어와 이미지를 이해하는 것을 넘어, 행동을 통해 현실 세계 혹은 물리 세계와 상호작용하고, 그에 따른 행동의 결과를 관찰하며, 실패 상황에서는 다시 행동을 수정해야 하기 때문입니다. 현 시점 RFM 연구는 시각·언어 정보를 바탕으로 로봇이 수행할 action을 생성하는 방향과, 물리 세계의 변화를 예측해 action 생성에 활용하는 연구를 중심으로 전개되고 있습니다.

이러한 맥락에서 본 글은 RFM 연구를 두 가지 기술적 방향으로 살펴보고자 합니다. 첫 번째는 시각·언어 정보를 로봇 행동으로 직접 연결하는 Vision-Language-Action 모델, 즉 VLA 계열입니다. 두 번째는 로봇 행동과 함께 미래 환경 변화를 예측하는 월드 모델(World Model) 또는 월드 액션 모델(World Action Model) 계열입니다.

1. RFM 연구의 주요 흐름

최근 RFM 연구는 크게 두 가지 방향을 중심으로 전개되고 있습니다. 첫 번째는 시각·언어 정보를 바탕으로 로봇 Action을 직접 생성하는 VLA 계열입니다. 두 번째는 Action뿐 아니라 행동 이후의 미래 상태까지 함께 예측하는 월드 모델 또는 월드 액션 모델 계열입니다.

초기 VLA가 주로 “현재 관측 + 언어 지시 → Action” 구조에 초점을 맞췄다면, 최근에는 Reasoning, Task Context, Failure Case, Tactile·Force Signal 등을 결합해 Policy를 고도화하려는 시도가 늘고 있습니다. 이와 함께 RFM의 핵심 목표인 Cross-embodiment Generalization을 위해, 서로 다른 로봇 형태의 데이터를 함께 학습하는 방법도 중요하게 다뤄지고 있습니다. 반면 World Action Model 계열은 비디오 기반 미래 예측을 로봇 Action Generation과 연결하며, VLA가 놓치기 쉬운 물리적 변화 예측을 보완하는 방향으로 발전하고 있습니다.

이미지 1. VLA 모델 및 Cosmos World Foundation Model
(Source: https://pub.towardsai.net/what-are-world-models-41ff394ed871)

1-1. VLA 모델 : 시각과 언어를 실전 행동으로 연결하다

VLA 모델은 이미지나 비디오, 자연어 지시, 로봇의 현재 상태를 입력받아 로봇이 수행할 Action을 예측합니다. 기존의 Imitation learning이 사람이 시연한 동작을 재현하는 데 초점을 두었다면, VLA는 자연어 지시와 시각 정보를 함께 이해해 현재 상황에 맞는 Action을 생성합니다. 즉, VLM의 Semantic Understanding을 로봇의 Action Space로 확장한 모델이라고 볼 수 있습니다.

VLA 계열 연구는 최근 다양한 방식으로 발전하고 있습니다. 

1. Gemini Robotics 모델^[1]: 장면 이해, 공간 추론, 작업 계획 등 Embodied Reasoning을 강화하는 흐름을 보여줍니다.

2. NVIDIA GR00T N1^[2]과 Figure AI의 Helix^[3]: 휴머노이드 로봇을 위한 VLA 기반 RFM의 대표적인 사례입니다. GR00T N1은 Generalist Humanoid Robot Foundation Model을 지향하며, Helix는 자연어 지시를 바탕으로 다양한 가정 내 물체 조작과 다중 로봇 협업을 수행하는 Generalist Humanoid VLA로 발표되었습니다. 

3. Physical Intelligence π0 계열^[4,5,6,7]: Generalist Robot Policy를 지향하며, Rich Context를 활용하여 제어 정책을 조건화하거나 Autonomous Rollout, Failure Case, Human Intervention을 학습에 반영해 실제 배포 환경에서 반복되는 Failure Mode를 줄이려는 흐름을 보여줍니다. 

1. RLWRLD의 RLDX-1^[8]: VLA 계열 안에서 Dexterous Manipulation을 강조하는 사례입니다. 기존 VLA가 시각·언어 기반의 범용성에 초점을 맞췄다면, RLDX-1은 Motion Awareness, Long-Term Memory, Tactile·Torque Signal을 함께 통합해 실제 조작 환경에서 필요한 Contact-Rich Manipulation을 강화하려는 방향을 제시합니다.

정리하자면, VLA 계열은 시각·언어 정보를 action으로 연결하는 구조를 기반으로, Reasoning, Context Conditioning, Failure Learning, Tactile·Force Signal 등을 결합해 실제 환경에서 더 안정적으로 동작하는 방향으로 발전하고 있습니다. 동시에 다양한 Embodiment의 데이터를 하나의 모델에서 효과적으로 활용하는 것도 중요한 문제로 다뤄지고 있습니다.

이미지 2. NVIDIA GR00T N1의 모델 구조^[2]

1-2. World Action Model 연구 : 행동 그 이후의 미래를 그리다

VLA가 현재의 관측과 언어 지시를 바탕으로 행동을 예측하는 데 초점을 둔다면, 월드 모델(World Model) 혹는 월드 액션 모델(World Action Model) 계열은 행동 이후 환경이 어떻게 변할지까지 함께 다룹니다. 즉, 로봇이 “어떤 행동을 해야 하는가”뿐 아니라, 이 행동이 외부 세계이 미치는 영향을 함께 예측하도록 학습합니다.

이 접근법에서 비디오는 중요한 학습 신호로 작용합니다. 단일 이미지는 정적인 현재 상태만 보여주지만, 비디오는 물체의 이동, 물리적 접촉, 장면의 상태 변화 과정을 시간의 흐름에 따라 입체적으로 담아내기 때문입니다. 따라서 월드 모델 기반 접근법은 비디오를 통해 물리 세계의 Dynamics를 먼저 학습하고, 이를 로봇 Action Generation에 활용하려고 합니다.

1. DreamZero^[9]: 월드 모델 기반 접근법을 로봇 제어에 직접 연결한 대표적인 연구입니다. Pretrained Video Diffusion Backbone을 기반으로 비디오와 행동을 함께 모델링하고,  현재 장면에서 행동뿐만이 아니라 그 행동이 만들어낼 Future Visual State까지 함께 예측합니다. 이를 통해 VLA가 놓치기 쉬운 물리적 변화와 새로운 환경에서의 Motion Generalization을 보완하려는 접근입니다. 

2. DreamDojo^[10]: 월드 모델을 로봇 학습과 평가 환경으로 활용하려는 사례입니다. Egocentric Human Video를 통해 다양한 일상 환경과 물체 상호작용을 학습하고, 실제 로봇을 계속 실행하지 않고도 Future Rollout을 생성해 Policy Evaluation이나 Model-based Planning에 활용하는 방향을 제시합니다.

3. NVIDIA Cosmos^[11]: 피지컬 AI를 위한 월드 파운데이션 모델 플랫폼으로, 로봇 학습 데이터 생성과 시뮬레이션 기반 학습을 지원하는 인프라적 접근을 보여줍니다. 특히 Cosmos-Predict2.5^[12]는 텍스트, 이미지, 비디오 입력을 바탕으로 미래 장면을 생성·예측하도록 설계된 모델로, 실제 로봇 데이터를 대규모로 수집하기 어려운 한계를 보완하는 데 활용될 수 있습니다.

결과적으로 DreamZero가 월드 모델을 실제 로봇 정책과 연결하는 방향이라면, DreamDojo는 이를 Planning과 Evaluation 환경으로 활용하는 방향입니다. NVIDIA Cosmos는 이러한 접근을 대규모 월드 파운데이션 모델 플랫폼으로 확장해, 로봇 학습 데이터 생성을 지원하는 사례로 볼 수 있습니다.

 

이미지 3. DreamZero의 모델 구조^[9]

2. RFM : 실제 세계의 행동과 물리를 학습하다

RFM 연구는 VLA 계열과 월드 모델 계열을 중심으로 다각적인 방향으로 진화하고 있습니다. VLA 계열은 시각·언어 정보를 로봇 행동으로 연결하는 데 초점을 두고, 월드 모델 계열은 행동 이후 환경이 어떻게 변할지를 예측하는 데 초점을 둡니다. 두 접근은 출발점은 다르지만, 모두 로봇이 실제 물리 세계에서 더 안정적으로 행동하도록 만드는 것을 목표로 합니다.

이 흐름을 관통하는 핵심 과제는 Cross-Embodiment Generalization입니다. RFM이 특정 로봇에만 맞춘 policy를 넘어 진정한 파운데이션 모델이 되기 위해서는, 서로 다른 형태의 로봇 데이터를 하나의 학습 체계 안에서 효과적으로 활용할 수 있어야 합니다. 이 문제는 VLA에서는 Action Representation이나 Robot-specific Adapter의 문제로 나타나고, 월드 모델에서는 비디오를 통해 서로 다른 Embodiment 사이에서 공유 가능한 물리적 변화 패턴을 학습하는 문제로 나타납니다.

현 시점의 연구들은 Action Generation, Future State Prediction, Failure Learning, Tactile·Force Signal, Cross-embodiment Learning 등 다양한 관점에서 RFM의 일반화 능력을 확장하고 있습니다. 이 관점에서 RFM 연구는 단순히 LLM/VLM을 로봇에 적용하는 단계를 지나, 실제 물리 세계에서 안정적으로 행동하고 실패 경험을 통해 스스로 성능을 개선하는 모델을 지향하고 있습니다.

3. LG ‘피지컬 AI’의 잠재력과 로드맵 

앞서 살펴본 것처럼, RFM은 시각·언어 이해를 실제 로봇 행동으로 연결하는 방향으로 발전하고 있습니다. 하지만 실제 공장이나 홈 환경 같은 실제 삶의 영역에 적용되기 위해서는 여전히 제한이 존재합니다. 다양한 로봇 형태와 작업 환경에 대한 일반화, 접촉 기반 조작의 안정성, 실패 상황에서의 복구 능력 등 대표적입니다.

LG AI연구원의 Physical Intelligence 랩에서는 EXAONE 기반 LLM·VLM 연구를 통해 축적한 언어·시각 이해 및 추론(Reasoning) 역량을 바탕으로, 이를 피지컬 AI 영역으로 확장하는 RFM 연구를 진행하고 있습니다. 특히 시각·언어 기반 작업 이해, 장면 및 대상 Grounding, 행동 계획, 로봇 제어 연계 등 로봇이 실제 환경에서 행동하기 위해 필요한 핵심 기술을 단계적으로 고도화 하는 중 입니다.

실증 단계에서는 LG전자 생산기술원(PRI)과 협업하여 실제 제조 공정 환경에 로봇을 적용하기 위한 PoC를 추진하고 있습니다. 제조 현장은 작업 조건과 공정 변동이 잦고 높은 안정성과 정밀도가 요구되는 만큼, RFM이 현장의 작업 지시와 시각 정보를 이해하고 실제 자동화 문제 해결에 기여할 수 있는지 검증하는 중요한 기회입니다.

 

LG AI연구원은 공장뿐 아니라 홈 환경을 대상으로 한 로봇 지능 연구도 함께 진행하고 있습니다. 홈 환경은 비정형 물체와 다양한 사용자 지시가 존재하고, 사람과 가까운 공간에서 안전하게 동작해야 합니다. 따라서 EXAONE의 멀티모달 이해 및 추론 역량을 로봇 행동으로 연결하기 위한 중요한 응용 영역입니다.

앞으로 LG AI연구원은 EXAONE LLM·VLM의 강점을 바탕으로 산업 현장과 홈 환경 모두에서 활용 가능한 RFM을 구축하고, 실제 물리 세계에서 안정적으로 행동할 수 있는 피지컬 AI 기술 기반을 마련해 나갈 계획입니다.

LG AI연구원 | 비전 AI 전문가가 말하는 ‘피지컬 AI'의 현실과 전망은? 보러가기 →