Deunsol Yoon 2026.10.26

[ICML2026] LLM을 활용한 강화학습의 관측과 행동 설계

강화학습은 Agent가 Environment와 상호작용하며 더 나은 의사결정을 학습하는 AI 기술입니다. Robot Control뿐 아니라 공장 운영, 물류, 생산 계획처럼 연속적인 판단이 필요한 문제에도 활용할 수 있습니다. 이때 성능을 좌우하는 요소는 RL Algorithm과 Reward Function만이 아닙니다. Agent가 어떤 정보를 입력 받을지를 결정하는 Observation Space와 어떤 범위와 단위로 의사결정을 내릴지를 결정하는 Action Space 역시 중요한 요소로, 각각 Agent의 ‘눈과 손’에 해당합니다. Observation과 Action이 Task의 특성에 맞게 설계되지 않으면 Agent가 효과적인 Policy를 학습하기까지 더 많은 시간과 데이터가 필요할 수 있습니다.

올해 7월 서울에서 열린 제43회 International Conference on Machine Learning(ICML 2026)은 Machine Learning의 기초 연구부터 Robotics·생명과학·Data Science의 응용 연구까지 폭넓게 다루는 대표적인 국제 학회입니다. LG AI연구원은 이번 학회에서 LLM이 Observation·Action Space를 직접 설계하는 “Designing Observation and Action Models for Efficient Reinforcement Learning with LLMs”^[1] 연구를 발표했습니다. 산업 현장에서 시작된 질문을 글로벌 연구 커뮤니티와 공유하고 다양한 연구자들과 Environment Design 자동화의 가능성을 논의한 의미 있는 자리였습니다.

이미지 1. ICML 2026 Poster Session에서 LOAM의 핵심 아이디어와 실험 결과를 소개하고, 참석 연구자들과 의견을 나누는 모습

1. 산업 현장에서 시작된 질문: AI는 무엇을 보고 판단해야 할까?
1.1 NCC 프로젝트에서 시작된 질문
이 연구의 출발점은 2022년부터 참여해 온 ‘NCC 운영 최적화 AI 스케줄러 개발 프로젝트’^[2,3,4]였습니다. 이 프로젝트는 LG AI연구원과 LG화학이 함께 추진한 과제로, 실제 LG화학 대산 NCC 공장의 복잡한 생산 Scheduling을 최적화해 수익성을 높이는 강화학습 기반 AI Scheduler 개발을 목표로 했습니다. NCC(Naphtha Cracking Center)는 납사를 열분해해 에틸렌과 프로필렌 같은 기초 석유화학 원료를 생산하는 복잡한 공정입니다. 당시 저희 팀은 NCC에 대한 사전 지식이 거의 없는 상태에서 강화학습 기반 생산 계획 최적화 프로젝트를 시작했습니다. 공장이 어떻게 돌아가는지, 현장 전문가가 어떤 정보를 보고 판단하는지, 정상 예외 상황에서 어떤 제약을 적용하는지를 이해하기 위해 현업 담당자들과 수많은 인터뷰를 진행했습니다. 돌이켜보면 강화학습 알고리즘을 구현하고 학습시키는 시간보다 현장을 이해하고, 전문가의 판단을 Observation·Action·Reward 구조로 옮기는 데 더 많은 시간을 들였습니다.

1.2 보상보다 어려웠던 관측과 행동 설계
이 경험을 통해 현실에 강화학습을 적용하려면 Reward Function뿐 아니라 Observation Space와 Action Space도 세심하게 설계해야 한다는 점을 체감했습니다. NCC 프로젝트에서는 최적화하려는 목표와 평가 지표가 비교적 명확했기 때문에 Reward Function을 정의하는 과정은 상대적으로 직관적이었습니다. 반면 수많은 운영 변수 가운데 어떤 정보를 Policy의 입력으로 제공할지, Policy가 어느 범위와 단위로 의사결정을 내리도록 Action Space를 구성할지는 쉽게 답하기 어려웠습니다. 이러한 설계에는 현장 전문가의 경험과 문서로 표현하기 어려운 암묵적인 운영 지식이 필요했습니다. 새로운 산업 Task가 주어질 때마다 강화학습 전문가와 현장 전문가가 이 과정을 처음부터 반복해야 하는가라는 질문도 남았습니다.

이후 EUREKA^[5], Text2Reward^[6]처럼 LLM을 활용해 Reward Function을 설계하는 연구가 등장하면서, LLM의 Semantic Reasoning 능력으로 강화학습 Environment의 다른 구성 요소도 설계할 수 있겠다는 가능성을 확인했습니다. Reward Design에 비해 Observation·Action Space Design은 상대적으로 연구가 부족했고, NCC 프로젝트에서 실제로 더 큰 어려움을 겪은 영역이기도 했습니다. 이러한 문제의식은 LLM을 활용해 Observation Model과 Action Model을 설계하는 LOAM 연구로 이어졌습니다.

2. LLM으로 관측과 행동을 설계하다: LOAM

2.1 보상 너머의 환경 설계

강화학습 Environment는 크게 Observation, Action, Reward로 구성됩니다. 최근 LLM 기반 연구는 자연어로 표현된 Task의 목표를 Reward Model 코드로 변환하는 데 집중해 왔지만, Observation Model과 Action Model은 여전히 사람이 Task마다 직접 설계하는 경우가 많습니다. 그러나 원시 센서와 상태 변수 가운데 무엇을 Policy에 보여줄지, Policy의 출력을 실제 제어 변수에 어떻게 연결할지는 학습 속도와 최종 성능에 직접적인 영향을 미칩니다.

이미지 2. 관측·행동 모델을 통한 강화학습 환경 재설계

2.2 LOAM: LLM이 만드는 관측·행동 모델

LOAM은 환경이 제공하는 정보를 그대로 Policy에 입력하는 대신, Raw Environment Space와 강화학습 Agent가 실제로 사용하는 Agent Space를 구분해 설계합니다. Raw Environment Space는 Simulator에서 얻을 수 있는 모든 상태 정보인 Raw Observation과 Robot의 Actuator에 전달할 수 있는 모든 제어 명령인 Raw Action으로 구성됩니다. LOAM은 Task의 목표와 종료 조건, Robot의 구조, 각 변수의 의미를 LLM에 제공하면, LLM은 이를 바탕으로 Observation Model과 Action Model을 각각 Python Function 형태로 생성합니다. Observation Model은 Raw Observation을 Policy가 입력으로 사용하는 Agent Observation으로 변환하고, Action Model은 Policy가 출력한 Agent Action을 Environment가 실행할 수 있는 Raw Action으로 변환합니다. 이를 통해 LOAM은 Raw Environment Space와 Agent Space 사이의 Interface를 Task에 맞게 새로이 구성합니다.

이미지 3. 과제·로봇·상태 설명에서 관측 함수와 행동 함수를 생성하는 LOAM

아래는 HumanoidBench의 Run Task에서 LLM이 생성한 Observation Model을 축약한 예시입니다.

이미지 4. LLM이 생성한 HumanoidBench 달리기 Task의 Observation Model 축약 예시

이 함수는 Simulator의 정보를 그대로 전달하지 않고, 속도와 방향을 Robot 기준으로 변환하거나 현재 속도와 목표 속도의 차이를 계산하는 등 Task에 필요한 Feature를 구성합니다. Observation Model이 Environment의 정보를 Policy가 사용할 수 있는 형태로 변환한다면, Action Model은 Policy가 출력한 Structured Action을 실제 Actuator가 실행할 수 있는 Raw Action으로 Mapping합니다. 두 Function은 기존 Environment를 감싸는 Wrapper로 동작하기 때문에 강화학습 알고리즘 자체를 변경하지 않고도 적용할 수 있습니다.

이러한 Observation·Action Design은 실제 학습 효율 개선으로 이어졌습니다. HumanoidBench의 기본 Locomotion Task인 stand·walk·run에서 LOAM은 사람이 설계한 FastTD3 기본 환경보다 3배 이상 빠르게 높은 Return에 도달했습니다. 이는 LLM이 생성한 Model이 단순히 실행 가능한 코드를 만드는 데 그치지 않고, Policy가 Task를 학습하기 좋은 형태로 Environment를 재구성할 수 있음을 보여줍니다.

이미지 5. HumanoidBench의 stand·walk·run Task 학습 결과

Prompt 역시 새로운 Task와 Domain에 쉽게 적용할 수 있도록 Modular하게 구성했습니다. 환경이 바뀌면 Task의 목표와 Robot의 구조, 사용할 수 있는 Observation과 Action에 대한 설명만 새롭게 제공하고 나머지 Prompt는 동일하게 활용할 수 있습니다. 이러한 정보는 대부분 Environment Documentation이나 API에서 얻을 수 있습니다. 따라서 강화학습 전문가와 현장 전문가가 과제마다 Observation·Action Space를 처음부터 수작업으로 설계하는 대신, 기존에 제공된 정보를 정리하는 것만으로도 LLM이 초기 설계안을 생성할 수 있습니다.

2.3 LOAM-Race: 제한된 예산에서 좋은 설계 찾기

LLM은 같은 Prompt를 입력해도 매번 조금씩 다른 결과를 생성합니다. 따라서 LOAM이 만든 Observation Model과 Action Model 역시 매번 구성이 달라지며, 이를 기반으로 학습되는 강화학습 Policy의 성능에도 차이가 발생합니다. 기존 연구들은 LLM 출력의 품질 편차를 줄이기 위해 여러 Candidate를 생성하고 반복적으로 평가하는 방식을 주로 사용했습니다. 예를 들어 EUREKA는 여러 Reward Function Candidate를 생성한 뒤, 각각의 Reward Function으로 Policy를 학습해 성능을 평가합니다. 이후 가장 우수한 Candidate와 Policy의 Training Statistics를 다시 LLM에 제공해 새로운 Candidate들을 생성하고, 이 과정을 여러 차례 반복하며 Reward Function을 개선합니다.

문제는 각 Candidate의 품질을 판단하려면 실제 강화학습 Policy를 충분히 Convergence할 때까지 학습시켜야 한다는 점입니다. 더 좋은 설계를 찾기 위해 여러 Candidate를 생성하고 평가하는 과정을 반복하면, 그만큼 많은 Simulation과 Training 시간이 필요해집니다. 결국 최종 Candidate를 선택하기도 전에 강화학습을 여러 차례 수행해야 하므로, 전체 과정에 상당한 시간과 계산 비용이 발생합니다.

이미지 6. 후보의 잠재력을 예측해 학습 자원을 동적으로 배분하는 LOAM-Race

이를 해결하기 위해 우리는 여러 설계 Candidate를 하나의 Training 과정 안에서 경쟁시키는 LOAM-Race를 제안했습니다. 먼저 LLM이 생성한 Observation·Action Model Candidate들을 짧게 학습한 뒤, 각 Candidate의 현재 성능과 Learning Curve를 바탕으로 추후 도달할 수 있는 성능을 예측합니다. 현재 성능이 가장 높은 Candidate만 선택하면 초반 학습 속도는 느리지만, 이후 더 좋은 성능을 낼 Candidate를 놓칠 수 있습니다. 따라서 LOAM-Race는 Bayesian Ridge Regression을 이용해 예상 성능뿐 아니라 예측의 불확실성까지 함께 고려하도록 했습니다.

이후 가장 가능성이 높은 Candidate에 다음 Training 구간을 배분하고, 새롭게 얻은 결과를 바탕으로 모든 Candidate의 가능성을 다시 평가합니다. 이 과정을 반복하면 성능이 낮고 개선 가능성도 작은 Candidate에는 최소한의 자원만 사용하고, 유망하거나 아직 가능성이 충분히 확인되지 않은 Candidate에 Training을 집중할 수 있습니다. 즉, Candidate 선택을 위한 별도의 대규모 학습을 반복하지 않고도 일반적인 단일 Policy의 Training Budget 안에서 좋은 Observation·Action Model을 탐색하고 학습할 수 있습니다.

이미지 7. 여러 관측·행동 설계 후보가 학습 과정에서 경쟁하는 LOAM-Race

LOAM-Race의 Racing 방식은 Observation·Action Model을 선택하는 문제에만 국한되지 않습니다. 여러 Candidate를 평가해야 하지만 각각을 끝까지 학습하는 데 드는 비용이 큰 경우에는, 초기 Learning Curve에서 최종 성능과 불확실성을 예측하고 유망한 Candidate에 Training Budget을 집중하는 방식을 활용할 수 있습니다. 예를 들어 Hyperparameter Search나 기계학습 Algorithm·Model Architecture 비교처럼 많은 설정을 반복적으로 학습해야 하는 과정에 적용하면, 가능성이 낮은 Candidate에 사용되는 자원을 줄이면서도 잠재력이 높은 Candidate를 효율적으로 탐색할 수 있습니다. 이러한 관점에서 LOAM-Race는 다양한 AI 실험의 탐색 비용을 줄일 수 있는 범용적인 Resource Allocation 방법으로 확장될 가능성이 있습니다.

2.4 주요 결과

실험 환경

LOAM의 성능은 서로 다른 특성을 가진 두 Robot Control Benchmark에서 검증했습니다. HumanoidBench^[7]는 Humanoid Robot이 stand·walk·run과 같은 Locomotion Task부터 물체 밀기, Cube 조작, 상자 운반과 같은 복잡한 Manipulation Task까지 수행하는 Simulation Environment입니다. 총 12개 Task를 Locomotion, Static Manipulation, Dynamic Manipulation의 세 범주로 나누어 평가했습니다. Isaac Lab에서는 Franka Robot Arm의 Lift-Cube와 Open-Drawer, Allegro Hand가 손 안에서 Cube의 방향을 바꾸는 Repose-Cube 등 세 가지 Manipulation Task를 사용했습니다. 모든 실험에는 동일한 강화학습 알고리즘인 FastTD3^[8]를 적용했습니다.

이미지 8. HumanoidBench

이미지 9. Isaac Lab

HumanoidBench 결과

LOAM은 HumanoidBench의 기본 Locomotion Task인 stand·walk·run에서 사람이 설계한 FastTD3 Baseline보다 3배 이상 빠르게 높은 성능에 도달했습니다. Locomotion뿐 아니라 Static·Dynamic Manipulation을 포함한 대부분의 Task에서도 FastTD3와 LESR^[9]보다 빠른 학습 속도 또는 높은 최종 성능을 보였습니다. 특히 기존 사람이 설계한 Observation에 LLM이 생성한 Feature를 추가하는 방식의 LESR과 달리, LOAM은 Raw Observation에서 Task에 필요한 정보를 새롭게 구성하고 효율적인 Action Space를 함께 설계한다는 점에서 차이가 있습니다. LOAM-Race는 여러 Candidate에 Training Budget을 배분하기 때문에 단일 LOAM보다 초반 학습 속도가 다소 느릴 수 있습니다. 그러나 Cube와 Insert_small처럼 LLM이 생성한 설계의 품질 편차가 크게 나타나는 Task에서는 Racing을 통해 유망한 Candidate를 선택함으로써 더 안정적으로 높은 최종 성능에 도달했습니다. 한편, Package처럼 모든 방법이 학습에 어려움을 겪은 Task도 있어 복잡한 장기 Manipulation 문제는 추가 연구가 필요한 영역으로 남았습니다.

이미지 10. HumanoidBench 실험 결과

Isaac Lab 결과

Isaac Lab에서는 LOAM의 Observation·Action Design이 서로 다른 Simulation Environment와 Robot Embodiment에도 Generalization될 수 있는지를 평가했습니다. Franka Robot Arm을 사용하는 Lift-Cube와 Open-Drawer Task에서는 LOAM이 Baseline보다 빠르게 학습했고, 1,100차원이 넘는 Raw Observation을 사용하는 Allegro Hand의 Repose-Cube Task에서는 LOAM-Race가 가장 높은 최종 성능을 보였습니다. 이는 강화학습에서 ‘무엇을 볼 것인가’를 결정하는 Observation과 ‘어떻게 움직일 것인가’를 결정하는 Action을 함께 설계하는 것이 중요하다는 점을 보여줍니다.

이미지 11. Isaac Lab 실험 결과.

이 밖에도 논문에는 Observation Model과 Action Model의 개별 효과, LOAM-Race의 Candidate Selection 방식과 Candidate 수에 따른 차이, 다양한 LLM Backbone에서의 성능 등 추가 실험과 분석이 포함되어 있습니다. LOAM과 LOAM-Race의 구체적인 동작 및 결과가 궁금하다면 논문을 참고해 주세요.

3. 향후 계획

향후에는 LOAM을 LG의 Home Robot과 제조 현장의 Robot 등 다양한 Robot 형태와 Task로 확장하고자 합니다. Robot마다 Sensor와 Actuator의 구성, 수행해야 할 작업이 다른 만큼 LOAM을 활용해 각 환경에 적합한 Observation·Action Model을 효율적으로 설계할 계획입니다. 이를 위해 Robot의 Specification과 Environment API, Task 관련 기술 문서를 LLM이 이해할 수 있는 형태로 정리하고, 생성된 Observation·Action Model의 실행 가능성과 물리적 타당성, 안전성을 Simulation에서 자동으로 검증하는 절차를 강화할 계획입니다. 궁극적으로는 Robot 및 현장 전문가가 Task의 목표와 제약 조건, 예외 상황을 설명하면 LLM이 초기 Model을 구성하고, 강화학습 전문가는 Policy 학습과 검증에 집중하는 협업 체계를 구축해 LOAM을 실제 Robot Deployment에 적극적으로 활용하고자 합니다.

참고

[1] Yoon et al., Designing Observation and Action Models for Efficient Reinforcement Learning with LLMs, ICML 2026.

[2] LG AI Research, “2025 LG Awards 고객만족상 수상! AI가 산업 혁신의 주인공이 되기까지,” LG AI Research News, 2025.06.04. https://www.lgresearch.ai/news/view?seq=567.

[3] Yoon, D., “[AAMAS 2024] Multi-Agent Reinforcement Learning for Real-World Application (1편),” LG AI Research Blog, 2024.06.26. https://www.lgresearch.ai/blog/view?seq=443

[4] Hong et al., “Naphtha Cracking Center Scheduling Optimization using Multi-Agent Reinforcement Learning: Demonstration Track,” Proceedings of the 23rd International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2024), pp. 2806-2808, 2024.

[5] Ma et al., Eureka, Human-level reward design via coding large language models. ICLR 2024.

[6] Xie et al., Text2Reward: Reward shaping with language models for reinforcement learning. ICLR 2024.

[7] Sferrazza et al., HumanoidBench: Simulated humanoid benchmark for whole-body locomotion and manipulation., RSS 2024.

[8] Seo et al., FastTD3: Simple, fast, and capable reinforcement learning for humanoid control., arXiv preprint 2025.

[9] Wang et al., “LLM-Empowered State Representation for Reinforcement Learning,” ICML 2024.

목록보기