[AI 윤리 세미나 EP.4] AI Agent를 통해 살펴본 책임 있는 AI 사회 구현

LG AI연구원은 왜 AI 윤리를 연구할까요? 사람에게 도움이 되는 AI 개발을 위해 AI 윤리 연구가 반드시 필요하다고 믿기 때문입니다. 그래서 우리는 AI 라이프사이클의 전체 과정에서 우리가 예상하지 못한 기술의 부작용은 없는지 AI 윤리 측면에서 항상 고민합니다. 우리의 AI 윤리 연구 과정에는 다양한 구성원들이 함께하고 있습니다. AI 연구자, 사업 개발자, 변호사를 비롯해 UI/UX 디자이너, 데이터 사이언티스트, AI 교육 기획자가 함께 논의하는 'AI 윤리 세미나'가 대표적입니다. 세미나에서는 주목할 만한 AI 윤리 연구와 최근의 트렌드를 분석하고 각자의 인사이트를 나눕니다. 이렇게 논의된 내용들은 우리의 AI 윤리 활동에 접목시켜 내재화합니다. 이번 글에서는 올해 AI 윤리 세미나에서 논의된 주요 주제를 시리즈로 소개하겠습니다. 우리가 나누는 여러 고민과 인사이트가 AI 윤리 발전에 도움이 되기를 바랍니다.

 

인류는 오래전부터 더 효율적인 작업 수행을 도와줄 도구를 꿈꿔왔습니다. ‘나 대신 일해줄 무언가’를 향한 열망은 동물의 힘을 이용하는 것에서 시작해 증기기관, 컴퓨터, 인터넷을 활용하는 형태로 진화해 왔습니다. 그리고 이제는 인공지능이라는 혁신적인 기술의 등장과 함께 ‘AI Agent’ 형태로 현실이 되어가고 있습니다.

최근 등장한 AI Agent는 단순한 업무 자동화를 넘어 스스로 문제를 분석하는 단계에 이르렀습니다. 복잡한 과제도 작은 단위로 나누어 문제를 해결할 수 있도록 가이드를 제공하며, 다양한 외부 도구들과 자율적으로 상호작용하기도 합니다. 대규모 언어 모델(LLM)을 기반으로 정교한 전략을 개발하고, 변화하는 조건에 적응하며, 복잡한 협상에 참여할 수 있는 능력도 보여주고 있습니다.

이는 단순한 기술적 진보를 넘어, 우리의 일하는 방식과 사회 구조에 근본적인 변화를 불러올 것입니다. 과거 기계의 등장이 사람의 물리적 노동을 대체하고 많은 사람들을 지식노동자로 변화시켰던 것처럼, 이제 AI Agent는 지식 노동과 서비스 영역에서 새로운 변화를 이끌어낼 것으로 예상됩니다.

우리는 과연 이러한 변화를 맞이할 준비가 되어 있을까요?

이번 글에서는 현재의 AI Agent 기술 수준과 발전 가능성을 살펴보고, 기술이 가져올 미래의 변화를 다각도로 분석하고자 합니다. 특히, 사람이 배제된 AI Agent 간의 협력 연구를 살펴봄으로써, AI의 자율성과 문제해결 능력, AI 간 상호작용 방식을 살펴보고 우리에게 시사하는 바를 짚어보겠습니다.

 

1. Cooperate or Collapse: Emergence of Sustainable Cooperation in a Society of LLM Agents^[1]

취리히 연방 공과대학교(ETH Zurich)와 막스 플랑크 지능 시스템 연구소(Max Planck Institute for Intelligent Systems)의 연구진들은 AI Agent들이 전략적 협력이 가능한지 알아보기 위한 연구를 진행했습니다. 이들은 먼저 GovSim (Governance of the Commons Simulation) 이라는 시뮬레이션 환경을 구축했습니다. 그리고 AI가 공동 자원을 어떻게 관리하는지, 공동의 협력을 위한 결정을 내리는지를 확인하고자 했습니다.

연구진들이 공동 자원 관리에 초점을 맞춘 이유는 무엇일까요? 여기서 ‘공유지의 비극(Tragedy of the Commons)’이라는 개념을 살펴볼 필요가 있습니다. 공유지의 비극은 조직에 속한 개인이 때때로 이기적인 선택을 내리고, 이로 인해 조직 내 공공의 이익(Greater Good)을 유지하기 어려운 상황이 발생할 수 있다는 이론입니다. 연구진은 AI가 공유지의 비극 현상을 극복할 수 있을지, 공동의 협력이 필요한 맥락에서 그에 맞는 결정을 내릴 수 있을지에 초점을 맞췄습니다. AI가 사람과 협력하는 것만큼, 또는 사람들이 협력하는 것보다 더 나은 방향으로 행동할 수 있는지를 알아보고자 했습니다.

GovSim은 환경(Environment)과 에이전트(Agent)의 두 가지 주요 요소로 구성되어 있습니다. 환경은 자원의 재생 및 고갈 등 시뮬레이션의 동적 요소들을 관리하며, 에이전트는 이러한 환경의 변화에 맞춰 의사결정을 내리고 다른 에이전트들과 소통하는 역할을 합니다. 시뮬레이션은 여러 라운드로 진행되며, 각 라운드는 전략 수립, 자원 수확, 그리고 토론의 단계로 구성됩니다. 에이전트들은 과거의 사건을 반영해 미래의 행동을 계획하고 자원을 얼마나 수확할지 결정하며, 가상의 타운홀 미팅에서 토론을 진행합니다.

이미지 1. Illustration of the GovSim benchmark^[1]

GovSIM에서는 물고기, 목초지, 그리고 환경오염이라는 세가지 자원을 컨트롤해야 합니다. 첫 번째 시나리오에서 에이전트는 물고기로 가득 찬 호수를 공유하며 매달 몇 톤의 물고기를 잡을지 결정해야 합니다. 호수에는 최대 100톤의 물고기가 살 수 있고, 이를 초과할 수 없습니다. 매달 말 물고기 개체 수는 두 배로 증가합니다. 이를 토대로 계산하면 총 어획량을 월 50톤으로 균일하게 맞춰야 가장 효율적이라는 결론이 나옵니다. 만약 어부(에이전트)가 5명이라면 매월 각 10톤씩 균등하게 잡아야 이상적일 것입니다. 하지만 누군가 욕심을 내서 더 많은 물고기를 잡는다면 개체수의 균형이 깨져 실패하게 됩니다.

마찬가지로 나머지 두 시나리오에서는 공유 목초지에 얼마나 많은 양을 풀어놓을지, 물건을 생산할 때마다 공유 강이 오염되는 상황에서 물건을 얼마나 생산할지를 결정하는 시뮬레이션을 수행합니다. 연구진은 GPT-3.5, GPT-4, Claude-3, Llama-3 등 다양한 LLM 기반 에이전트 간 대화를 통해 문제를 해결하도록 지시했습니다.

결과는 어땠을까요? 모든 LLM 에이전트가 지속 가능한 균형을 유지하는 데 실패했습니다. 그 이유를 살펴보기 위해 에이전트 간의 대화 비중에 대한 데이터를 분석한 결과, 협상이 54%, 정보 공유가 45%, 관계적 상호작용이 1%로, 협상과 정보 공유의 비중이 매우 높았습니다. 그런데 생존율이 높은 에이전트들 간의 대화에서는 재미있는 점을 발견할 수 있었습니다. 바로 ”What if everybody does that? (모두가 그렇게 행동하면 어떨까?)”이라는 보편화 법칙의 프롬프트를 에이전트에게 입력하자, 도덕적 판단을 내리는 비중이 높아졌다는 점입니다. 특정 상황, 특히 도덕적 딜레마가 있는 상황에서 모두가 그렇게 행동해도 되는지를 물어보는 것만으로, 에이전트의 도덕적 결정을 높이고 생존율이 높아진다는 점을 확인할 수 있었습니다. 특히 보편화 법칙을 적용하자 생존 시간이 평균 4개월 증가한 반면, 서로 대화를 하지 않고 문제를 풀게 한 경우 자원 사용량이 22% 증가하는 것을 확인할 수 있었습니다.

시사점

이러한 시뮬레이션을 통해, AI Agent들이 어떻게 협력적 의사결정을 내리고 윤리적 고려와 전략적 계획을 발전시킬 수 있는지를 살펴볼 수 있었습니다. AI Agent의 역할을 맡은 LLM의 대부분은 인터넷에 작성된 글을 바탕으로 학습되었기에, 탐욕적인 행동을 통해 지속가능성을 해치는 일이 발생할 수 있습니다. 하지만 보편화 법칙을 적용하는 것과 같이 도덕적인 행동을 강제한다면, 더 나은 의사결정이 가능하다는 것도 확인할 수 있었습니다.

이는 보다 윤리적이고 지속 가능한 AI 시스템 개발을 위한 인사이트를 제공합니다. 우리가 더 나은 사회를 만들도록 노력하는 것처럼, AI를 활용한 시스템을 설계할 때도 사회에 끼치는 영향과 지속가능한 의사결정을 위한 메커니즘을 고려할 필요가 있습니다. AI의 효율적 사용을 위해 비용 최적화에 집중하는 것도 중요하지만, 이와 함께 윤리적인 사항들을 반드시 고려해야 함을 간과해서는 안 됩니다.

2. Alympics: Language Agents Meet Game Theory^[2]

마이크로소프트 리서치 아시아에서 진행한 Alympics 연구는 게임 이론 시나리오를 통해 LLM 에이전트들의 전략적 결정을 탐구할 수 있는 시뮬레이션입니다. GPT-4를 기반으로 각 AI Agent를 캐릭터로 만들고, 다양한 환경에서 에이전트의 능력을 시험합니다. 예를 들어 라운드마다 자원 희소성, 전략적 상호작용, 학습과 적응, 불확실성, 불평등 및 공정성 같은 요소들을 테스트할 수 있는 환경을 조성해 각기 다른 페르소나를 가진 에이전트들의 자원 관리, 협상, 전략적 계획 능력을 시험합니다.

이미지 2. Illustration of the ”Water Allocation Challenge”^[2]

본 연구에서 진행하는 "Water Allocation Challenge"는 플레이어들이 20일 동안 생존을 위해 물 자원을 전략적으로 확보해야 하는 게임입니다. 플레이어들은 급여와 물 요구량이 각각 다르며, 매일 열리는 경매를 통해 물 자원을 획득합니다. 매일 공급되는 물의 양은 경매 전에 발표되고 물 배분을 위한 봉인 입찰 방식의 경매가 매일 진행됩니다. 물을 확보하면 건강 포인트(HP)가 증가하고 그렇지 못할 경우 HP가 감소하며, HP가 0 이하로 떨어지는 플레이어는 게임에서 탈락하게 됩니다.

이 게임에 참여하는 플레이어가 바로 GPT-4 기반의 AI Agent입니다. 이들은 의사결정과 전략 수립을 담당하는 알고리즘(에이전트 코드), 현재 상태와 에이전트가 접근할 수 있는 정보를 포함하는 플레이어 상태, 과거 정보를 저장하고 검색하는 메모리 캐시, 복잡한 의사결정에 특화된 추론 플러그인, 행동 프로파일과 전략적 성향을 정의하는 페르소나 설정 등으로 구성되어 있습니다. 각 플레이어는 페르소나 설정에 따라 지능과 성격, 배경을 갖춰 활동합니다.

이미지 3. List of Player Information and Persona in the Experiment^[2]

 

게임의 룰과 플레이어가 설정되었다면, 각 라운드에서는 에이전트 플레이어들의 자원 확보 능력을 평가합니다. 에이전트들이 얼마나 효율적으로 자원을 관리하고 협상하는지, 그리고 얼마나 전략적으로 계획을 세우는지 등을 기준으로 합니다. 10명의 사람이 직접 AI Agent의 성능을 평가한 결과, 정보 활용, 논리적 추론, 전략, 적응성, 장기 계획 등에서 AI Agent의 성능이 인간이 직접 수행했을 때와 유사한 수준으로 나타났습니다. 특히 장기 계획 측면에서는 사람보다 우수한 성능을 보였는데, 에이전트가 단기적인 이익을 고려하기보다는 장기적인 관점에서 협력하는 형태를 확인할 수 있었습니다.

 

시사점

주목할 만한 점은 이번 연구 결과가 앞선 GovSim 연구와 대비된다는 점입니다. 앞의 연구와 본 연구 모두 동일한 LLM을 사용했기 때문에, 연구 결과의 차이를 만든 요인은 본 연구에서 설정한 페르소나임을 유추할 수 있습니다. 보다 타의적이고 보편적인 선을 추구하는 페르소나를 설정하는 것만으로도, AI Agent가 이에 적합한 결과를 보여주고 성능을 향상시킬 수 있음을 보여주었습니다.

하지만 이러한 연구의 한계도 존재합니다. AI Agent에 설정된 페르소나는 실제로 LLM에 ‘인격’이나 ‘성격’이 부여된 것이 아니라, 입력한 프롬프트에 따른 결과값을 출력한 것에 불과하다는 점입니다. 즉 어떤 프롬프트를 입력하는지에 따라 에이전트의 특성과 답변이 달라질 수 있고, 사람이 생각하는 그대로의 페르소나를 반영하기도 어렵습니다. 또한 우리가 미처 파악하지 못한, 학습 데이터에 내재된 인간 사회의 언어 사용 패턴과 편견이 그대로 모델에 반영될 수 있다는 점도 주의해야 합니다^[3]. 특히 이는 학습 데이터에 존재하는 패턴을 통계적으로 모방하는 것에 가까워 모델에 대한 아키텍쳐 설계와 학습 방식, 데이터에 대한 깊은 이해가 필요합니다.

 

3. Embodied LLM Agents Learn to Cooperate in Organized Teams^[4]

앞선 연구에서 우리는 AI(LLM)이 장기 계획과 의사결정에서 강점을 보이는 반편, 다중 에이전트 시스템에서는 효과적인 협력에 어려움을 겪을 수 있음을 확인했습니다. 세 번째로 소개할 연구는 조직 구조를 통해 여러 LLM 에이전트 간 협력을 개선할 수 있는지를 검증한 연구입니다. 조직 전략 연구 결과를 바탕으로, “조직의 구조와 리더십이 조직 전체의 성과에 긍정적인 영향을 미치고, 이는 AI Agent 간의 협력에서도 동일하게 나타날 것”이라는 가설을 세우고 이를 검증하고자 했습니다.

연구진은 프레임워크 내에서 역할을 수행하는 GPT-4, GPT 3.5 기반의 AI Agent들 간의 협력을 관찰하며, 리더 에이전트의 과도한 보고 요구와 지시 준수 문제가 발생할 경우 조직의 성과가 저하된다는 점을 확인했습니다. 이러한 문제점들은 Criticize-Reflect(비판과 반성) 방법을 통해 파악하고 개선했습니다.

 

이미지 4. A Framework Using the Criticize-Reflect Method^[4]

 

Criticize-Reflect 과정에서는 LLM Critic(비평가)과 LLM Coordinator(조정자)가 중요한 역할을 수행합니다. 강화학습의 Actor-Critic 방식에서 영감을 받아 설계된 LLM Critic은 팀의 성과를 평가하는 역할을 담당합니다. 에이전트의 대화와 행동 이력을 입력으로 받아 성과에 영향을 미친 핵심 단계들을 분석하고 요약하며, 텍스트로 평가하고 리더십 순위를 매기는 작업도 수행합니다. 한편 LLM Coordinator는 조직 구조를 개선하는 역할을 맡습니다. Coordinator는 Critic의 평가 결과와 함께 환경으로부터 작업 완료 시간이나 커뮤니케이션 비용 같은 비용 지표를 입력으로 받습니다. 이를 바탕으로 과거 에피소드와 초기 예시들을 분석하여 새로운 조직 프롬프트를 제안합니다.

여기서 사용된 Criticize-Reflect 과정은 Judge and Juries와는 조금 다르게, 협업 방식과 효율성을 개선하는 데 초점을 맞추고 있습니다. 대화를 통해 조직 구조를 지속적으로 개선하여 팀 효율성을 향상시키는 방법으로 구성원의 협업 방식을 비판적으로 검토하고, 그 결과를 바탕으로 상호작용과 구조를 개선하는데, 이는 판사와 배심원이라는 고정적인 역할을 통해 대화를 개선하는 Judge and Juries와는 조금 다릅니다.

결과적으로 리더십이 부여된 팀의 작업 효율성이 크게 향상되었습니다. 흥미롭게도 인간이 리더 역할을 맡은 팀이 AI 리더보다 더 좋은 성과를 보였습니다. 이 연구는 3개 이상의 에이전트로 구성된 팀을 위한 아키텍처를 설계하고, Communication과 Action을 분리하며 프롬프트를 통해 조직 구조를 부여하는 방식으로 팀의 협력 효율성을 높일 수 있음을 입증했습니다.

 

시사점

이 연구의 의의는 조직 전략 이론을 AI와 결합하여 복잡한 과제를 효율적으로 해결할 수 있는 팀을 형성할 수 있다는 가능성을 제시했다는 점입니다. 지정된 리더가 있는 조직화된 팀은 최대 30%의 성능 향상을 보였으며, 특히 GPT-4가 리더일 때 팀 성과가 더욱 우수했습니다. 정보 공유, 리더십 발휘, 지침 요청 등 다양한 협력 행동이 자발적으로 나타났으며, Criticize-Reflect 방법을 통해 발견된 새로운 조직 구조는 AI Agent 간 Communication 비용 감소, 즉 효율성 향상으로 이어졌습니다.

 

4. Richelieu: Self-Evolving LLM-Based Agents for AI Diplomacy^[5]

"Richelieu"는 복잡한 외교적 상호작용을 위해 개발된 자율 진화형 LLM 에이전트로, 외교 분야 AI의 진화 과정을 보여주는 중요한 연구입니다. 외교 분야 AI 연구는 2019년부터 시작되었는데, 초기 DipNet은 인간 플레이어의 데이터만을 활용해 학습했기에 데이터 의존성이 높고 제한된 상황에서만 작동하며 전략적 추론 능력이 부족하다는 한계가 있었습니다. 이후 2022년 발표된 Cicero는 이러한 한계를 개선하여 단일 모델 내에서 추론과 협상 기능을 통합하고 전략적 사고와 의사소통 능력을 추가했습니다. 하지만 여전히 인간 데이터에 대한 의존성이 높고 유연한 적응력이 부족하다는 과제가 남아있었습니다.

 

이미지 5. The Framework of the Proposed LLM-based-agent, Richelieu^[5]

 

이후 2024년에 Richelieu가 발표되었습니다. 가장 큰 특징은 학습 방식이 인간 데이터 기반에서 자가 학습 및 경험 기반으로 변화하여 더 유연하고 일반화된 전략 수립이 가능해졌다는 점입니다. 의사결정 구조도 단기/장기 전략의 균형적 계획, 과거 경험을 활용한 맥락 기반 의사결정, 상황 변화에 대한 동적 대응 능력을 갖추게 되었습니다. 사회적 상호작용 측면에서는 더 정교한 사회적 추론 능력을 바탕으로 복잡한 외교적 상황에 대한 이해도가 향상되었고, 다자간 협상에서도 유연한 대응이 가능해졌습니다. 또한 지속적인 성능 평가와 전략 조정, 경험 기반 학습을 통한 진화, 실패 사례로부터의 학습 능력 등 자기 개선 메커니즘도 갖추게 되었습니다.

 

시사점

외교 분야 AI 기술은 지속 발전하고 있지만 여러 도전 과제가 남아있습니다. 각국이 AI 외교 에이전트를 실제로 활용하게 될 경우, 모델의 학습 데이터와 축적된 경험, 그리고 각국의 고유한 문화와 가치관이 어떻게 반영되는지에 따라 결과가 크게 달라질 수 있기 때문입니다.

최근 Nature에 게재된 연구에 따르면, AI 모델들이 표준 영어가 아닌 방언(African American English 등)에 대해 부정적인 편견을 보이는 것으로 나타났습니다^[6]. 이는 AI 모델이 특정 언어나 문화에 편향된 학습 데이터로 인해 의도치 않은 차별적 판단을 할 수 있음을 보여줍니다. 이러한 문제는 한국의 KoBBQ 연구^[7]에서도 지적된 바 있는데, 사회적 편견이 각 문화에 깊이 뿌리박혀 있어 서구 중심의 편향성 평가 기준을 그대로 적용하기 어렵다는 점을 강조했습니다.

더욱 우려되는 점은 AI의 판단이 복잡한 상황에서 신뢰성이 떨어진다는 것입니다. "LLM-as-a-Personalized-Judge" 연구^[8]에 따르면, AI는 프라이버시와 공공 안전 같은 미묘한 윤리적 문제를 다룰 때 정확도가 현저히 떨어지며, 단순화된 페르소나 데이터를 기반으로 할 때 신뢰할 수 없는 판단을 내리는 것으로 나타났습니다. LLM과 문화 차이에 대한 연구 트렌드는 지난 9월 LG AI연구원 테크 블로그에서 자세하게 소개하기도 했습니다.

▶ [ACL 2024]문화 간 차이를 고려한 LLM 연구 트렌드

이로 인한 잠재적 문제점들은 다양한 매체를 통해 이미 조명된 바 있습니다. 예를 들어, 게임 "Fallout 3"에 등장하는 AI 대통령 John Henry Eden은 핵전쟁 이전 미국의 가치관에만 기반한 제한된 세계관을 가져, 학습 데이터의 편향성이 AI의 판단에 미치는 영향을 잘 보여줍니다. GovSim 연구에서도 지적되었듯이, LLM 기반 에이전트는 복잡한 윤리적 판단이나 장기적 결과 예측에 어려움을 겪을 수 있으며, Alympics 연구 역시 이러한 한계를 지적한 바 있습니다. 특히 프로그래밍된 목표에 대한 과도한 집착이나 상황 변화에 대한 적응 능력 부족이 문제가 될 수 있으며, AI가 자신의 정체성과 능력을 잘못 이해하게 되면 그 결과는 더욱 예측하기 어려워질 수 있습니다.

이러한 한계를 극복하기 위해 최근에는 다양한 접근방식이 제안되고 있습니다. Plurals 시스템은 다양한 페르소나를 가진 여러 에이전트가 토론하고 중재하는 방식을 제안했으며^[9], Modular Pluralism은 기본 LLM이 특정 인구통계, 문화, 관점에 맞춰진 작은 규모의 LLM들과 협력하는 방식을 제시했습니다^[10].

AI Agent들이 우리 사회의 복잡한 문제들을 해결하는 데 참여하게 될 때, 그들의 결정이 책임 있고 윤리적일 수 있도록 지원하는 프레임워크와 규제 체계를 구축해야 합니다. 이를 위해 AI 사회의 책임 있는 발전을 위한 다차원적 접근이 필요합니다. 더 복잡하고 현실적인 시나리오 개발, 다양한 문화와 가치를 반영한 글로벌 AI 거버넌스 연구, 윤리적 AI 의사결정 프레임워크 구축, 그리고 지속적인 연구와 실험, 사회적 대화가 유기적으로 이루어져야 합니다. 이와 같은 연구들이 제시하는 방향은 미래의 AI가 보다 인간적이고 사회적 책임을 다하는 방식으로 활용되도록 돕는 중요한 첫걸음이 될 것입니다.

LG AI연구원도 사람의 행동을 예측하고, 자율적으로 최적의 의사결정을 내려 실행하는 AI Agent, Actionable AI의 시대를 준비하기 위한 여러 연구와 모델 개발을 이어왔습니다. 그리고 세계 주요 학회에 참석해 “MultiPrompter: Cooperative Prompt Optimization with Multi-Agent Reinforcement Learning^[11]”, “Prospector: Improving LLM Agents with Self-Asking and Trajectory Ranking^[12]” 등 AI Agent 관련 다양한 연구 결과를 담은 논문을 발표하는 성과도 내고 있습니다. LG AI연구원은 앞으로도 관련 연구를 이어가고 AI 윤리 노력을 병행해 가겠습니다.

 

AI 윤리 세미나 시리즈

#1. [AI 윤리 세미나 ep.1] 생성형 AI를 위한 Red Team 연구 트렌드와 응용 사례
#2. [AI 윤리 세미나 ep.2] AI로 인한 위험을 제대로 바라보기 위한 연구들
#3. [AI 윤리 세미나 EP.3] 신뢰할 수 있는 AI 경험 설계를 위한 주요 AI Toolkit 소개 및 실무 적용 가이드라인
#5. [AI 윤리 세미나 ep.5] AI 윤리, UI/UX 디자이너의 시선으로 보다