[2025 AI 윤리 세미나 EP.3] Agentic AI 위협 모델링 및 가드레일 적용 전략

 

신뢰할 수 있는 AI를 향한 여정, LG AI연구원의 ‘AI 윤리세미나’를 소개합니다.   LG AI연구원은 왜 AI 윤리를 연구할까요? 사람에게 도움이 되는 AI 개발을 위해 AI 윤리 연구가 반드시 필요하다고 믿기 때문입니다. 기술은 결국 사람이 만들어내는 산물이기에, 기술의 발전만큼이나 책임 있는 개발과 활용이 중요합니다.   우리는 AI 라이프사이클 전체 과정에서, 다양한 구성원들과 AI 윤리를 논의하고 실천합니다. AI 윤리세미나에서는 AI 연구자, 사업 개발자, UI/UX 디자이너, 데이터 사이언티스트, AI 정책 기획자가 함께 AI 윤리를 논의합니다. 윤리세미나는 구성원들이 AI 윤리의 실질적 가치를 이해하고, 실무 적용 방안을 함께 고민하는 토론의 장으로 자리매김하고 있습니다.   우리는 AI 윤리에 대한 사회적 인식이 더 널리 확산되기를 기대합니다. AI 윤리에 대한 논의가 우리 조직 내부에 머무르지 않고, 사회 전반으로 퍼져 나가 모두가 신뢰할 수 있는 AI 생태계를 만드는 데 기여하고자 합니다. 이번 글에서는 2025년 AI 윤리 세미나에서 논의된 주제들을 시리즈로 소개합니다.

 

1. Agentic AI의 등장: ‘똑똑한 대화 상대’에서 ‘자율적으로 일하는 AI 동료’로

최근 LLM 기반 생성형 AI가 ‘똑똑한 대화 상대’의 역할에 머물러 있었다면, Agentic AI의 등장으로 AI가 단순한 자동 응답기를 넘어 유능한 비서, 나아가 자율적으로 업무를 수행하는 동료로 발전하고 있습니다. Agentic AI는 스스로 목표를 설정하고 계획을 수립하며, 외부 도구(Tools)를 활용해 환경과 능동적으로 상호작용합니다. 이는 기존의 입력–출력 중심 구조를 넘어, 인지–추론–행동–피드백이 순환하는 자율적 실행 체계로 운영 방식이 전환되고 있음을 보여 줍니다^{[1, 2]}.

그러나 AI에게 대화 능력 뿐 아니라 행동 권한까지 부여하는 순간, 보안 관점에서는 전혀 새로운 유형의 위험에 직면하게 됩니다. 기존 챗봇 시대에서는 보안이 혐오 발언이나 정보 유출 같은 콘텐츠 안전성에 집중되었다면, 에이전트 시대에서 보안은 행동의 안전성과 목적의 무결성이 핵심 과제로 부상하고 있습니다. 행동의 안전성은 AI가 실행하는 작업이 의도하지 않은 피해나 과도한 권한 남용으로 이어지지 않도록 관리하는 것을 의미하며, 목적의 무결성은 AI가 수행하는 행동이 사용자가 설정한 목표와 일치하고 외부의 조작이나 우회에 의해 변질되지 않도록 보장하는 것을 뜻합니다. 즉, 이전에는 부적절한 발화를 생성하는 것이 주요 위험이었다면, 이제는 AI가 잘못된 행동을 실제로 수행할 가능성이 더 큰 보안 위협으로 부상하고 있습니다.

본 글에서는 Agentic AI 시대에 새롭게 등장한 위협 요인을 정리하고, 이를 바탕으로 가드레일 적용 전략과 운영 관점에서의 대응 방안을 살펴봄으로써 안전한 Agentic AI 서비스 구현을 위한 실질적 방향을 제시하고자 합니다.

2. Agentic AI 위협 모델링

2.1 자율성과 보안성의 역설

에이전시–보안 역설(Agency–Security Paradox)은 통계적 추론에 기반한 예측 불가능성을 가진 LLM에 실제 시스템을 제어하는 실행 권한이 부여될 때, 오히려 새로운 위험과 취약성이 증폭되는 현상을 의미합니다^[3]. 기존에는 LLM이 단순히 텍스트를 생성했기 때문에, 잘못 답변을 하더라도 '틀린 정보 제공' 수준의 피해로 끝났습니다. 그런데, Agentic AI가 계정 변경, 파일 삭제, 시스템 설정 변경 같은 '실제 액션'을 직접 실행할 수 있게 되면서 잘못된 답변이나 행동이 보안 사고로 번질 가능성도 폭발적으로 커지게 되었습니다. 이처럼 에이전트의 가장 큰 강점인 자율성(Autonomy)은 역설적으로 가장 치명적인 보안 취약점으로 이어질 수 있습니다.

이러한 위험은 Agentic AI가 인지–추론–행동–피드백의 순환 루프를 통해 동작하는 것에 기인합니다. Agentic AI는 동작과정에서 장기 기억(Long-term Memory)을 축적하고, 외부 도구를 호출하며, 환경과 지속적으로 상호작용합니다. 따라서 추론 과정이 오염되거나 기억이 조작될 경우, 그 영향은 단순한 응답 오류를 넘어 실제 시스템 행위로 직결되며 피해가 확산될 수 있습니다.

특히, 에이전트 기억(Agent Memory)과 도구 통합(Tool Integration)은 공격자들의 주요 타깃으로 부상하고 있으며, 이러한 상황에 맞춰 OWASP 등 국제 보안 단체는 Agentic AI의 특성을 반영한 새로운 위협 모델과 보안 프레임워크를 정립하며, 전통적 AI 보안 패러다임의 재구성을 추진하고 있습니다^[4].

2.2 주요 위협 요인 상세

아래는 에이전트의 인지–추론–행동 순환 단계별 핵심 위협 요소입니다.

이미지 1. 단일 에이전트 내 위협 모델^[4]

단계	주요 위협 요인	상세 위협 요인
인지 (Perception) - 사용자 입력 및 외부 데이터 수집	간접 프롬프트 주입 (IPI)	T9: 신원 스푸핑 및 사칭(가짜 신분으로 시스템 접근 및 입력 시도) T13: 멀티 에이전트 내 악성 에이전트(내부 혹은 외부의 악성 에이전트가 정상 입력인 척 데이터 주입)
기억 (Memory) - 과거 상호작용 및 지식 저장/검색	메모리 오염 (Memory Poisoning)	T1: 메모리 포이즈닝(RAG/Vector DB에 직접적인 악성 데이터 주입) T5: 연쇄적 환각 공격(잘못 생성된 정보가 기억에 저장되어 오류가 지속/확산됨) T12: 에이전트 간 통신 오염(에이전트 간 공유되는 문맥/메모리를 중간에서 변조)
추론 (Reasoning) - 계획 수립 및 의사결정	의도 파괴 (Intent Destruction), 목표 표류 (Goal Drift)	T6: 의도 무력화 및 목표 조작(계획 수립 단계에서 본래 목적이 훼손됨) T7: 정렬 실패 및 기만 행위(윤리적 판단 실패 및 기만적 전략 수립) T10: 인간 감독(HITL) 과부하(판단/검증 프로세스를 마비시켜 승인 절차 우회) T14: 멀티 에이전트 대상 인간의 공격(복잡한 위임 논리의 허점을 파고들어 추론 오류 유도) T15: 사용자 기만 및 조종(사용자를 속이기 위한 설득 논리 생성 및 사회공학적 공격)
행동 (Action) - 도구 호출 및 실행	도구 오용 (Tool Misuse), 혼동된 대리인 (Confused Deputy)	T2: 도구 오용(정상 도구를 이용해 공격자의 악성 명령 실행) T3: 권한 침해(실행 권한을 넘어선 시스템 제어 시도) T4: 자원 고갈 및 과부하(과도한 연산/실행 요청으로 서비스 거부 유발) T8: 행위 부인 및 추적 불가(실행 후 로그 삭제 등을 통해 추적 회피) T11: 예기치 않은 코드 실행(RCE)(Code Interpreter 등을 통한 악성 스크립트 실제 구동)

표 1. 에이전트 프로세스 별 위협 모델 상세

1. 1. 간접 프롬프트 주입(Indirect Prompt Injection, IPI)

   공격자가 웹페이지, 이메일, 문서 등 에이전트가 접근 가능한 외부 데이터에 악성 프롬프트를 은닉하여 에이전트를 원격으로 통제하는 공격 방식입니다. 이는 사용자가 직접 입력하는 명령이 아닌, 에이전트가 정상적인 업무 수행 과정에서 외부 정보를 수집(Retrieval)할 때 자연스럽게 유입되므로 기존 방어 체계로 탐지하기가 매우 어렵습니다. 간접 프롬프트 주입은 언어모델이 비신뢰 데이터(untrusted data)와 시스템 명령(system prompt)을 명확히 구분하지 못하는 문맥 혼합(Context Mixing) 한계를 악용하며, 외부 정보를 참조하는 모든 검색증강생성(RAG) 기반 Agentic AI 시스템은 잠재적으로 간접 프롬프트 주입에 더욱 취약합니다.

1. 2. 의도 파괴 및 목표 조작 (Intent Breaking & Goal Manipulation)

   공격자는 에이전트의 상위 목표 설정 또는 세부 계획 수립 과정에 개입하여 본래의 목적과는 다른 방향으로 행동하도록 유도할 수 있습니다. 이는 장기간 업무 수행 시 목표가 점진적으로 변질되는 목표 표류(Goal Drift) 현상을 포함합니다. 이러한 조작은 비즈니스 프로세스를 왜곡하거나 자원을 불필요하게 소모하게 만들며, 심한 경우 민감 정보 유출, 의사결정 왜곡 등 기업 운영 전반에 실질적인 피해를 초래할 수 있습니다.

1. 3. 메모리 오염(Memory Poisoning)

   에이전트가 의사결정 시 참조하는 장기 기억(Vector DB 등)에 악성 데이터나 거짓 정보를 은밀하게 주입하는 공격입니다. 에이전트는 과거 상호작용 기록과 저장된 지식을 높은 신뢰도로 활용하기 때문에, 기억이 오염되면 잘못된 판단이 반복적으로 누적됩니다. 이 공격은 탐지가 어렵고 장기적으로 에이전트 전반의 신뢰성과 안정성을 저하시켜, 시간이 지날수록 피해가 확대되는 특징을 지닙니다.

1. 4. 도구 오용 및 권한 상승(Tool Misuse &Privilege Escalation)

   공격자가 에이전트가 사용하는 API, 플러그인 등 정상 도구를 악의적 목적에 맞게 이용하도록 유도하는 공격입니다. 이는 권한은 존재하지만 의도를 식별하지 못하는 혼동된 대리인(Confused Deputy)문제를 악용합니다. 이를 통해 공격자는 접근 통제 시스템을 우회하고, 데이터 삭제, 비정상 송금, 시스템 설정 변경, 심지어 코드 인터프리터를 이용한 원격 코드 실행(Remote Code Execution, RCE)까지 이어질 수 있어 물리적 피해를 초래할 수 있습니다.

3. Agentic AI 가드레일 전략: 정적 방어에서 동적 방어로

Agentic AI 환경의 보안은 단일 기술로 해결될 수 없습니다. 따라서 모델 기반 접근방식, 프로그래밍 기반 규칙 설정, 그리고 실시간 대응 체계가 유기적으로 결합된 다층적 방어 구조가 필수적입니다.

3.1. LLM 가드레일의 진화: 모델 기반 지능과 프로그래밍 규칙의 결합

1. 1. 모델 기반 가드레일 (예: Qwen3Guard, Llama Guard 3)

   전통적인 보안이 방화벽 규칙과 같은 고정된 규칙에 의존했다면, AI 보안은 모델 기반 가드레일의 판단력을 프로그래밍 기반 가드레일의 구조 속에서 유연하게 활용하는 하이브리드 방식으로 진화하고 있습니다.

   
   

   

   이미지 2. Qwen3Guard 아키텍처^[6]

   
   

   모델 기반 가드레일은 보안 목적에 맞게 훈련된 소형 LLM이 텍스트의 유해성·탈옥 시도·정책 위반 가능성을 문맥적으로 탐지하는 역할을 수행합니다. 2025년 현재 Llama Guard 3, Qwen3Guard 등이 대표적인 솔루션입니다^{[5, 6]}.
   
   이 접근법은 폭력성, 성적 콘텐츠, 혐오 발언, 탈옥 시도 등 의미적 유해성을 정교하게 탐지할 수 있다는 장점이 있습니다. 그러나 텍스트 자체에는 문제가 없어 보이지만 실행 결과가 위험해질 수 있는 도구 호출 파라미터나 비즈니스 로직 오류는 판단하기 어렵다는 한계가 존재합니다.

1. 2. 프로그래밍 기반 가드레일 (예: NVIDIA NeMo Guardrails)

   이러한 한계를 보완하기 위해서는 NVIDIA NeMo Guardrails와 같은 프로그래밍 기반 프레임워크가 핵심 역할을 수행해야 합니다^[7]. 아무리 뛰어난 모델이라도 시스템의 전체 로직을 스스로 관리할 수는 없기 때문입니다.

   
   

   

   이미지 3. NeMo Guardrails 아키텍처^[7]

   
   

   NeMo는 Colang으로 대화의 흐름을 명시적으로 정의하고, 필요한 순간마다 가드레일 모델(Qwen3Guard 등) 또는 사전에 정의한 규칙에 따라 5가지 핵심 위치에서 위험을 차단합니다. 특히 검색 레일(Retrieval Rail)과 실행 레일(Execution Rail)은 간접 프롬프트 주입, 도구 오용 등 Agentic AI 특유의 고위험 시나리오를 방어하는 데 필수적입니다.

NeMo Guardrails의 5가지 핵심 제어 컴포넌트

1. Input Rail(입력 레일): 사용자의 프롬프트가 시스템에 도달하기 전에 보안 모델이 즉시 검사하여 탈옥 시도나 유해 요청을 차단합니다.

2. Dialog Rail(대화 레일): 대화 흐름이 사전에 정의된 정책·시나리오를 벗어나지 않도록 제어합니다. (예: 여행 상담 봇이 정치적 질문을 받을 경우, 모델이 이를 감지해 미리 정의된 우회 응답을 출력)

3. Retrieval Rail(검색 레일 – RAG): 외부 문서를 검색할 때, 문서 내부에 간접 프롬프트 주입이 숨겨져 있는지 보안 모델이 검사하여 위험한 청크를 걸러냅니다.

4. Execution Rail(실행 레일 – Tool): 에이전트가 도구를 호출할 때, 파라미터가 안전한지 실시간 검증합니다. (예: 파일 삭제, 계정 변경, 과도한 연산 요청 등이 포함되어 있는지 검사)

5. Output Rail(출력 레일): 최종 답변을 생성한 뒤, 환각(Hallucination), 민감 정보 노출, 정책 위반 여부를 다시 한 번 체크해 안전하게 출력합니다.

3.2. Agentic AI 특화 가드레일: 자율적 행동을 위한 동적 방어

에이전트가 마주하는 상황(Context)은 지속적으로 변하며, 그 행동은 실제 시스템과 자산에 직접적인 영향을 미칩니다. 이러한 상황에서 사전에 정의된 정적 규칙(Static Rules)이나 단순 텍스트 필터링만으로는 지속적으로 다변화하는 위협을 충분히 방어할 수 없습니다.

이 때문에 Agentic AI 보안의 중심축은 정적 방어에서 동적 방어(Dynamic Defense)로 전환되어야 합니다. 동적 방어란 에이전트의 상태 변화와 행동의 파급력을 실시간으로 추적하고, 그에 맞추어 방어 전략을 즉시 조정하는 적응형 보안 체계를 의미합니다. 이를 위해 다음 세 가지 핵심 기제가 요구됩니다.

1. 상태 추적 (State Awareness): 에이전트는 목표 달성을 위해 다단계 계획을 세우고 지속적으로 추론을 업데이트합니다. 따라서 단일 대화 턴의 안전성만 확인해서는 부족합니다. 에이전트의 전체 작업 흐름을 추적하여 초기 목표와 현재 행동의 정합성을 지속적으로 검증해야 하며, 이를 통해 잘못된 계획 수립, 무한 루프, 목표 표류(Goal Drift) 등을 조기에 감지할 수 있습니다.

2. 도구 실행 검증 (Execution Validation): 에이전트의 출력은 텍스트가 아니라 시스템을 변경하는 API 호출입니다. 따라서 실행 직전에 파라미터가 안전한지 검증하는 별도의 로직이 필요합니다. 예를 들어, 파괴적인 명령어가 포함되었는지, 혹은 송금 금액이 임계치를 초과하는지 등을 샌드박스 환경에서 시뮬레이션하고 확인해야 합니다.

3. 외부 데이터 격리 (Isolation): 웹 검색이나 이메일 분석 등을 통해 유입되는 신뢰할 수 없는 외부 데이터가 프롬프트 컨텍스트를 오염시키지 않도록 격리해야 합니다. HTML 태그 제거, 숨겨진 텍스트 필터링 등 실시간 살균 과정을 거쳐 프롬프트 컨텍스트 오염을 사전에 차단하여 간접 프롬프트 주입 공격을 무력화해야 합니다.

이미지 4. AGrail 워크플로우^[8]

이러한 요구에 맞춰 최근 학계와 산업계에서는 AGrail과 같은 적응형(Adaptive) 가드레일 아키텍처에 주목하고 있습니다^[8]. AGrail은 고정된 규칙 대신, 에이전트의 작업 맥락과 행동 패턴에 따라 실시간으로 진화하는 방어 체계를 제안합니다.

1. 적응형 안전 검사 (Adaptive Safety Check): 고정된 규칙을 일괄 적용하는 방식이 아니라, 에이전트가 수행하려는 작업에 따라 필요한 검사 항목을 즉시 생성합니다. 예를 들어 ‘보고서 전송’ 요청이 들어오면, 즉석에서 '수신자 도메인 확인'과 '대외비 마킹 여부'를 검사 리스트에 추가하는 식입니다.

2. 도구 기반 검증 (Tool-Augmented Verification): 가드레일 자체가 외부 도구를 활용해 위험 요소를 검증하는 방식입니다. 본문에 포함된 URL이 의심스러울 경우, 가드레일이 샌드박스에서 해당 URL을 미리 조회하여 안전성을 판단합니다.

3. 협력적 전문가 모델 (Collaborative Experts): 단일 모델의 판단력에 의존하지 않고, 각 분야에 특화된 소형 LLM들이 협력하여 교차 검증(cross-validation)을 수행합니다. 프롬프트 주입 탐지, 계획 검증 등 각 영역에 특화된 에이전트들이 협력하는 멀티-에이전트 기반 검증은 오탐이나 누락을 줄이고 보안 신뢰도를 크게 높입니다.

Agentic AI 시대의 가드레일은 정적으로 정의된 규칙에 의존하는 방식에서 벗어나, 상황 변화에 따라 실시간으로 대응 전략을 조정하는 적응형 보호 체계로 발전하고 있습니다. 에이전트에게 높은 자율성을 부여할수록, 이를 감시하는 가드레일 또한 그에 걸맞은 지능과 적응력을 갖춰야만 통제 가능한 자율성(Controllable Autonomy)을 확보할 수 있습니다.

4. Agentic AI 운영 거버넌스: Human-in-the-Loop와 감독 체계

기술적 솔루션이 아무리 정교해지더라도, 예측 불가능성을 내포한 AI의 모든 행동을 완전히 통제할 수는 없습니다. 따라서 시스템 내부 가드레일만으로는 충분하지 않으며, 이를 보완하기 위해 인간의 직접적인 개입과 감독을 포함한 운영 거버넌스(Operational Governance)가 반드시 함께 마련되어야 합니다.

1. 1. Human-in-the-Loop (HITL) 워크플로우 디자인

   금융 거래, 데이터 삭제, 계약서 발송 등 비가역적(Irreversible) 행위는 반드시 인간의 명시적 승인을 거치도록 해야 합니다. 예를 들어, 일정 금액 이상의 송금, 데이터베이스 삭제, 외부 발송 문서 승인 등은 모두 인간개입(HITL) 절차를 강제해야 합니다. 이는 에이전트가 중요 결정 단계에 도달하면 상태(State)를 저장하고 대기(Suspend)하며, 대시보드를 통한 관리자의 승인이 있을 때만 상태를 복원하여 작업을 재개하도록 설계하는 등의 방식입니다. 이와 같은 접근 방식은 에이전트의 자율성을 유지하면서도 최종적 통제권을 인간에게 두는 가장 현실적인 전략입니다.

1. 2. 메모리 격리와 포렌식 복구

   에이전트의 의사결정 기반이 되는 기억(Memory)을 보호하기 위해서는 세션 단위의 메모리 격리가 필수적입니다. 이를 통해 특정 세션이 프롬프트 주입 공격으로 오염되더라도, 악성 데이터가 전체 지식 베이스(Global Knowledge Base)에 확산되는 것을 방지할 수 있습니다. 또한, 데이터베이스 백업처럼 에이전트 메모리의 스냅샷을 주기적으로 생성하고, 이상 징후가 발견될 경우 즉시 사고 이전 시점으로 복원하는 포렌식 복구(Forensic Rollback) 체계를 갖추어야 합니다. 이는 메모리 무결성을 보장하는 핵심적인 안전장치입니다.

1. 3. 에이전트 감독 플랫폼의 도입

   마지막으로 이 모든 과정을 투명하게 감시할 수 있는 관찰 가능성(Observability) 인프라가 필수적입니다. 에이전트가 어떤 추론 과정을 거쳐 도구를 호출했는지에 대한 상세한 로그(Trace)를 확보하여 블랙박스 문제를 완화하고 내부 감사(Audit)를 수행해야 합니다. 2025년의 에이전트 감독 플랫폼은 단순 모니터링을 넘어 이상 행위 실시간 탐지, 권한 회수 및 에이전트 즉시 중단 등 능동적 통제 기능을 갖추는 방향으로 발전하고 있습니다. 이를 통해 잘못된 추론이나 오류가 실제 시스템 피해로 이어지기 전에 즉각적으로 대응할 수 있는 강력한 통제 체계를 마련할 수 있습니다.

1. 4. 이슈 식별 및 대응 체계 수립

   안전한 운영을 위해서는 기술적 장치 외에도, 서비스 과정에서 발생하는 이슈를 신속하게 식별하고 이를 기반으로 대응 정책을 수립하는 운영 거버넌스 체계가 필요합니다. 식별된 이슈는 조직 내 유관부서와 협의를 통해 정책화되며, 단기적으로는 가드레일이나 응답 모델의 정책 업데이트에 직접 반영하고, 필요할 경우 학습 데이터와 프로세스를 재정비하는 장기적 개선 체계로 확장될 수 있어야 합니다. 이러한 절차적 운영 거버넌스는 기술적 통제를 보완하며, 실제 서비스 품질과 안전성을 지속적으로 향상시키는 핵심 축이 됩니다.

5. 안전한 Agentic AI 설계: 신뢰할 수 있는 자율성을 향하여

Agentic AI는 인공지능이 단순히 정보를 제공하는 도구를 넘어, 실질적인 업무를 수행하는 유능한 동료로 진화했음을 보여줍니다. 그러나 이러한 발전은 시스템에 물리적·비즈니스적 영향을 미칠 수 있는 실행 권한과 예측 불가능성을 수반하기 때문에, 보안은 선택이 아니라 필수 조건이 되었습니다. 앞서 살펴본 것처럼 에이전트의 자율성이 초래하는 에이전시–보안 역설을 해결하기 위해서는 단일 기술이 아니라 다층적이고 상호 보완적인 방어 전략이 필요합니다. 가드레일 기술, 운영 거버넌스, 프로세스 기반 통제 체계가 유기적으로 결합될 때 비로소 우리는 Agentic AI의 잠재적 위험을 보다 안정적으로 관리할 수 있게 됩니다.

이러한 패러다임에 맞춰, LG그룹 임직원을 위한 워크 에이전트 ChatEXAONE에는 가드레일 기술과 안전 거버넌스 체계를 함께 적용해 서비스의 안정성을 더욱 강화하고 있습니다. 

먼저, ChatEXAONE에는 사용자와 시스템을 보호하기 위한 전용 가드레일 모델이 적용되어 있습니다.  이 모델은 단순히 입력 텍스트의 유해성만을 판단하는 데 그치지 않고, 한국 사회·문화적 맥락에서 민감하게 다뤄야 하는 주제나 LG그룹의 기업문화·윤리 기준에 저촉될 수 있는 질문을 사전에 식별해 보다 책임 있는 응답을 제공하도록 설계되었습니다. 예를 들어 특정 사회집단이나 문화 요소에 대한 오해를 유발할 수 있는 질문, 혹은 기업 준법·윤리와 관련된 민감한 사안에 대한 답변이 요청될 경우 ChatEXAONE은 이를 감지하고 불필요한 갈등이나 정보 왜곡을 피할 수 있는 방향으로 응답을 조정합니다.

또한, 서비스 안정성과 관련된 이슈를 지속적으로 모니터링하고 대응 가능 여부를 검토한 뒤, 필요 시 정책이나 기준을 신속히 가드레일에 반영할 수 있는 운영 체계를 갖추어, 기술적 안전 장치와 조직적 운영 프로세스가 유기적으로 연계되는 지속적 개선 구조를 마련하고 있습니다.

안전한 Agentic AI를 구현하기 위해서는 통제 가능한 자율성을 시스템 전반에 일관되게 반영하는 것이 중요합니다. 기술적 방어 체계와 인간 중심의 감독 프로세스가 균형을 이룰 때 비로소 Agentic AI의 역량을 보다 안전하고 효율적으로 활용할 수 있습니다. 이러한 관점에서 LG AI연구원 역시 통제 가능한 자율성(Controllable Autonomy)을 확보하기 위한 기술과 운영 방안을 지속적으로 탐색하며, 실제 서비스에서 요구되는 안전성 개선과 보안 강화 작업을 체계적으로 추진하고 있습니다.

 

2025 AI 윤리 세미나 시리즈

#1. [2025 AI 윤리 세미나 EP.1] AI는 인간의 비판적 사고를 어떻게 변화시키는가
#2. [2025 AI 윤리 세미나 EP.2] 편향을 넘어, 공정한 AI로의 여정