신뢰할 수 있는 AI를 향한 여정, LG AI연구원의 ‘AI 윤리세미나’를 소개합니다.

LG AI연구원은 왜 AI 윤리를 연구할까요? 사람에게 도움이 되는 AI 개발을 위해 AI 윤리 연구가 반드시 필요하다고 믿기 때문입니다. 기술은 결국 사람이 만들어내는 산물이기에, 기술의 발전만큼이나 책임 있는 개발과 활용이 중요합니다.

우리는 AI 라이프사이클 전체 과정에서, 다양한 구성원들과 AI 윤리를 논의하고 실천합니다. AI 윤리세미나에서는 AI 연구자, 사업 개발자, UI/UX 디자이너, 데이터 사이언티스트, AI 정책 기획자가 함께 AI 윤리를 논의합니다. 윤리세미나는 구성원들이 AI 윤리의 실질적 가치를 이해하고, 실무 적용 방안을 함께 고민하는 토론의 장으로 자리매김하고 있습니다.

우리는 AI 윤리에 대한 사회적 인식이 더 널리 확산되기를 기대합니다. AI 윤리에 대한 논의가 우리 조직 내부에 머무르지 않고, 사회 전반으로 퍼져 나가 모두가 신뢰할 수 있는 AI 생태계를 만드는 데 기여하고자 합니다. 이번 글에서는 2025년 AI 윤리 세미나에서 논의된 주제들을 시리즈로 소개합니다.

생성형 AI는 글쓰기, 데이터 분석, 코드 작성 등 거의 모든 영역에 혁신을 가져오며 생산성을 극대화하고 있습니다. 덕분에 우리는 더 빠르고 정확하게 일을 처리할 수 있게 됐지만 동시에 질문 하나가 생깁니다. “AI에 대한 의존도가 높아질수록, 우리는 스스로 생각할 기회를 잃고 있는 건 아닐까?”

최근 연구들은 이러한 질문에 대해, AI가 인간의 사고 과정에 점차 영향을 미치며 ‘생각하는 방식’과 ‘사고의 주도권’ 모두에 변화를 일으키고 있음을 보여줍니다. 본 글에서는 이러한 변화 중에서도 비판적 사고에 초점을 맞추어, AI 시대에 인간의 사고가 어떻게 달라지고 있는지를 두 편의 최신 연구를 바탕으로 살펴보고, LG AI연구원의 ChatEXAONE이 이런 변화를 어떻게 설계 철학에 반영하고 있는지 소개합니다.

1. 비판적 사고의 변화: AI를 얼마나 믿을 것인가?

Lee et al.(2025)^[1] 논문에서 Carnegie Mellon University와 Microsoft의 연구팀은 319명의 지식근로자를 대상으로, 생성형 AI 사용 시 비판적 사고의 변화를 분석했습니다. 그 결과는 주목할 만했습니다.

AI 신뢰도가 높을수록, 스스로 사고하려는 노력은 감소했다.
자신의 판단에 대한 신뢰가 높은 사람일수록, AI와 함께 사용할 때도 비판적 사고를 유지했다.

연구진은 이 변화를 ‘직접 수행자(Doer)’에서 ‘감독자(Steward)’로의 전환’이라고 설명합니다. 이전에는 사람이 문제를 정의하고 해결했다면, 지금은 AI가 초안을 만들고 사람은 그것을 검토하고 조율합니다. 즉, 비판적 사고의 초점이 정보를 만드는 것에서, 정보를 검증하고 조정하는 쪽으로 이동한 것입니다.

하지만 이런 변화에는 한 가지 위험이 존재합니다. 시간이 지날수록 AI에 대한 신뢰가 누적되면, 그 결과를 너무 쉽게 믿어 검증 자체를 생략하는 과신(Over-Reliance)에 빠질 수 있다는 점입니다.

2. 균형 잡힌 협업의 열쇠: ‘적절한 신뢰’란 무엇인가?

Microsoft Research의 Passi et al.(2024)^[2] 연구는 이 문제를 해결하기 위한 개념으로 ‘적절한 신뢰(Appropriate Reliance)’를 제시했습니다. 이 개념은 AI를 맹목적으로 믿지도, 무조건 의심하지도 않는 균형 잡힌 신뢰 상태를 의미합니다.

CAIR(Correct AI Reliance): AI가 맞았을 때, 그 결과를 올바르게 수용하는 비율
CSR(Correct Self-Reliance): AI가 틀렸을 때, 스스로 옳은 판단을 지켜내는 비율

이 두 가지를 모두 높일수록 사용자는 AI를 적절히 신뢰한다고 평가할 수 있습니다. Passi 연구팀은 이를 AoR(Appropriateness of Reliance)이라는 종합 지표로 제시했습니다. 그만큼 진정한 AI 활용은 정확성만이 아니라 인간과 AI가 함께 더 나은 결과를 만들어내는 협업의 질로 평가해야 합니다.

또한 이 연구는 생성형 AI의 답변이 부분적으로 맞고 틀린 ‘회색 지대’에 놓여 있음을 강조합니다. 따라서 사용자는 단순히 답변을 검토하는 데서 나아가, 상황에 따라 AI의 신뢰성을 판단하고 AI에 대한 의존 수준을 적절히 조절할 필요가 있습니다.

3. AI 과신을 유발하는 네 가지 요인

Passi 연구는 사용자가 AI를 과도하게 신뢰하는 네 가지 주요 원인을 정리했습니다. 이 요인들은 AI 시스템 설계에 중요한 시사점을 줍니다.

전문성의 차이: 검증 지식이 부족한 초보자는 AI의 답을 그대로 믿기 쉽지만, 전문가는 결과를 교차 검토하는 능력이 높습니다.
대화 방식: AI와 여러 차례 대화를 주고받는 다중 교환 대화 구조(Multi-Turn)는 과신을 줄이는 데 도움이 됩니다.
과업의 특성: 코딩의 경우 검토를 생략하기 쉽고, 글쓰기에서는 AI의 초기 제안에 영향 받는 ‘앵커링 효과’가 자주 나타납니다.
검증 비용: AI의 유창한 말과 빠른 속도가 사용자의 정확성 착각(Illusion of Accuracy)을 유발해 검증 단계를 건너뛰게 만들며, 이는 검증에 드는 시간과 노력을 줄이려는 심리와 맞물려, 결과적으로 과신(Over-Reliance)을 강화합니다.

결국 사용자가 쉽게 검증할 수 있고, AI의 작동 원리를 올바르게 이해하도록 돕는 설계가 중요합니다.

4. AI 설계의 세 가지 핵심 전략

Passi 연구팀은 AI가 사용자의 비판적 사고를 돕기 위한 세 가지 설계 방향을 제시했습니다. 이 전략들은 AI가 사용자의 사고를 대신하는 것이 아니라, 촉진하는 파트너가 되어야 한다는 원칙을 담고 있습니다.

AI 답변 검증을 돕는 설명

AI가 답을 낸 이유를 장황하게 말하기보다, 사용자가 직접 옳고 그름을 판단할 수 있는 근거를 함께 제시해야 합니다.
AI가 스스로 결과를 비판하도록 설계했을 때 사용자는 AI 결과에서 50% 더 많은 오류를 찾는 데 도움을 줍니다.

AI 답변 불확실성 알림

“정확하지 않을 수도 있습니다.”와 같은 표현으로 AI가 정확도를 전달하면, 사용자는 결과를 더 신중하게 해석할 수 있습니다.
다만, 지나치게 불확실성을 표현하면 사용자의 신뢰도가 낮아질 수 있어 이러한 표현은 균형이 중요합니다.

사용자 생각을 유도하는 질문

AI가 단정적인 답변 대신 “이 결론에 반례는 없을까요?”와 같은 질문을 던질 때, 사용자는 결과를 그대로 수용하지 않고 다시 생각하게 됩니다.
이 설계는 비판적 사고를 자극하되, 인지 부담이 과도하지 않도록 조절해야 합니다.

5. 우리가 점검해야 할 질문들

연구 결과를 바탕으로, AI 시스템을 설계하거나 사용할 때 다음과 같은 질문들을 반드시 점검해야 합니다.

검증이 쉬운가? AI의 답변을 빠르게 확인하고 비교할 수 있는 근거가 충분히 제공되는가?
AI의 한계를 이해하도록 돕는가? 결과가 항상 완벽한 정답이 아닐 수 있음을 사용자가 명확히 인식할 수 있는가?
사용자 맥락에 맞게 설계했는가? 초보자와 전문가, 단순 질의와 심층 분석 등 상황에 따라 AI와의 상호작용이 달라지는가?
사람과 AI가 함께 더 나은 결과를 내는가? AI 단독 사용이 아닌, 사람과 AI가 함께할 때 업무 성과와 문제 해결 능력이 실제로 향상되는가?

이 네 가지 질문은 “AI를 얼마나 똑똑하게 만들었는가?”가 아닌, “AI가 사람의 사고를 얼마나 잘 도와주는가?”에 초점을 맞춥니다.

6. ChatEXAONE: 'AI의 생각'을 투명하게 보여주는 설계

이미지 1. ChatEXAONE의 심층 리서치 과정

ChatEXAONE은 LG AI연구원의 초거대 언어모델(LLM)인 EXAONE을 기반으로 개발된 AI 대화형 어시스턴트로, 실시간 웹 정보 기반 질의응답, 문서 기반 질의응답, 코딩 등 다양한 기능을 통해 업무의 편의성과 효율성을 크게 향상시킵니다.

특히, 추론 강화와 심층리서치 기능은 사용자가 요청한 내용에 대해 정보를 수집하고, 문제와 맥락을 분석하며, 접근 방법과 추론 과정을 점검하고, 오류를 확인한 후 보완할 부분과 대체 가능한 접근 방식을 고려하여 결론을 도출하는 전 과정을 투명하게 공개합니다.

이러한 기능은 사용자가 AI를 단순한 답변 도구가 아닌, 함께 사고하고 성장하는 파트너로 인식하도록 돕습니다. AI의 사고 과정을 단계별로 보여주어, 사용자는 AI의 근거와 판단 과정을 함께 검토하며, AI의 결정을 보완하고 확장할 수 있습니다. 사용자는 AI의 판단 과정을 투명하게 확인하면서, 결과를 무조건 수용하지 않고 스스로 판단할 수 있는 여지를 갖습니다.

덜 생각하는 시대가 아니라, 다르게 생각하는 시대

AI 시대의 비판적 사고는 개인의 노력만으로 지켜질 수 없습니다. 이는 사람이 비판적으로 사고하고 성찰할 수 있도록 지원하는 기술과 설계에서 시작합니다. ChatEXAONE은 단순히 답변을 제공하는 것을 넘어, AI의 사고 과정과 답변에 대한 근거를 투명하게 드러내는 상호작용 구조를 통해 사용자가 자연스럽게 검토하고 스스로 판단을 내릴 수 있는 환경을 제공합니다.

이러한 접근은 AI가 인간의 비판적 사고를 대신하는 도구가 아니라, ‘깊은 비판적 사고를 유도하도록 설계된 동반자’로 진화하고 있음을 보여줍니다. LG AI연구원은 ChatEXAONE을 통해 이러한 철학을 실현하며, 사람과 AI가 함께 성장하고 지적인 시너지를 창출하는 미래를 선도하고 있습니다.

2025 AI 윤리 세미나 시리즈

#2. [2025 AI 윤리 세미나 EP.2] 편향을 넘어, 공정한 AI로의 여정