[2025 AI 윤리 세미나 EP.4] 도구에서 동료로: 판단을 확장하는 AI UX 설계

 

신뢰할 수 있는 AI를 향한 여정, LG AI연구원의 ‘AI 윤리세미나’를 소개합니다.   LG AI연구원은 왜 AI 윤리를 연구할까요? 사람에게 도움이 되는 AI 개발을 위해 AI 윤리 연구가 반드시 필요하다고 믿기 때문입니다. 기술은 결국 사람이 만들어내는 산물이기에, 기술의 발전만큼이나 책임 있는 개발과 활용이 중요합니다.   우리는 AI 라이프사이클 전체 과정에서, 다양한 구성원들과 AI 윤리를 논의하고 실천합니다. AI 윤리세미나에서는 AI 연구자, 사업 개발자, UI/UX 디자이너, 데이터 사이언티스트, AI 정책 기획자가 함께 AI 윤리를 논의합니다. 윤리세미나는 구성원들이 AI 윤리의 실질적 가치를 이해하고, 실무 적용 방안을 함께 고민하는 토론의 장으로 자리매김하고 있습니다.   우리는 AI 윤리에 대한 사회적 인식이 더 널리 확산되기를 기대합니다. AI 윤리에 대한 논의가 우리 조직 내부에 머무르지 않고, 사회 전반으로 퍼져 나가 모두가 신뢰할 수 있는 AI 생태계를 만드는 데 기여하고자 합니다. 이번 글에서는 2025년 AI 윤리 세미나에서 논의된 주제들을 시리즈로 소개합니다.

 

생성형 AI가 빠르게 확산되면서, AI는 더 이상 특별한 도구가 아니라 업무의 기본 인프라로 자리 잡고 있습니다. 반복 업무의 생산성이 평준화되는 지금, 우리는 “AI를 어디에 적용할 것인가"라는 질문을 자주 마주합니다. 

본 글에서는 이 질문에서 한 단계 더 나아가, “사람의 판단과 일하는 방식을 어디까지 AI로 확장할 것인가”라는 관점에서 논의를 시작합니다.

먼저 두 심리학자의 이론으로 인간의 사고 구조와 일하는 방식을 짚습니다. 다음으로 최신 연구를 통해 인간–AI 협업이 언제 효과적인지 살펴봅니다. 마지막으로 효과적 협업을 실현하기 위해 AI를 단순 ‘도구’가 아닌 ‘동료’처럼 설계하기 위한  UX 원칙과 함께, LG AI연구원 제품 등 실제 서비스 사례를 소개하겠습니다.

1.인간은 어떻게 사고하며 일하는가?

1-1. 빠른 사고와 느린 사고

이미지 1. 대니얼 카너먼(Daniel Kahneman)의 System 1과 System 2^[1]

우리의 일상적 판단과 의사결정 과정(일부 추정치에 따르면 하루 약 35,000건^[2])은 심리학자 대니얼 카너먼(Daniel Kahneman)의 행위 주체(Agent) 기반 이론에 따라 두 가지 시스템으로 의인화해 설명할 수 있습니다^[3].

1. 시스템 1(System 1): 빠르고 자동적이며, 직관(intuitions)과 경험에 기반해 즉시 판단을 내리는 사고 (예: 익숙한 보고서 포맷 작성, 반복적 의사결정 처리)

2. 시스템 2(System 2): 느리고 노력(effort)이 많이 들며, 복잡한 문제를 분석하고 검증하는 사고 (예: 새로운 시장 진출, 전략 수정과 같은 고비용·고위험의 복잡한 의사결정 처리)

카너먼(Kahneman)에 따르면 시스템 2는 평소 '안락한 저노력 모드(comfortable low-effort mode)'를 유지하며, 엄격히 필요하다고 판단되는 수준(strictly necessary) 이상으로는 에너지를 쓰지 않으려는 '게으름(laziness)'의 특성을 보입니다. 그 결과 시스템 2는 시스템 1이 생성한 직관적 인상과 판단을 충분히 검토하지 않고 그대로 받아들이기 쉽고, 이 과정에서 다양한 인지 편향(cognitive biases)이 개입할 가능성이 높아집니다.
 
이러한 전제는 AI와의 협업 환경에서 중요한 시사점을 갖습니다. AI가 빠르고 유창하게 “그럴듯한 정답”을 제시하는 순간, 인간의 시스템 2는 본능적으로 그 안락한 저노력 모드에 더 오래 머물고 싶어 하기 때문입니다.

1-2. 서사적으로 사고하는 인간

또 다른 심리학자 제롬 브루너(Jerome Bruner)는 자아(self)를 단순히 기억 속에서 그대로 떠올릴 수 있는 고정된 실체(entity)가 아니라, 기억을 포함한 다양한 심리적 과정(mental processes)을 통해 구축해 나가는 것으로 보았습니다^[4].

그는 특히 문화적으로 형성되는 인지·언어적 과정이 우리가 자신의 경험과 이야기를 어떤 구조로 말하게 되는지에 영향을 미치며, 이 과정이 무엇을 경험(perceptual experience)으로 받아들이고 기억 속에 어떻게 정리(organize)할지, 수많은 순간들 가운데 어떤 것을 하나의 ‘사건(event)’으로 볼지를 결정한다고 설명합니다.

결국 인간은 각자만의 방식으로 경험을 해석하며, 그것을 이야기로 엮어가는 ‘서사적 존재’입니다. 브루너는 “결국 우리는, 우리가 말해 온 자기 서사(autobiographical narratives)가 곧 우리 자신이 된다”고 강조합니다^[5].

이 관점에 따르면 대규모 데이터에서 패턴을 빠르고 정확하게 추출하는 AI와, 자신의 경험을 서사로 엮어 해석하는 인간의 고유한 역량은 다음과 같이 구분됩니다.

1. AI의 답변: "이 고객의 이탈 확률은 73%입니다"

2. 인간의 질문: "왜 떠나려는가? 우리 서비스는 그에게 무엇을 의미했는가?"

2. 인간–AI 협업은 언제 효과적인가

2-1. 인간–AI 협업의 시너지는 항상 보장될까?

AI와 인간이 협업하면 더 나은 결과가 나올까요? 직관적으로는 그래야 할 것 같습니다. AI의 데이터 처리 능력과 인간의 맥락적 판단력이 결합되면, 각자 단독으로 일할 때보다 더 우수한 성과를 낼 것이라고 기대합니다.

그러나 실제 연구들은 이 직관이 항상 맞지는 않다고 경고합니다. 특히 AI가 제시하는 답이 매우 논리적이고 그럴듯해 보일수록, 오히려 인간의 판단이 무뎌지는 역효과가 관찰됩니다. 이는 자동화 편향(Automation Bias, AB), 즉 자동화된 권고에 과도하게 의존해 오판을 일으키는 인지적 경향으로 설명됩니다^[6].

인간–AI 의사결정 35편을 종합 분석한 AI & Society^[7] 리뷰와, 그 안에서 대표 사례로 다뤄지는 개별 실험 연구들은 모두 이러한 자동화 편향의 패턴을 일관되게 보여줍니다.

1. 심전도(ECG) 진단을 다룬 Bond et al.(2018)^[8]의 연구에서는 부정확한 자동 진단(automated diagnoses) 결과가 함께 제시되었을 때 의사들의 정확도가 크게 떨어졌다고(펠로우: 84.86-41.66%. 비펠로우: 86.38-27.43%) 보고했습니다.

2. 영상의학과 전문의를 대상으로 한 Dratsch et al.(2023)의^[9] 연구에서도 AI의 잘못된 판독 제안이 전문성에 관계없이 의사들의 판단을 왜곡시켜 정확도(미숙련: 79.7-19.8%, 고숙련: 82.3–45.5%)를 떨어뜨렸으며, 특히 경험이 부족한 의사일수록 AI의 잘못된 제안을 따를 가능성이 더 높았다고 분석했습니다.

3. 경영 의사결정 영역에서도 유사한 양상이 보고됩니다. Keding and Meissner(2021)[10] 는 R&D 투자 결정을 다룬 시나리오 실험에서 150명의 고위 임원들을 대상으로 실험을 진행한 결과, 참가자들은 AI가 제시하는 조언을 인간 조언보다 더 신뢰하는 경향을 보였으며, AI 추천이 주어질 때 투자 실행 가능성(likelihood of investment action)이 높아지는 등 AI 기반 조언에 대한 과의존(overreliance)이 나타났다고 보고합니다.

이런 결과들을 종합하면, 인간–AI 협업이 고위험 의사결정에서 언제나 시너지를 보장하지 않으며, 자동화 편향이 개입할 경우 오히려 성과 저하로 이어질 수 있음을 시사합니다.

2-2. AI가 뛰어날수록 협업 성과가 떨어지는 조건

흥미롭게도 Nature Human Behaviour(2024)^[11]에 발표된 인간 단독·AI 단독·인간-AI 조합의 성과를 비교한 메타 분석은 이 점을 수치로 더 분명하게 보여줍니다.

연구진은 106편의 실험 연구에서 보고된 효과크기(effect size) 370개를 메타분석한 결과, 인간–AI 조합이 인간만을 사용할 때보다 성과를 높이는 ‘증강(augmentation)’ 효과는 분명히 존재하지만, 평균적으로 보았을 때 인간과 AI 중 더 잘하는 쪽보다 나은 ‘시너지 효과’는 관찰되지 않았다고 보고합니다.

이미지 2. 메타분석에 포함된 모든 효과 크기(k = 370)의 Forest plot^[11]

또한 AI 단독 성능이 인간보다 높을수록 인간–AI 협업의 평균 성과가 오히려 하락하고, 반대로 인간이 AI보다 뛰어날 때 협업에서 성과가 증가하는 경향이 나타났습니다.

대표적으로 Cabrera et al.(2023)^[12]의 두 과제에 대한 결과는 이를 뒷받침합니다.

1. ‘가짜 호텔 리뷰 탐지’ 과제: 언어 기반의 이진 분류 문제입니다. AI(73%)가 인간(55%)보다 우수했지만, 협업 결과는 오히려 낮은 정확도(69%)를 보였습니다.

2. ‘조류 이미지 분류’ 과제: 시각적 인식 기반의 다중 분류 문제입니다. 인간(81%)이 AI(73%)보다 우수했고, 협업 시 90%의 정확도로 시너지가 발생했습니다.

이처럼 인간–AI 협업의 성능은 인간과 AI 각각의 점수를 단순히 더하거나 평균을 내서는 설명하기 어려우며, 인간과 AI 중 어느 쪽이 어떤 과제에서 상대적 우위를 가지는지에 따라 협업 효과가 달라집니다. 다시 말해, 어떤 역할을 인간에게 남기고 어떤 역할을 AI에 맡길지를 구분하는 설계가  협업 효과를 좌우할 수 있음을 시사합니다.

3. AI를 동료로 설계하는 UX 원칙

앞에서 우리는 두 심리학자의 이론을 통해 인간이 어떻게 사고하고 판단하는지, 그리고 최신 연구를 통해 인간–AI 협업이 언제 성과를 높이고 언제 오히려 성과를 떨어뜨리는지 살펴봤습니다.

“AI가 대신 생각해 줄수록” 인간의 System 2는 쉬고 싶어 하고, 자동화 편향은 강화되기 쉽습니다. 그렇다면 우리는 AI 모델을 더 정교하게 만드는 것뿐 아니라, UX 설계 시 사용자가 다시 한번 생각해 볼 수 있는 구조를 어떻게 설계할지까지 함께 고민해야 합니다.

AI & Society 연구진은^[7], 단순한 설명 가능성(XAI)이나 투명성만으로는 이 문제를 해결하기 어렵다고 지적합니다. 오히려 잘못 설계된 설명은 그 자체로 또 다른 휴리스틱이 되어 믿음만 키우고 의심은 줄여, 자동화 편향을 강화할 수 있다고 분석합니다. 이에 따라 이 리뷰에서 제시한 다섯 가지 인간–AI 협업 설계 시사점을 UX 관점에서 정리하고, 원칙이 잘 드러나는 서비스와 LG AI연구원의 사례를 소개합니다.

1. 설명의 단순성과 세부성의 균형(Balancing simplicity and detail in explanations): 설명이 지나치게 단순하면 과신을 유발하고, 반대로 과도하게 복잡하면 인지 부담을 높여 사용자의 판단 능력을 저하시킵니다.
   Microsoft Copilot in Excel의 "show explanation" 기능은 단순성과 세부성을 적절히 조율한 사례입니다. 수식 제안 단계에서는 간결한 결과를 먼저 제시하고, 사용자가 필요할 때 선택적으로 세부 근거를 확인할 수 있도록 설계되어 있습니다.

    

2. 검증적 참여 촉진(Promoting verification engagement): 사용자가 설명과 근거에 능동적으로 참여하도록 유도하는 시스템 설계가 중요합니다. 이 과정은 사용자의 사고를 환기해 결과를 그대로 수용하기 보다 검토하도록 돕습니다.
   EXAONE Data Foundry는 LG AI연구원의 현업 문서 기반 End-to-End LLM 튜닝 플랫폼으로, 데이터 생성·검증 과정에 도메인 전문가의 판단이 자연스럽게 개입되도록 합니다. 생성 단계에서는 설문 기반 데이터 프로파일링으로 전문가 선호를 반영하고, 검증 단계에서는 품질 평가 결과와 함께 평가 기준을 제시해 사용자가 근거를 확인하며 검토할 수 있도록 지원합니다.

    

이미지 3. EXAONE Data Foundry의 데이터 검증 단계

 

3. 적응적·개인화된 설명 설계(Adaptive and personalized explanation design): 설명은 일률적일 수 없으며, 사용자의 다양한 도메인, 전문성·신뢰 성향·맥락에 따라 조정되어야 합니다. Claude AI의 아티팩트 커스터마이즈 기능^[13]은 단순한 대화 창을 넘어 예제 산출물 도큐먼트를 통해 각 도메인별 활용 사례(use case)를 예상 가능하게 한 좋은 예시입니다. 심리적인 허들을 낮춰 접근성을 높여주고 있습니다.

    

4. 정직한 멘탈모델 형성(Guided training and mental model formation): 교육을 통해 시스템의 시나리오나 한계를 안내하고, 작업 중 AI에 대한 정직하고 현실적인 이해를 형성하도록 해야 합니다.

    

이미지 4. Project Albert의 분자 생성 페이지

 

1. LG AI연구원의 Project Albert는 연구개발 과정 전반에 걸쳐 소재 연구자를 지원하는 서비스입니다. 이 중 분자를 생성하는 UX에는 AI 모델 동작 방식의 현실적인 이해를 돕는 설계 원칙이 반영되었습니다. 특히 사용자가 원하는 속성에 맞는 분자를 생성하기 위해, AI가 학습 데이터가 풍부한 영역에서 가상의 분자를 생성한 후 점진적으로 탐색 범위를 확장해 나가는 과정을 설명적으로 전달합니다.
   이때 각 탐색 단계는 예측 정확도와 안정성(Narrow), 정확도와 다양성의 균형(Intermediate), 다양성과 불확실성(Broad)이라는 서로 다른 장점과 한계를 지니며,  AI 예측의 정확도 차이를 명확히 구분해 명문화 및 스트리밍(Narrow → Intermediate → Broad) 함으로써 정직한 멘탈모델을 형성하고 있습니다.

    

5. 인간 중심의 감독 구조 (Human-centered AI: rethinking the oversight model and future directions): 마지막으로 AI는 인간 판단의 보조자(second opinion)로 작동해야 하며, 판단의 통제권은 인간에게 남아야 합니다. 우리가 설계하는 모든 AI 시스템에서 최종 결정권이 어디에 있는지 명확해야 합니다. AI의 제안이 “기본값"으로 작동할 경우, 인간의 비판적 검토와 판단 개입이 약화될 수 있습니다. Github의 코드 자동완성에서 continue / keep / discard처럼 “잠깐 멈춰서 선택하라는 신호”를 주는 UX는 사용자의 판단 개입 시점을 명시적으로 만들어 주는 대표적 예시입니다.

 

도구를 넘어, 판단을 확장하는 동료로

AI는 모든 것을 빠르게 해결하도록 설계되기보다, 사용자가 스스로 사유하고 판단할 여백을 남겨야 합니다.
사유를 대체하지 않고 확장하는 AI 경험을 만들어 가는 것은 여전히 우리의 과제입니다. 
LG AI연구원은 인간에 대한 이해를 바탕으로, 사람이 판단의 중심에 머무르며 그 범위를 확장할 수 있도록 UX 설계와 AI 윤리 실천을 지속해 나가겠습니다.

2025 AI 윤리 세미나 시리즈

#1. [2025 AI 윤리 세미나 EP.1] AI는 인간의 비판적 사고를 어떻게 변화시키는가
#2. [2025 AI 윤리 세미나 EP.2] 편향을 넘어, 공정한 AI로의 여정
#3. [2025 AI 윤리 세미나 EP.3] Agentic AI 위협 모델링 및 가드레일 적용 전략