[AI 윤리 세미나 EP.3] 신뢰할 수 있는 AI 경험 설계를 위한 주요 AI Toolkit 소개 및 실무 적용 가이드라인

LG AI연구원은 왜 AI 윤리를 연구할까요? 사람에게 도움이 되는 AI 개발을 위해 AI 윤리 연구가 반드시 필요하다고 믿기 때문입니다. 그래서 우리는 AI 라이프사이클의 전체 과정에서 우리가 예상하지 못한 기술의 부작용은 없는지 AI 윤리 측면에서 항상 고민합니다. 우리의 AI 윤리 연구 과정에는 다양한 구성원들이 함께하고 있습니다. AI 연구자, 사업 개발자, 변호사를 비롯해 UI/UX 디자이너, 데이터 사이언티스트, AI 교육 기획자가 함께 논의하는 'AI 윤리 세미나'가 대표적입니다. 세미나에서는 주목할 만한 AI 윤리 연구와 최근의 트렌드를 분석하고 각자의 인사이트를 나눕니다. 이렇게 논의된 내용들은 우리의 AI 윤리 활동에 접목시켜 내재화합니다. 이번 글에서는 올해 AI 윤리 세미나에서 논의된 주요 주제를 시리즈로 소개하겠습니다. 우리가 나누는 여러 고민과 인사이트가 AI 윤리 발전에 도움이 되기를 바랍니다.

‘신뢰할 수 있는 AI 경험’ 설계를 위한 AI Toolkit

생성형 AI 기술이 발전하면서 비즈니스 생태계도 변화하고 있습니다. AI에 기반한 새로운 서비스와 기능은 비즈니스의 가능성을 확장했지만, 한편으로는 AI 기술 한계에 대한 우려와 공감대도 커지고 있습니다. 예를 들어 환각(Hallucination)이나 데이터 편향성은 AI 시스템의 신뢰성을 저해할 수 있고, 이를 개발한 기업의 평판이나 법적 책임으로 이슈가 확대될 수 있다는 점에서 잘 보완되어야 합니다.

이러한 맥락에서 신뢰할 수 있는 AI 경험(Human-AI Interaction) 설계에 대한 관심이 높아지고 있습니다^[1]. 특히 AI 개발 기업들은 안전하며 신뢰할 수 있고, 사용자 경험을 최우선으로 고려한 AI 시스템을 설계하는 데 초점을 맞추고 있습니다. 이 과정에서 AI 시스템의 신뢰성을 높이는 다양한 AI Toolkit이 활용됩니다.

이번 글에서는 사용자의 AI 경험을 극대화하는 실질적인 전략과 방법에 대해 고민한 AI 윤리 세미나 현장 이야기를 소개합니다. Microsoft의 Human-AI Experience Toolkit(HAX), Google의 People+AI Research (PAIR) Guidebook 등 다양한 AI Toolkit에 대해 논의하고, 이를 활용해 AI 제품 개발 초기 단계에서부터 위험 요소를 고려하고 시스템 설계를 구체화하는 과정을 다룹니다. 그리고 다양한 AI Toolkit 검토 결과를 바탕으로 LG AI연구원이 마련한 AI윤리영향평가 체계도 소개합니다.

Microsoft와 Google, PwC까지
‘신뢰할 수 있는 AI 경험’을 위한 다양한 AI Toolkit 발표

1. Microsoft Human-AI Experience Toolkit (HAX)^[2]

첫 번째로 소개하는 Human-AI Experience Toolkit (HAX)는 Microsoft에서 개발한 가이드라인 및 Toolkit으로, 인간-AI 상호작용(Human-AI Interaction)을 설계하는 데 사용됩니다. AI가 사용자의 요구를 이해하고 반응하며, 시간이 지남에 따라 사용자의 신뢰를 얻을 수 있도록 도움을 주는 다양한 프레임워크와 도구로 구성되어 있습니다.

HAX 실무 적용 가이드라인

Microsoft는 HAX를 실무에 적용할 때 참고해야 하는 가이드라인을 제공합니다. 가이드라인은 AI 시스템과 사용자의 상호작용 과정을 4단계로 구분하고, 각 단계별로 중요하게 살펴봐야 하는 점을 18개의 가이드라인으로 제시합니다. 특히 AI 기반 시스템이 올바르게 작동하지 않는 경우도 고려하고, 이를 해결하는 데 초점을 맞춘 가이드라인을 제공한다는 점이 주목할 만합니다.

이미지 1. Microsoft HAX Guidelines^[2]

가이드라인을 실제 AI 시스템 개발에 적용하기 위해, 실무적으로는 어떤 준비를 해야 할까요? HAX는 크게 5개의 주요 단계를 명시하고 있습니다.

1. 1) 이해관계자 및 제품/기능 선정

   HAX 적용을 위해서는 AI 시스템 개발에 참여하는 모든 팀이 함께해야 합니다. 시스템 기획자, 디자이너, 개발자, 데이터 사이언티스트, AI 연구자 등 이해관계자를 선정하고, 이들 모두가 적용 과정에 참여할 수 있는 프로세스를 마련하는 것이 중요합니다. 이후 어떤 AI 제품 또는 기능에 HAX를 적용할 것인지 함께 결정합니다.
   
   

2. 2) 가이드라인 선정

   HAX에서 제공하는 18개의 가이드라인 중 프로젝트와 관련된 것을 판단하는 과정도 진행해야 합니다. 각 가이드라인마다 필요성 여부를 평가하고(필요하다, 필요하지 않다, 필요할 것 같다), 우선순위를 매깁니다.
   
   

3. 3) 가이드라인 적용 예상 및 검증

   가이드라인이 적용되어 개발된 AI 시스템의 모습과, 이를 사용하는 사용자 경험을 예상해 보는 것도 중요합니다. 실제 가이드라인을 적용했을 때 사용자에게 미치는 영향을 논의하고, 이를 보완해 나갈 수 있어야 합니다.
   
   

4. 4) 사용자 경험 설계

   가이드라인에 따라 사용자 경험 시나리오를 구체화하고, 필요한 리소스 양을 평가합니다. 아이디어를 실제로 구현하기 위해 필요한 요소를 파악하고 구체화하기 위한 단계입니다.
   
   

5. 5) 우선순위 정하기

   2단계와 3단계 논의 결과를 바탕으로 AI 시스템 개발에 반영할 요소들의 우선순위를 결정하는 과정입니다. 어떤 가이드라인을 적용할지 정하고, 시스템 설계와 기획을 고도화해 실제 개발까지 반영하게 됩니다.

2. Google People+AI Research (PAIR) Guidebook^[3]

두 번째로 소개할 것은 Google의 People+AI Research (PAIR) Guidebook입니다. PAIR 가이드북은 AI 모델의 투명성과 설명 가능성을 강화하고, 편향성을 제거하는 데 집중함으로써 AI 기술이 어떻게 사람들에게 신뢰를 줄 수 있는지에 대한 가이드를 제공합니다. 또한 AI 시스템이 사용자에게 유용한 가치를 제공할 수 있도록 성능을 지속적으로 개선하는 방안을 제시합니다. 사용자 요구에 맞는 데이터 수집, 설명 가능성과 신뢰성 구축, 피드백 및 오류 관리 체계를 통해 사용자 경험을 강화하고 신뢰하는 AI 시스템 개발을 돕는 것이 목표입니다.

PAIR 실무 적용 가이드라인

PAIR는 크게 6개 Chapter를 통해 ‘신뢰할 수 있는 AI 경험 설계’에서 중요한 항목을 제시합니다. 각 항목마다 실무적으로 고려해야 하는 요소에 대해 질문을 던지고, 이에 대한 답변을 찾아가도록 가이드라인을 제공합니다.

이미지 2. Google PAIR Guidebook ^[3]

1. 1) User Needs + Defining Success (사용자 요구 및 성공 정의)

   먼저 PAIR는 ‘최고의 AI 서비스도 사용자에게 특별한 가치를 제공하지 않는다면 결국 실패할 것(Even the best AI will fail if it doesn’t provide unique value to users.)’이라는 점을 언급하며 사용자 니즈 파악의 중요성을 강조합니다. AI가 사용자의 문제를 해결하는 방법과 그 과정에서 제공할 고유 가치를 정의하고, 사용자의 기대에 부합하도록 AI가 설계되었는지 확인하여 이를 ‘성공의 척도’ 기준으로 삼아야 한다고 제안합니다.

   - Which user problems is AI uniquely positioned to solve?
   - How can we augment human capabilities in addition to automating tasks?
   - How can we ensure our reward function optimizes AI for the right thing?
   
   

2. 2) Data Collection + Evaluation (데이터 수집 및 평가)

   PAIR는 AI에서 중요한 학습 데이터와 관련한 내용도 다루고 있습니다. 사용자의 필요를 충족하기 위해 어떤 데이터를 수집해야 하는지 ‘데이터 요구사항’을 결정하고, 데이터의 정확성을 유지하기 위한 데이터의 품질과 공정성 검토 과정 등을 통한 ‘데이터 평가 절차’를 세우도록 제안합니다.

   - Does our training dataset have the features and breadth to ensure our AI meets our users’ needs?
   - Should we use an existing training dataset or develop our own?
   - How can we ensure that the data quality is high?
   - How can we work with labelers to prevent errors and bias in datasets when generating labels?
   - Are we treating data workers fairly?
   
   

3. 3) Mental Models (멘탈 모델 구축)

   ‘Mental Model’이란 AI가 어떻게 어떤 원리로 작동하는지, 그리고 나의 행동이 AI에 어떤 영향을 줄 수 있는지에 대한 사람의 이해도를 의미합니다. 시간이 지나면서 AI 기술과 이에 기반한 시스템의 모습이 변화할 것이라는 점, 그리고 사람도 이에 맞춰 함께 변화해 가야 한다는 점을 인정하고 반영한 가이드라인입니다. 사용자에게 AI의 기능을 설명하고, AI의 변화에 대한 사용자의 기대를 명확히 설정하는 등의 요소를 제안합니다.

   - Which aspects of AI should we explain to our users?
   - How should we introduce AI to the user initially—and thereafter?
   - What are the pros and cons of introducing our AI as human-like?
   
   

4. 4) Explainability + Trust (설명 가능성과 신뢰 구축)

   AI 시스템은 사용자의 신뢰를 얻어야 하며, ‘설명 가능성’의 가치가 중요하다는 점을 강조합니다. AI의 결정에 대해 사용자에게 투명하고 명확하게 설명함으로써, 모델에 대한 사용자의 신뢰성을 높일 수 있다고 이야기합니다.

   - How much should the user trust the AI system?
   - When should we provide explanations?
   - What should we do if we can’t show why the AI made a given prediction?
   - How should we show users the confidence associated with an AI prediction?
   
   

5. 5) Feedback + Control (피드백 및 통제)

   AI 시스템 개선을 위해서는 사용자의 피드백이 필수적입니다. 사용자의 피드백을 명시적으로, 또는 암묵적으로 수집할 수 있는 피드백 메커니즘을 구성하고, 사용자가 시스템을 통제하거나 조정할 수 있는 수단을 제공함으로써 사용자의 경험을 개선하도록 제안합니다.

   - How should the AI request and respond to user feedback?
   - How can we ensure our AI can interpret and use both implicit and explicit user feedback?
   - What’s the right level of control and customization to give our users?
   
   

6. 6) Errors + Graceful Failure (오류 관리 및 안전한 실패 처리)

   PAIR 역시 AI 시스템의 오류나 실패 가능성에 대해서도 검토해야 한다는 점을 언급합니다. AI 시스템의 잠재적 오류를 파악하고, 발생 가능한 문제를 예방하는 계획을 수립해야 하며, 오류가 발생했을 경우 명확한 복구 방법을 제시해야 한다고 강조합니다. 이를 통해 시스템의 신뢰를 유지하는 방안을 제안합니다.

   - When do users consider low-confidence predictions to be an “error”?
   - How will we reliably identify sources of error in a complex AI?
   - Does our AI allow users to move forward after an AI failure?

AI Toolkit 적용의 효과와 한계

이외에도 PwC의 Responsible AI (RAI) Toolkit도 있습니다. RAI Toolkit은 AI 시스템의 윤리성과 책임을 유지하기 위한 프레임워크를 제공합니다. AI의 도입이 불러올 수 있는 윤리적, 법적, 사회적 문제를 검토하고 이를 해결하기 위한 원칙을 강조하며, 기업이 AI의 위험을 줄이고 장기적으로 비즈니스 성과를 달성할 수 있도록 도움을 줍니다.

다양한 AI Toolkit들의 장점은 신뢰할 수 있는 AI 경험 설계 과정에서, 보다 효율적이고 효과적으로 진행할 수 있는 도구 및 가이드라인을 활용할 수 있다는 점입니다. HAX의 경우 사용자 경험을 최적화해 AI 제품의 디자인과 개발 속도를 높이고, 사용자 기대를 충족시켜 장기적인 신뢰를 구축하는 데 유용합니다. PAIR는 AI 시스템이 데이터를 분석하고 결정을 내리는 과정을 사용자가 더 쉽게 이해할 수 있도록 설계함으로써 편향과 불확실성을 줄이는 데 기여합니다.

그러나 AI Toolkit 적용 시 주의해야 하는 점도 존재합니다. 모든 AI 시스템에 일괄적으로 적용하기 어렵다는 점입니다. 이는 앞에서 소개한 HAX와 PAIR 모두 적용되는 사항입니다. AI 시스템의 구조가 복잡하거나, 혹은 다양한 사용자층이 이용하는 시스템일 경우, 시스템 특성에 맞게 세부적인 검토와 조정 과정이 필요합니다. 이 과정에서 AI 시스템 초기 디자인 단계에서 예상한 것보다 많은 시간과 자원이 필요할 수 있다는 점을 함께 고려해야 합니다.

LG AI연구원의 지속 가능한 사용자 중심 AI 경험

LG AI연구원은 신뢰할 수 있는 AI를 만들고 사용자의 기대에 부합하는 경험을 제공하기 위해 다양한 노력을 기울이고 있습니다. 이러한 노력의 일환으로, 올해부터 모든 과제에 AI윤리영향평가를 도입했습니다. 이는 윤리원칙이나 가이드라인 제시를 넘어, 연구개발 과정에서부터 신뢰할 수 있는 AI 경험을 고려할 수 있도록 하는 시도입니다.

AI윤리영향평가는 AI 과제의 특성을 사전에 파악하고, 해당 과제에서 발생 가능한 사회적, 윤리적 문제를 논의하는 과정입니다. 평가는 과제 특성을 파악하는 설문으로 시작합니다. 각 AI 과제의 목적과 이해관계자, 학습 데이터, 모델 등 특성에 따라 달라지는 잠재적 영향력을 평가하기 위해서입니다. 이 과정에서 과제 참여자들은 기술적으로 의미 있는 성능뿐만 아니라, 최종 사용자와 이해관계자의 환경을 종합적으로 고려하게 됩니다.

 

이미지3. AI윤리영향평가에서 과제 특성을 파악하기 위한 설문

특히 이 논의 과정에는 과제 기획자, 연구자, 사업 담당자, 윤리 담당자 등이 함께합니다. 과제 참여자들은 과제의 윤리적/사회적 영향을 직접 진단하고 부정적인 영향을 해결하기 위한 방안을 수립합니다. 이러한 논의는 개발 후반부에 발생할 수 있는 사용자와의 신뢰 문제를 초기 단계부터 예방하는 데 도움을 줍니다. LG AI연구원은 앞으로도 AI윤리영향평가 뿐만 아니라 다양한 사용자 피드백을 기반으로 AI 경험을 지속해서 개선하며 신뢰할 수 있는 AI를 만들어 나가겠습니다.

 

AI 윤리 세미나 시리즈

#1. [AI 윤리 세미나 ep.1] 생성형 AI를 위한 Red Team 연구 트렌드와 응용 사례
#2. [AI 윤리 세미나 ep.2] AI로 인한 위험을 제대로 바라보기 위한 연구들
#4. [AI 윤리 세미나 EP.4] AI Agent를 통해 살펴본 책임 있는 AI 사회 구현
#5. [AI 윤리 세미나 ep.5] AI 윤리, UI/UX 디자이너의 시선으로 보다