[AI 윤리 세미나 EP.2] AI로 인한 위험을 제대로 바라보기 위한 연구들

LG AI연구원은 왜 AI 윤리를 연구할까요? 사람에게 도움이 되는 AI 개발을 위해 AI 윤리 연구가 반드시 필요하다고 믿기 때문입니다. 그래서 우리는 AI 라이프사이클의 전체 과정에서 우리가 예상하지 못한 기술의 부작용은 없는지 AI 윤리 측면에서 항상 고민합니다. 우리의 AI 윤리 연구 과정에는 다양한 구성원들이 함께하고 있습니다. AI 연구자, 사업 개발자, 변호사를 비롯해 UI/UX 디자이너, 데이터 사이언티스트, AI 교육 기획자가 함께 논의하는 'AI 윤리 세미나'가 대표적입니다. 세미나에서는 주목할 만한 AI 윤리 연구와 최근의 트렌드를 분석하고 각자의 인사이트를 나눕니다. 이렇게 논의된 내용들은 우리의 AI 윤리 활동에 접목시켜 내재화합니다. 이번 글에서는 올해 AI 윤리 세미나에서 논의된 주요 주제를 시리즈로 소개하겠습니다. 우리가 나누는 여러 고민과 인사이트가 AI 윤리 발전에 도움이 되기를 바랍니다.

AI 기술은 무한한 가능성을 지녔지만 부작용에 대한 우려가 늘 뒤따를 수밖에 없습니다. 경험하지 않은 위험에 대한 생각은 사람마다 다르기에, AI가 끼칠 피해와 위험을 지나치게 부풀리거나 축소하는 경우도 있습니다. 미래 AI의 위험 요소를 객관적으로 파악하고 구체적으로 대비하기 위해서는 AI가 지닌 실제 위험에 대한 경험과 지식이 필요합니다. 이번 AI 윤리 세미나에서는 “AI로 인한 실질적인 위험과 피해”를 알기 위한 최근의 연구와 노력을 소개하고, 우리는 어떤 방향으로 준비해야 할지에 대해 논의했습니다.

데이터베이스부터 분류체계까지,
AI로 인한 사고를 체계적으로 정리하는 노력들

먼저 전 세계에서 일어나는 AI가 어떤 문제를 일으키고 있는지 수집하려는 시도들을 소개합니다. 초기에는 사람들이 자발적으로 AI 사고를 기록하는 움직임으로 시작했습니다. 대표적으로 AI 사고 데이터베이스(AIID) 채널을 꼽을 수 있습니다. 이 데이터베이스는 여전히 운영되고 있지만, 세계 각지에서 일어나는 너무 많은 사건 사고를 모두 기록하기 어려워지자 OECD는 실시간으로 AI 사고를 감지하는 도구, AIM(AI Incidents Monitor)을 만들었습니다. 이러한 사례 수집 도구는 AI 관련 사고를 문서화하여, 많은 연구자와 정책입안자들이 AI 위험과 피해를 정의하고 위험 요소를 이해하고 관리하는 데 필요한 지식을 제공하고 있습니다.

AI에 대한 관심이 급격히 커지면서, AI로 인한 사고 건수 또한 증가하고 있습니다. OECD에서 집계한 2014년부터 2024년 10월까지의 사고 발생 건수는 약 13,574건이며, 2023년에서 2024년 사이에 사고 건수가 139% 급증한 것으로 나타났습니다. 사고 기록은 AI 위험의 특성을 가늠할 수 있게 합니다. 지난달 기록된 사고는 각각 프라이버시(111건), 인권(86건), 정보보안(148건), 민주주의(39건), 안전(59건), 공정성(46건), 오작동(91건)과 관련 있다고 보고되었습니다. 사고 기록은 사고의 심각성(사망, 상해 등 물리적 피해 여부), 이해관계자(기업, 일반 이용자, 취약계층 등) 등에 대한 정보도 함께 기록합니다.

이미지 1. AI 사고 데이터베이스^[1]

이미지2. AI 사고 모니터링 시스템(OECD)^[2]

기존에는 사고 기록이 기관이나 단체마다 서로 다른 체계로 분류되는 경우가 많았습니다. 하지만 최근에는 사고 기록을 하나의 분류 체계로 정리하기 위한 다양한 노력이 이루어지고 있습니다. 예를 들어 사고의 피해 영향 범위와 관련 윤리 가치에 따른 분류(NIST AI Risk Framework ,2022), 사고 피해의 물리적/사회적/정신적 형태에 따른 분류(EPIC, 2023), AI 서비스 이용자 행태에 따른 분류(Ferrara, 2024), AI 모델 종류에 따른 분류(Weidinger, 2022) 등이 대표적입니다. 그중 인상 깊었던 연구 몇 가지를 소개해 드리겠습니다.

1. AI 위험의 정의와 분류 (MIT)

MIT는 AI 위험을 정의하기 위해 777개의 AI 위험 사례를 담은 데이터베이스인 AI Risk Repository를 구축했습니다. 이 연구에서는 AI 위험을 사고 원인과 피해 분야 두 가지 기준으로 나눴습니다. AI 위험의 원인을 기준으로 인과적 분류(Causal Taxonomy), 피해 분야에 따른 분야별 분류(Domain Taxonomy)입니다.

1. 인과적 분류: AI 위험이 어떻게, 언제, 왜 발생했는지 분류합니다. 이를 위해 위험을 만든 주체(인간/AI 자체), 시간(배포 전/후), 의도(의도적/비의도적) 등의 기준을 사용합니다. 예를 들면, 인간의 시스템 조작 실수로 발생하는 위험과 AI 시스템 자체 결함 등으로 발생할 수 있는 위험을 구분하는 방식입니다.

2. 분야별 분류: AI 위험을 7개 상위 영역(예: 오정보)과 하위 영역(허위 정보)로 분류합니다. 그 외에도 악의적인 사용 및 오용, 인간과 컴퓨터 상호작용, 사회적 상호작용, 경제적 및 환경적 영향, AI 시스템의 안전성 등의 영역으로 나눴습니다.

인과적 분류 결과를 살펴보면, AI 위험의 원인은 사람이 주체가 되는 경우(34%)도 많았지만 AI 시스템 자체에서 비롯되는 경우(51%)가 과반수를 차지했습니다. 사고의 의도성을 분석한 결과로는 의도적(35%)과 비의도적(37%)이 비슷한 비율로 나타났습니다. 발생 시점으로 구분한다면 시스템이 배포된 이후 발생하는 경우(65%)가 많았습니다.

분야별 분류 결과로 보면, 가장 많이 다뤄진 리스크는 AI 시스템 안전성(76%), 사회경제적 및 환경적 피해(73%), 차별 및 유해성(71%)이었고, 인간-컴퓨터 상호작용(41%)과 오정보(44%)는 상대적으로 적게 논의되었습니다. 특정 리스크 하위 영역, 예를 들어 불공정 차별(8%)과 AI 목표 충돌(8%)은 많이 다뤄진 반면, AI 권리(1% 미만)와 경쟁 역학(1%)은 상대적으로 덜 논의되었습니다.

이미지3. AI 위험의 인과적/분야별 분류 AI Risk Repository^[3]

현재 AI Risk Repository는 누구나 무료로 사용할 수 있도록 공개되어 있습니다. 이러한 AI 위험 분류는 어떻게 활용할 수 있을까요? 정책 입안자라면 정책 결정을 위해 AI의 위험성을 평가하고 감독하는 데 활용할 수 있습니다. 학계 연구자라면 AI 위험에 대한 교육 자료를 만들고, 관련한 새로운 연구 분야를 찾는 데 유용합니다. 기업에서는 이전에 문서화되지 않은 새로운 위험을 식별하거나, 기존에 발견된 위험을 내부적으로 평가하고, 위험 완화 방법을 고민하는 데 적용할 수 있습니다.

2. 생성형 AI로 인해 발생하는 위험 (EPIC)

미국 전자개인정보센터(Electronic Privacy Information Center, EPIC)는 디지털 환경에서의 프라이버시 및 관련 기본권 보호를 위해 설립된 비영리단체로, 30년 동안 활동을 이어오고 있습니다. EPIC은 생성형 AI로 발생하는 문제에 대한 논의가 기존 디지털 환경의 프라이버시, 투명성, 공정성에 대한 논의와 본질적으로 다르지 않다고 이야기합니다.

최근에는 생성형 AI 사용으로 인해 발생하고 있는 문제에 주목하는 보고서 ^[5]를 발표했습니다. 보고서는 생성형 AI가 인류를 멸종시키는 미래의 문제보다 현재 당면한 문제에 집중하도록 요구합니다. 실제로 누구에게 피해를 끼치는지, 그 피해가 무엇인지 파악해야 실질적인 해결 방안을 고민할 수 있기 때문입니다. 보고서는 시급하게 개입이 필요한 네 가지 영역에 초점을 맞췄습니다.

EPIC은 보고서에서 선거 관련 위험(Endangering Elections)을 가장 첫 번째 위험으로 뽑았습니다. AI가 생성한 오정보 및 허위 정보(Misinformation and Disinformation)가 선거에 큰 영향을 미치고 있기 때문입니다. 예를 들어 최근 바이든 대통령의 목소리를 흉내내 뉴햄프셔 주민들에게 예비선거에 투표하지 말라고 한 AI 생성 오디오가 포함된 로보콜이 문제가 되기도 했습니다. 미국 대선을 겨냥한 러시아와 중국발 AI 생성 콘텐츠도 눈에 띄게 증가했는데, 영어가 아닌 언어로 생성한 허위 콘텐츠는 탐지가 어려워 유권자를 더욱 혼란스럽게 만들고 있습니다. 선거 기간 후보자, 정당 및 이익단체를 사칭해 유권자에게 후원을 명목으로 접근하는 보이스피싱도 문제가 되고 있습니다.

두 번째로 꼽은 문제는 본격화된 데이터 및 프라이버시 침해(Eroding Privacy) 문제입니다. AI 모델은 규모가 커질수록 성능이 좋아진다는 ‘규모의 법칙(Scaling Law)’과 ‘데이터 활용 최대주의(Maximalist Data Use)’를 따르는 경우가 많기 때문입니다. 이 과정에서 데이터 프라이버시 기본 원칙인 데이터 최소화, 목적 제한 원칙이 지켜지지 않고 있습니다. 또한, 웹 스크랩으로 수집된 데이터에는 리벤지 포르노, 개인 딥페이크와 같은 허위 또는 불법 개인 데이터, 아동 성적 학대 자료가 포함되기도 합니다. 실제로 한달에 기업 사용자 10,000명 당 평균 158건의 데이터 관련 사고가 발생한다고 알려져 있으며, 사고 유형은 소스코드 노출(22건), 규제 대상 데이터(18건), 지적재산(4건), 비밀번호와 키가 포함된 게시물(4건) 등입니다.

데이터 수집으로 인한 프라이버시 침해에 이어 데이터의 기능적·질적 악화(Data Degradation)는 또 다른 문제입니다. 최근 인터넷에는 AI가 생성한, 오류와 표절로 점철된 뉴스가 범람하고 있습니다. AI가 생성한 저품질 사기 책이 아마존에 넘쳐나고 소비자가 잘못된 구매를 하도록 혼란을 준 사례도 있었습니다. 이는 AI의 강력한 생성 기능과 무분별한 데이터 수집의 상호작용에 의한 결과입니다. 이용자의 피로도는 높아지고 데이터에 대한 신뢰도는 낮아지고 있으며, 데이터에 인간 사회의 지식과 정보의 원천 역할을 더 이상 기대할 수 없게 되었습니다.

그 외에도 보고서는 콘텐츠 라이선스제도의 역효과, 오정보의 분무별한 확산, 프라이버시 및 데이터 보안, 지적재산권 침해, 기후 위기 심화, 노동 가치 절하, 소외 집단에 대한 차별, 시장 지배력 및 독점 강화 등의 문제를 지적했습니다. 또한 기술을 개발하는 기업과 정부가 기술 도입의 부작용을 막기 위해 무엇을 해야 하는지 구체적으로 명시합니다.

3. 생성형 AI의 오용 사례 연구 (Google)

구글은 개인이나 조직이 생성형 AI를 의도적으로 악용한 사례 약 200건을 살펴보고 분류했습니다. AI의 구조적/기능적 한계로 인한 피해를 제외하고 이용자가 의도적으로 만든 위험에만 집중한 것입니다. 이 191건의 피해(2023년 1월~2024년 3월, 미디어 리포트, X, Reddit과 같은 소셜미디어 검색)를 기준으로 오용의 잠재적인 동기와 전략을 분류했습니다.

이미지4. 가장 빈번하게 발생하는 AI오용의 전략(Tactics)^[4]

먼저 생성형 AI가 어떠한 방식으로 사용되었는지 살펴보겠습니다. 가장 빈번하게 사용된 전략은 특정 인물을 사칭(Impersonation)하거나 정보를 위조(Falsification)하는 형태입니다. 뒤이어 AI로 콘텐츠를 끊임없이 생산하여 증폭시키면서(Scaling and Amplication) 가짜 프로필을 생성해 여론을 형성하는(Sockpupetting) 행위도 다수 일어났습니다.

흥미로운 점은 이렇게 AI를 오용하는 데 생성형 AI 기본 기능이 사용되었다는 점입니다. 고도의 기술이나 전문 지식이 필요한 공격은 손에 꼽았습니다. 생성형 AI는 기본 기능만으로도 충분히 사칭, 정보위조, 증폭이 모두 가능했기 때문입니다. 인물 사칭, 정보 위조 등은 AI 등장 이전부터 있었던 문제지만, AI가 활용되며 문제가 빠르게 증가하고 악화되고 있습니다. 사람들을 더 정교하게 속일 수 있을 뿐만 아니라 쉽고 저렴하게 사용할 수 있기 때문입니다.

그렇다면 이러한 피해를 일으킨 원인, 사람들이 AI를 악용한 목적은 무엇일까요? 1순위를 차지한 목적은 여론 조작이었습니다. 생성형 AI로 조작된 콘텐츠는 주로 전쟁, 사회 불안, 경제 위기와 관련된 수많은 소문과 음모론을 만드는 데 탁월하게 이용되었습니다. 바이든 대통령을 사칭한 음성 파일과 조작된 하와이 산불 이미지는 조직적으로 퍼지며 정치적 분열을 유도했습니다.

그 다음 목적은 금전적 이익이었습니다. 대표적으로 AI로 콘텐츠를 무분별하게 생성하고 광고 배너를 삽입하는 경우가 있습니다. 구글은 이와 같이 광고 수익을 목적으로 생성된 저품질 AI 콘텐츠의 범람을 막기 위해 새로운 검색 정책을 발표하기도 했습니다. 생성형 AI를 활용한 다수의 성 상품화 콘텐츠도 금전적 이익을 목적으로 거래되고 있었습니다. AI가 생성한 영상이나 비디오를 사용한 화상통화로 직원 동료나 상사를 사칭하여 피해자의 돈을 갈취하거나, 조직의 상표나 로고를 그럴듯하게 모방한 피싱 이메일로 사람들을 속이는 사례가 증가하고 있습니다.

증가하는 AI 오용을 막기 위해서는 다수의 사용자가 생성형AI에 쉽게 접근할 수 있음을 고려하고, 사용자의 오용 목적을 고려한 방법을 고민할 필요가 있습니다. 때로는 AI 이용자를 직접 교육하는 방법도 예방접종과 같은 효과를 낼 수 있습니다. 예를 들어, 조작된 정보의 확산을 막기 위해 사람들에게 조작된 콘텐츠 구분법을 알려주는 짧은 동영상을 시청하게 한 것만으로도 신뢰할 수 있는 콘텐츠를 구별하는 능력이 향상된다고 합니다.

AI 피해 사례를 막기 위한 LG AI연구원의 노력

LG AI연구원에서도 기존에 발생한 AI 피해 사례를 모니터링하며 향후 발생할 수 있는 문제를 예방하고자 노력하고 있습니다. ‘AI 윤리 세미나’에서 구성원들과 함께 실제 위험 사례를 살펴보고 논의하는 시간들은 장기적으로 AI 피해를 방지하는 교육이 되기도 합니다.

또한, 기존 AI 위험 사례는 LG AI연구원의 AI윤리영향평가에도 반영하고 있습니다. AI윤리영향평가는 LG AI연구원이 진행하는 AI 과제의 특성을 고려하고, 해당 과제에서 발생 가능한 사회적, 윤리적 문제를 논의하는 과정입니다. AI 라이프사이클 전주기에 걸친 사회적, 윤리적 영향을 직접 진단하고 예상되는 문제를 예방하기 위해 과제 기획자와 연구자가 직접 논의에 참여합니다. 2024년부터 LG AI연구원에서 진행되는 모든 연구 과제에 AI윤리영향평가를 진행하고 있습니다. 

올해 진행 중인 윤리영향평가에서는 크게 이해관계자 영향도, 데이터 관련 이슈, 모델 개발 과정, 서비스 운영/배포 영역 별로 발생할 수 있는 잠재적 문제들을 포괄적으로 검토했습니다. 그 결과 데이터와 관련된 문제가 가장 쉽게 발견되는 경향을 확인할 수 있었습니다. AI 시스템의 성능과 신뢰성은 데이터의 품질에 의해 크게 좌우되기 때문에, 데이터 관련 이슈들은 세심하게 검토되어야 하는 부분입니다. 따라서 LG AI연구원에서는 데이터의 저작권, 개인정보 등의 문제는 별도의 데이터 컴플라이언스 절차를 거쳐 체계적으로 관리하고 있습니다. 이와 더불어, 각 연구자는 데이터의 대표성, 최신성을 확보하기 위해서도 지속적인 노력을 기울이고 있습니다.

이미지5. LG AI연구원 AI윤리영향평가로 관리하고 있는 발생가능한 문제 종류

AI윤리영향평가는 연구자들이 AI 기술의 성능 외에도, AI 기술이 사회적으로 영향을 미칠 수 있는 부분에 대해 생각해볼 수 있도록 하는 기회를 제공한다는 점에서 의미가 있습니다. 발생 가능한 문제를 인식하고, 그 중 연구 단계에서 해결할 수 있는 문제가 있는지 고민하는 과정을 통해 신뢰할 수 있는 AI를 만들어나갈 수 있습니다. 또한 예상 문제와 해결 방법을 자료화 해두면, 이후 실제 문제가 발생했을 때도 연구 단계에서의 대응책을 반영해 좀 더 신속하게 해결할 수 있습니다.

LG AI연구원은 AI윤리영향평가 결과를 바탕으로, AI 위험 사례를 이해하고 방지하기 위한 다양한 연구도 진행하고 있습니다. AI 서비스에 안전성 필터(Safety Filter)를 적용하고, 생성형 AI의 악용을 막기 위한 생성형 AI 콘텐츠 탐지를 연구하고, 프라이버시 침해 데이터 삭제 기술 등 기술적 솔루션도 제안합니다.

현재 발생하고 있는 AI 위험이 무엇인지 이해하는 것은 중요합니다. 존재하지 않는 위협이 아닌, 실재하며 우선순위가 높은 문제에 집중할 수 있기 때문입니다. 위험 사례를 분석한 기존 연구들은 AI로 인한 피해와 사고의 종류를 인식하는 데 큰 도움이 되고 있습니다. 앞으로는 각각의 문제를 해결할 수 있는 방안들에 대한 연구가 더욱 많아질 것이라 기대됩니다. 기업의 입장에서는 AI의 잠재적 영향을 사전에 파악하고 방지하기 위한 정책을 세우고 연구를 진행할 수 있습니다. LG AI연구원 역시 앞에서 소개한 AI윤리영향평가를 통해 식별한 문제를 잘 관리하고 예방책을 마련하며, 이를 사회에 공유할 수 있도록 노력하겠습니다. 또한 실제 피해를 예방하는 정책과 연구를 통해 AI 시스템의 신뢰성과 안정성을 높여나갈 것입니다. 

 

AI 윤리 세미나 시리즈

#1. [AI 윤리 세미나 ep.1] 생성형 AI를 위한 Red Team 연구 트렌드와 응용 사례
#3. [AI 윤리 세미나 EP.3] 신뢰할 수 있는 AI 경험 설계를 위한 주요 AI Toolkit 소개 및 실무 적용 가이드라인
#4. [AI 윤리 세미나 EP.4] AI Agent를 통해 살펴본 책임 있는 AI 사회 구현
#5. [AI 윤리 세미나 ep.5] AI 윤리, UI/UX 디자이너의 시선으로 보다