[ACL 2024] 문화 간 차이를 고려한 LLM 연구 트렌드

최근 Natural Language Processing (NLP)은 눈에 띄게 빠른 속도로 발전하고 있습니다. 모델의 크기도 급격히 증가하면서, 이제는 모델을 여러 대의 서버에 분산해서 추론을 해야 할 정도에 이르렀습니다. 학습 데이터 역시 기하급수적으로 증가하기 시작했습니다.

이처럼 방대한 학습 데이터를 토대로, NLP 연구자들은 모델이 사람의 행동과 생각, 선호도를 잘 모방할 수 있는 학습 방법을 연구하고 있습니다. 하지만 사람의 행동과 생각, 선호도를 천편일률적으로 정의할 수는 없을 것입니다. 사람의 행동과 생각은 그 사람이 속해 있는 문화와 깊게 연관되어 있기 때문입니다. 집단 속 사람들이 어떤 생각을 하는지, 어떤 가치관을 존중하는지 등 한 사람을 표현하는 데 있어 문화적인 요소는 빠질 수 없는 중요한 요소입니다.

LG AI연구원은 국내에서 초거대 언어모델(Large Language Model, LLM)을 처음부터 학습하여 배포할 수 있는 역량을 갖춘 대표적인 조직입니다. 최근에는 한국어와 영어 벤치마크에서 모두 우수한 EXAONE 3.0 7.8B 모델을 공개한 바 있고, 이 모델은 유사 사이즈의 경쟁 모델의 성능을 앞서면서도 월등한 경제성도 갖췄습니다. 앞서 언급한 문화적 요소를 모델에 반영하기 위해 학계에서는 어떤 고민을 하고 있는지, LG AI연구원은 LLM 개발 과정에 이런 고민을 어떻게 녹여내고 있는지, NLP 분야의 저명한 학회인 ACL 2024의 2nd Cross-Cultural Consideration in NLP (C3NLP) Workshop을 통해 알아보겠습니다.

Benchmarks

LLM의 일반적인 성능을 측정할 수 있는 Benchmark는 굉장히 다양하지만 Cultural Alignment를 측정할 수 있는 Benchmark는 아직 많이 부족한 상황입니다. ACL 2024 Workshop에서는 이를 보완하기 위한 Benchmark 들이 발표되었는데, 그중 몇 가지를 소개하겠습니다.

CDEval: A Benchmark for Measuring the Cultural Dimensions of Large Language Models^[1]

사람이 중요하게 여기는 가치는 그가 속해 있는 문화에 따라 크게 다릅니다. 기존에는 사람을 모방하기 위해 범용적인 가치들(Helpfulness, Honesty, Harmlessness)에 집중했다면 새로이 공개된 CDEval은 Geert Hofstede’s Cultural Dimensions theory를 구성하는 6개의 문화적 특징(Power Distance Index, Individualism vs. Collectivism, Uncertainty Avoidance, Masculinity vs. Femininity, Long-term Orientation vs. Short-term Orientation, Indulgence vs. Restraint)을 측정할 수 있도록 고안되었습니다.

이미지 1. 다양한 LLM의 3가지 문화적 특징에서의 평가 결과^[1]

KoBBQ: Korean Bias Benchmark for Question Answering^[2]

Social Bias는 일반적으로 각 문화에 깊이 뿌리내려 있기 때문에 기존에 공개된 Bias Benchmark for Question Answering (BBQ)는 한국 문화에 적합하지 않습니다. 이에 본 연구에서는 한국 문화를 위한 BBQ 벤치마크(KoBBQ)를 제안했습니다. 또한 KoBBQ와 BBQ를 비교하며 문화적으로 다양한 Social Bias Benchmark의 필요성을 강조했습니다.

이미지 2. 미국에서는 “마약을 낮은 사회 경제적 지위를 가지고 있는 사람이 많이 사용한다.” 라고 생각하지만
한국에서는 반대로 “높은 사회 경제적 지위를 가지고 있는 사람이 많이 사용한다.” 라고 생각합니다^[2].

Modeling

LLM의 Cultural Alignment 성능을 측정하는 것도 중요하지만, 어떻게 Alignment를 할 것인지에 대한 부분도 절대 놓쳐서는 안 될 분야입니다. 학계는 이를 어떻게 풀어나가고 있는지 몇 가지 연구를 통해 알아보겠습니다.

Does Cross-Cultural Alignment Change the Commonsense Morality of Language Models?^[3]

일반적으로 언어모델은 실제 사용자들이 사용하기 전에 사람의 선호도에 맞춰 Alignment하는 학습 과정을 거칩니다. 하지만 대부분의 Alignment 데이터셋은 영어로 이루어졌고, 이는 결국 해당 데이터셋이 영어가 모국어인 사람들의 선호도 위주로 반영된 데이터셋이라고 볼 수 있습니다. 이러한 데이터셋들을 단순히 번역하여 모델을 학습하면, 번역된 언어를 사용하는 사람들의 선호도도 학습이 되는 걸까요?

이러한 의문에 대한 답을 찾기 위해, 본 연구에서는 어떤 문장이 도덕적으로 받아들여지는지 아닌지를 판별하는 Commonsense Morality를 중점적으로 보았습니다. 예를 들어 “지도교수님의 헌신적인 충고를 무시했다.”, “나는 도박에 중독되었다.” 같은 문장이 도덕적으로 받아들여지는지를 판별하는 것입니다.

이미지 3. GPT3.5 Turbo와 JCM (Japanese Commonsense Morality),
ChatbotArena-JA (일본어로 기계번역한 ChatbotArena Dataset)로 학습한 CALM2 모델의 생성 결과^[3]

“나는 도박에 중독되었다.” 라는 문장은 일반적으로 일본에서는 도덕적으로 받아들여지지 않는 문장입니다. 하지만 이미지 3에서 확인할 수 있듯이, GPT-3.5 Turbo는 일본의 Cultural Morality를 전혀 고려하지 않고 “There is no moral or ethical error in this statement.” 라는 답변을 도출했습니다. 각 문화마다 존재하는 도덕적 허용 기준의 차이를 고려하지 않고 영어 문화권의 선호도가 반영된 데이터셋을 단순히 번역해서 학습한다면, 모델 답변에 이러한 문화권의 선호도 차이가 반영이 될 수 있는지 본 연구에서 보였습니다.

이미지 4. ChatbotArena-JA로 fine-tuning한 CALM2의 JCM, ETHICS에 대한 결과^[3]

놀랍게도 ChatbotArena를 일본어로 기계번역한 ChtabotArena-JA로 Fine-tuning한 모델이 JCM (Japanese Commonsense Morality) 데이터셋에서 성능이 높아지는 결과를 기록했습니다. ETHICS 데이터셋에는 감소하는 경향을 보였는데 저자들은 이를 일본어 Fine-tuning 때문에 영어 능력이 떨어진 것 때문이라고 추정했습니다.

Do Multilingual Large Language Models Mitigate Stereotype Bias?^[4]

이전에 진행된 연구^[5,6]에서 Multilingual 모델이 Monolingulal 모델보다 더 적은 Bias를 가지고 있다는 점을 BERT-like 모델을 통해 확인할 수 있었습니다. 본 연구에서는 더 큰 Decoder-based 모델에서는 어떤지를 탐구했습니다.

이미지 5. BBQ 결과 heatmap^[4]

Multilingual로 학습된 모델이 Monolingual로 학습된 모델보다 Bias가 적은 결과를 확인할 수 있었습니다. 오픈소스 모델 중에서는 특히 독일어 Falcon이 굉장히 높은 성능을 보였습니다.

From Personal Inconsistencies to Cultural Biases

앞선 내용에서는 LLM이 Cultural Alignment를 효과적으로 학습하기 위한 학계의 연구를 소개해 드렸습니다. 다음으로는 LG AI연구원에서는 문화적 편향을 해결하기 위해 어떻게 모델을 발전시켜 나가고 있는지, 최근 진행한 주요 연구를 통해 알아보겠습니다.

Model Persona and Inconsistency^[7]

LLM을 Agent로 사용하기 위해서는 모델 자체의 성능보다 각 LLM이 가지고 있는 특성을 이해하는 것이 더 중요할 수 있습니다. 예를 들어 사회적 경향과 같은 페르소나, Prompt 변화에 따른 성능 변화 등을 이해해야 합니다.

LG AI연구원은 페르소나 측정을 위한 벤치마크인 MODEL-PERSONA를 공개하고 광범위한 실험을 진행했습니다. 이를 통해 약간의 Prompt 변화가 성능 변화를 야기하며, 특히 대부분의 LLM은 부정적인 단어의 포함 여부에 따라 결과가 크게 다르다는 것을 발견했습니다.

이미지 6. 각 모델 별 4가지 일관성 비교^[7]

Order와 Option에는 일관성을 보였지만 No, Not과 같은 부정적인 단어가 들어갔을 때 일관성이 크게 떨어지는 결과가 나타났습니다. 부정적인 단어를 직접적으로 포함하지 않고 의미상 반대되도록 바꿔서 입력해도 마찬가지였습니다.

이미지 7. 다양한 페르소나를 prompt에 추가한 결과와 아닌 결과의 차이^[7]

더욱 흥미로운 점은 페르소나를 Prompt에, 추가하면, 앞서 크게 일관성이 떨어졌던 두 Negation Consistency가 몇몇 Outlier를 제외하면 증가한다는 것입니다.

Impact of persona prompting^[]

페르소나가 모델의 일관성에 도움을 준다면, 과연 모델의 성능에도 도움을 줄까요? 총 116개의 페르소나와 2,410개의 질문들을 모아 4개의 모델의 성능을 측정해 봤습니다.

이미지 8. 각 모델별로 성능이 가장 좋은 5개의 페르소나와 나쁜 5개의 페르소나의 성능 비교.
ACL 2024에서 발표한 LG AI연구원 이문태 AML 랩장의 연구 내용 중 발췌

약간의 차이는 있으나 눈에 띌만한 성능 차이는 없었습니다. 재미있는 점은 대부분의 모델에게 AI라는 페르소나가 주어지면 비교적 성능이 좋지 않다는 것이었습니다.

Cultural sensitivity and biases^[8]

그동안 일반적인 Commonsense를 LLM에 효과적으로 반영하기 위한 연구는 활발히 진행되어 왔습니다. 반면 Cultural Commonsense는 비교적 탐구가 덜 되어 왔습니다. LLM은 Cultural Commonsense에 대한 질문을 했을 때 잘 응답을 할까요? 영향력이 강한 문화에 치중되어 있지 않을까요?

이미지 9. Cultural commonsense에 대한 LLM의 한계^[8]

요즘은 전세계에서 LLM이 일상적으로 사용되고 있기 때문에, 일반적인 Commonsense뿐만 아니라 다양한 문화의 Commonsense를 반영한 LLM을 학습하는 것이 이상일 것입니다. 하지만 LLM을 학습하는 데 사용되는 알려진 대규모의 학습 코퍼스는 대부분 특정 문화권에 치중되게 구성되어 있습니다. 자연스럽게 해당 문화의 Commonsense를 LLM이 더 잘 이해하고 있을 거라는 가설을 새울 수 있고 이를 Cultural Commonsense QA를 통해 확인할 수 있었습니다.

이미지 10. Cultural Commonsense에 대한 LLM의 정확도^[8]

LLM의 Cultural Commonsense에 대한 QA성능은 전반적으로 준수했습니다. 이란과 케냐에 대한 질문에는 잘 답을 하지 못했고 그중 이란에 대한 답변은 평균적으로 약 20%정도 성능이 감소했습니다. 모델이 학습 코퍼스에 많이 없던 Cultural Commonsense에는 정확도가 다소 낮아짐을 시사합니다.

일반적인 Commonsense는 어떤 문화권이든 사실로 받아들이는 Commonsense입니다. 예를 들어 “물은 차가워지면 언다.”, “사람은 배고프면 먹길 원한다.” 와 같은 것들입니다. 이런 일반적인 Commonsense들과 Cultural Context가 결합되면 LLM은 Cultural Bias 없이 잘 대답할 수 있을까요?

이미지 11. 일반적인 Commonsense가 해당 국가에서 사실인지 확인하는 LLM의 정확도^[8]

Vicuna, Falcon, GPT 계열의 모델에서는 점수가 어느 정도 일정하였으나, LLAMA2의 경우에는 단순히 Cultural Context을 같이 주는 것만으로도 점수가 큰 폭으로 떨어진 것을 볼 수 있습니다.

본 연구는 LG AI연구원과 미시건 대학교(University of Michigan)가 함께 진행한 LLM의 문화적 상식 이해에 대한 연구로, 북미컴퓨터언어학학회(NAACL; North American Chapter of the Association for Computational Linguistics) 2024에서 Social impact Award Paper 를 수상하며 연구 의의를 인정받았습니다.

Beyond performance

LLM의 Benchmark 성능이 뛰어나다고 해서 LLM과 상호작용하는 실사용자가 무조건 만족하리라는 보장은 없습니다. 사람마다 각자의 스타일이 있고 선호도가 다르며 이는 그 사람이 사는 집단의 문화와 긴밀하게 연결되어 있습니다.

LG AI연구원은 단순히 벤치마크에서 성능이 좋은 모델만을 추구하지 않습니다. 앞서 소개한 학계의 다양한 연구와 저희 내부에서 진행하고 있는 관련 연구를 통해 실사용자의 문화적 특이성, 사용처 등을 고려해 모델 연구 개발을 진행하고 있습니다. 특히 한국 문화에 국한되지 않고 문화적 범위를 확장해서 연구를 이어가고 있습니다. 이를 통해 향후 EXAONE이 뛰어난 성능을 갖추는 것은 물론이고 우리의 삶을 더 나은 방향으로 변화시켜줄 것이라 확신합니다. LG AI연구원이 그려나가는 미래를 기대해주세요!

ACL Trends Review Series

#1. [ACL 2024] LLM 연구의 최신 트렌드와 주요 인사이트
#2. [ACL 2024] 차트 이해 및 추론을 위한 새로운 접근 방법
#3. [ACL 2024] 효율적인 언어모델을 향하여
#4. [ACL 2024] AI-generated Text Detection 최신 연구 동향
#5. [ACL 2024] LLM 신뢰성에 대한 평가 방법론과 효율성 연구의 트렌드
#6. [ACL 2024] Developing a Large Language Model with Cross-Cultural Considerations