[ICLR 2024]Foundation Model 분야 최신 연구 동향

ICLR (International Conference on Learning Representations)는 2013년 설립 이후 많은 머신러닝 연구자들의 관심을 받아 온 국제 인공지능 학회입니다. 이러한 관심을 증명하듯, 이번 5월 초 오스트리아 빈에서 열린 ICLR 2024에는 총 7,404편의 논문이 제출되었으며, 최종적으로 2,260편의 논문이 발표되었습니다. 이번 글을 통해 ICLR 2024에서 발표된 LG AI연구원의 연구 논문 소개와, 최근 큰 관심을 받고 있는 초거대 인공지능 모델에 대한 최신 연구 동향을 (1)이해 가능한 AI, (2)지속 가능한 AI, (3)안전한 AI라는 세 가지 관점에서 소개해 드리고자 합니다.

인공지능 기술이 발전함에 따라, 현실 세계의 문제 상황에 인공지능 모델을 활용하는 사례가 많아지고 있습니다. 이때, 인공지능 모델은 학습 과정에서 보지 못한 데이터를 마주하는 경우가 많습니다. 그렇기에 현업에 투입된 인공지능 모델은, 자신이 알지 못하는 데이터에 대해서도 합리적으로 추론할 수 있는 능력을 갖추어야만 합니다. 사실상 모델이 학습된 데이터 너머의 데이터에서 얼마나 잘 일반화(Generalization)되는지 여부에 따라, 현업에서 모델이 얼마나 유용한지가 결정된다고 할 수 있습니다.

모델의 일반화 성능을 높이는 간단한 방법은, 최대한 다양한 학습 데이터를 제공하는 것입니다. 이 때문에 최근에는 거대한 데이터로 선학습된(Pre-trained) 모델을 미리 만들어 두고, 풀어야 할 문제 데이터에 모델을 추가 학습(Tuning)시키는 2단계 과정이 일반적으로 사용되고 있습니다. 다양한 상황에 사용 가능한 특성 때문에, 이러한 선학습 모델들은 흔히 기반 모델(Foundation Model, FM)이라고 말합니다. Foundation Model이 추가 학습 없이 몇 개의 예시를 제공하는 것만으로도 한 번도 보지 못한 문제를 해결할 수 있다는 연구가 발표되기도 했습니다. 이러한 놀라운 일반화 성능 덕분에, Foundation Model은 우리 일상에 아주 빠르게 들어와 삶을 유익하게 만들어 주고 있습니다. 일반 사용자들이 마주하는 인공지능 모델은 Foundation Model이 대부분이며, LG AI연구원이 개발한 초거대 모델인 엑사원(EXAONE)이나 OpenAI의 GPT가 대표적인 예시입니다.

Foundation Model이 일상적인 업무에 사용되는 경우가 증가하면서, Foundation Model이 학습한 풍부한 지식을 더 효과적으로 사용하기 위한 세계 각지의 연구기관에서 다방면으로 연구가 진행되고 있습니다. 이러한 연구들은 크게 (1) Foundation Model이 왜 높은 일반화 성능을 가질 수 있는지, (2) 어떻게 하면 Foundation Model을 더 저렴하게 만들 수 있는지, (3) 어떻게 초거대 모델의 안전성을 보장할 수 있는지 세 가지 질문에 답하고자 합니다. 이번 ICLR 2024에서도 Foundation Model 관련 연구 발표와 워크샵이 활발하게 진행되었습니다. 이 글에서는 Foundation Model 연구의 최신 동향을 크게 세 가지의 주제로 묶어 살펴보겠습니다.

1. Interpretability: Foundation Model의 일반화 능력에 대한 이해

ICLR 2024에서 무엇보다 많은 관심을 받은 연구는, Foundation Model에 대한 이론적, 실험적인 이해를 촉구하는 논문들이었습니다. 구체적으로, 연구자들은 Foundation Model이 왜 자기가 배우지 못한 문제를 푸는 일반화 능력을 갖추었는지에 대해 설명하고자 합니다.

소개해 드릴 첫 번째 논문은 Foundation Model의 일반화 능력을 인과추론(Causal Inference)의 관점에서 해석한 연구, “Robust Agents Learn Causal World Models^[1]”입니다.

이미지 1. Three levels of Pearl Causal Hierarchy (PCH)^[4]

지능을 가진 개체들은 서로 다른 방식으로 세상의 인과 관계를 이해합니다. 이러한 인과추론의 관점에서, 통계적인 인공지능 모델들은 이미지 1에서 표현된 3 단계 중 1단계에 놓인 모델입니다. 인과추론 연구자들은, 이러한 인공지능 모델에게 인간과 같이 생각하는 방법을 가르치고자 합니다.

인과추론은, 원인(Cause)과 결과(Effect) 사이의 인과 관계에 대한 이론적인 이해를 목표로 하는 연구 분야입니다^[3]. 인과추론은 약학, 정책학, 경제학과 같이 인과 효과에 대한 정량화가 필요한 주제에 널리 사용되며, 나아가 최근에는 많은 인공지능 연구자가 인과추론의 개념을 이용해 인공지능의 새로운 활로를 찾고자 노력하고 있습니다^[2]. LG AI연구원 또한 인과추론 기반의 인공지능 모델 연구를 진행하며 이러한 흐름에 동참하고 있습니다.

이미지 2. Causal Models and Statistical Models^[2]

통계적 모델들은 데이터의 분포가 고정되어 있다고 생각합니다. 이 방법은 매우 간단하고 효율적이지만, 분포 변화에는 취약한 모습을 보입니다. 반대로, 인과적인 모델들은 데이터의 분포가 인과적 시스템 하에서 변형된다고 가정합니다. 이러한 관점에서, 인과적 모델들은 분포 이면의 인과적 시스템을 학습함으로써 분포 변화에 강건한 모델이 되고자 노력합니다.

인과적인 인공지능 모델(Causal Model)은 기존의 통계적인 인공지능 모델(Statistical Model)과 크게 다릅니다. 기존의 통계적인 모델들은 학습 데이터의 분포가 고정되어 있다고 가정하고, 학습 데이터의 분포에 가장 잘 맞는 분포를 학습하고자 합니다(이미지 2, 왼쪽). 이런 모델들은, 유사한 분포의 데이터에 대해서는 잘 작동하지만, 분포가 조금만 바뀌어도 잘 작동하지 못한다는 문제를 가지고 있습니다.

반대로, 인과적인 모델들은 분포가 고정되어 있다고 생각하지 않습니다. 인과적인 모델들은 데이터가 만들어진 기저의 인과적인 시스템(Data Generating Process)이 있다고 가정하고, 우리가 확보한 학습 데이터의 분포는 이 인과적인 구조의 특정 통제 상황 하에서 생겨난 결과라고 해석합니다(이미지 2, 오른쪽). 이러한 관점에서, 인과적 모델은 분포 변화에 강건한 모델이게 됩니다.

이런 차이 때문에, 통계적 관점에서 세워진 현재의 인공지능 모델들을 인과적인 관점에서 해석하는 데에는 어려움이 있었습니다. 많은 인과추론 연구자들은 통계 기반의 인공지능 모델들이 내재적으로 인과적인 사고를 한다는 가설을 갖고 있지만, 그 가설을 증명할 근거는 오랫동안 충분치 못했습니다.

하지만 이번에 ICLR에서 발표된 “Robust Agents Learn Causal World Models^[1]” 논문은 인공지능 모델이 세상을 인과적으로 이해하고 있었음을 밝힙니다. 논문의 저자는 인공지능 모델들이 사고 과정에서 데이터가 만들어진 인과적인 시스템을 학습한다고 주장합니다. 구체적으로, 저자는 일반화 성능이 높은 인공지능 모델들(e.g., Foundation Model)이 인과적인 시스템의 다양한 통제 상황에 강건한 모델임을 확인하고, 이러한 모델의 사고 과정을 바탕으로 데이터가 생성된 인과적인 시스템을 복원할 수 있음을 증명합니다. 본 논문은 인과추론과 인공지능 사이의 높은 벽을 허물어트렸다는 점에서 의미가 있습니다. 이러한 성과를 인정받아, 본 논문은 ICLR에 제출된 논문 중 높은 점수를 받으며 Oral Presentation Paper로 선정되었습니다.

앞의 논문이 이론적 관점에서 인공지능 모델을 이해하고자 노력한 연구라면, 다음으로 소개드릴 논문인 “Understanding In-Context Learning in Transformers and LLMs by learning to learn discrete functions^[5]”은 인공지능 모델의 일반화 능력에 실험적으로 접근한 연구입니다. 구체적으로, 본 논문은 Foundation Model들이 왜 한번도 보지 못한 문제에 대해서 추론을 할 수 있는지를 연구합니다.

이미지 3. 프롬프트 엔지니어링의 프로세스^[6].

AI 모델은 문제를 푸는 방식, 혹은 답안의 예시를 보여주는 것 만으로도 더 빠르고, 정확한 추론을 할 수 있게 됩니다. 이러한 능력이 발견된 이후로, 연구자들은 AI 모델로부터 최대한 많은 지식을 도출해내기 위한 여러 가지 기법들을 개발하고자 노력해 왔습니다.

EXAONE과 같은 거대 언어모델(Large Language Model, LLM)을 사용할 때, 성능을 비약적으로 높이는 방법으로 프롬프트 엔지니어링(Prompt Engineering)이라는 기법이 있습니다. 프롬프트 엔지니어링은 인공지능 모델에게 문제를 푸는 방법, 예시, 맥락 등의 추가 정보를 제공하여 모델이 사용자의 필요에 맞게 해답을 내놓는 기법입니다. 이미지 3의 예시에서, 사용자(User)는 인공지능 모델에게 문제를 해결하는 방법을 직접적으로 제시하면서 인공지능 모델(Assistant)이 보지 못한 문제를 해결하도록 유도합니다. 맥락이 없었다면 풀지 못했을 문제를, 단 몇 줄의 지시만으로 푸는 셈입니다. 인공지능 모델에게 문제의 맥락(Context)을 제시한다는 점에서, 이러한 기법을 흔히 In-Context Learning (ICL)이라고 부르기도 합니다. ICL은 학습 없이, Foundation Model의 지식을 끌어낸다는 점에서 의미가 있습니다. 하지만 왜 언어모델이 이런 능력을 갖추었는지, 그리고 어떤 과정을 통해 이러한 작업을 수행할 수 있는지에 대해서는 밝혀지지 않은 부분이 많습니다.

본 논문의 저자들은 LLM이 이산 함수를 In-Context로 해결할 수 있는지를 실험함으로써, 모델이 어떻게 동작하는지를 연구합니다. 저자들은 풍부한 실험을 통해, LLM이 언어 데이터로부터 일반적인 패턴을 학습함을 보이고, 나아가 LLM이 추론 과정에서 일종의 학습 알고리즘을 모델 내부에 구현함을 밝힙니다. In-Context learning의 선행 연구들이 연속함수나 언어 태스크를 다루었다면, 본 논문에서는 이산적인 Boolean 함수를 다룸으로써 새로운 관점을 제시했다는 의미가 있습니다.

2. Sustainability: Foundation Model의 경량화, 가속화

Foundation Model이 현실 세계의 문제를 해결하는 데에 더 빈번하게 사용됨에 따라, 거대 모델의 운용 비용에 대한 업계의 고민 또한 커지고 있습니다. 이런 경향을 반영하듯, 이번 ICLR에서는 모델의 사용 비용을 줄이기 위한 다양한 연구들이 발표되었습니다. 이번 챕터에서는 Foundation Model의 경량화와 가속화에 대한 두 편의 논문을 소개해 드립니다.

ICLR 2024에서 Oral Presentation Paper로 선정된 “Batched Low-Rank Adaptation of Foundation Models^[7]”는 거대 모델의 훈련 비용을 줄이고자 하는 경량화를 제안합니다. 최근, 거대한 언어모델을 재학습하는 비용을 줄이기 위해 거대한 모델의 일부 레이어만을 학습하는 Parameter-Efficient Fine-tuning (PEFT) 기법들이 연이어 발표되고 있습니다. 이 중 가장 대표적인 기법으로, 거대한 모델의 파라미터 대부분을 정지해두고, 이 모델에 근사하는 아주 작은 레이어만을 학습하는 기법인 LoRA (Low-Rank Adaptation)가 있습니다. Batched Low-Rank Adaptation of Foundation Models의 저자들은 이 LoRA를 겨냥하여, 기존에 사용되던 LoRA가 배치 단위의 연산에 최적화되어 있지 않다고 주장합니다. 배치 내 여러 샘플들 사이에 서로 다른 태스크가 껴 있을 경우, 단순히 LoRA를 사용하는 것이 성능 상에 불이익을 준다는 의미입니다. 이를 해결하기 위해, 본 논문에서는 배치 단위의 연산에 최적화된 Fast LoRA (FLoRA) 기법을 제안합니다.

이미지 4. FLoRA^[7]는 배치 내 각 샘플들 마다 고유한 Low Rank Adapater를 부여함으로써
배치 단위의 학습이 더 효율적으로 이루어지도록 합니다.

FloRA는 배치의 각 입력 예제마다 고유한 Low Rank 근사 가중치를 부여함으로써 배치 단위의 빠른 처리가 가능케 만듭니다. 저자들은 FLoRA가 LoRA의 성능을 유지하면서, 8개 언어를 대상으로 하는 MultiPL-E 코드 생성 및 6개 언어에 걸친 다국어 음성 인식 태스크에서 경쟁력 있는 결과를 보여줌을 실험적으로 입증합니다. 본 논문은 거대 언어모델이 현실 세계에서 마주하는 여러 가지 문제들을 처리했다는 점에서 의미가 있다고 판단됩니다.

다른 관점에서 보면, 모델의 운용을 더 빠르게 만들고자 하는 가속화 연구 또한 확인되었습니다. 그중에서 올해 Oral Presentation을 한 “ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models^[8]”는 거대 언어모델에 대한 아주 중요한 발견에 대한 논문입니다.

일반적으로, 거대 언어모델(LLM)에는 ReLU 활성화 함수가 사용되지 않습니다. ReLU 함수가 성능 저하를 일으킨다는 통념이 있었기 때문입니다. 따라서, 기존의 언어모델들에는 ReLU의 개량된 버젼인 GELU나 SiLU 등의 함수가 사용되어 왔습니다. 하지만, 본 논문의 저자들은 실험적으로 이 통념이 잘못된 것이며, ReLU 함수가 거대 언어모델의 성능에 큰 영향을 미치지 않는다고 주장합니다. 무엇보다, 저자들은 ReLU 함수의 Sparse한 특성 상 모델 가속화와 경량화 양 측면에서 매우 유리함을 보여줍니다.

이미지 5. ReLUfication^[8] 프로세스

나아가, 저자들은 기존에 학습된 거대 언어모델을 매우 간단히 경량화하는 기법인 ReLUfication 기법을 제안합니다. ReLUfication은 ReLU 외의 활성화 함수로 선학습된 모델의 활성화 함수를, ReLU로 교체한 뒤 재학습시키는 아주 간단한 기법입니다. 저자들은 ReLUfication으로 조정된 모델이 기존의 성능을 빠르게 회복할 뿐만 아니라, Inference 과정에서 최대 3배의 비용 절감을 보여줌을 발표했습니다. 본 논문은 거대 언어모델에 대한 풍부한 실험결과과 함께, 아주 간단한 방법으로 모델을 가속화/경량화 시키는 방법을 제안한다는 점에서 파급력이 크다고 판단됩니다.

LG AI연구원이 올해 ICLR 2024 Workshop on Mathematical and Empirical Understanding of Foundation Models (ME-FoMo)에서 발표한 ShERPA: Leveraging Neuron Alignment for Knowledge-preserving Fine-tuning^[9] 또한 Foundation Model의 훈련 가속화 및 일반화를 목표로 하는 논문입니다.

이미지 6. ShERPA의 구조^[9].

ShERPA는 학습되지 않은 모델을 학습된 모델의 Loss Basin으로 정렬시킴으로써, 모델 학습 시 정보 손실이 일어나지 않도록 합니다. 이 간단한 기법은 학습 과정에서 모델의 정보 손실을 줄임으로서 모델의 일반화 성능이 높아지는 데에 기여합니다.

최근, 훈련된 모델의 Loss Landscape 구조에 따라 해당 모델의 일반화 성능이 달라진다는 연구들이 발표되고 있습니다. 이러한 관점에서, 서로 다른 모델을 Loss Landscape 상에서 정렬하는 Neuron Alignment 기법들이 발표되고 있습니다. 저희의 논문은 Loss Landscape 상에서 두 개의 모델을 정렬하는 Neuron Alignment 기법이 Transfer Learning과 유사한 효과를 냄을 보입니다. 구체적으로, 학습 전에 Neuron Alignment로 정렬된 모델들이 더 높은 일반화 성능을 발견하고, 이를 기반으로 파인튜닝 시 기존의 정보를 더 많이 보존하는 Robust Fine-tuning 기법을 제안하였습니다.

3. Safety: Foundation Model의 안전성 보장

Foundation Model이 전문가들을 넘어 일반 대중에게도 널리 사용되며, 모델의 안전성을 보장하려는 시도들이 계속되고 있습니다. 사실상 이러한 연구는, AI 모델이 인류에게 위험한 도구로 악용되지 않도록 한다는 점에서 매우 중요한 의미를 지닙니다. ICLR 2024에서도 Foundation Model의 안전성에 관한 연구들이 여러 편 발표되었습니다.

모델의 안전성이라는 주제는 아주 다양한 문제가 결합된 복잡한 문제입니다. 이 중에서, 실생활에 가장 밀접하게 연관된 문제 중 하나는 거대 언어모델이 유해한 정보를 제공하지 않도록 하는 것입니다. 언어모델이 아이들에게 유해한 정보, 혹은 지나치게 폭력적이거나 범죄에 악용될 수 있는 정보를 제공하지 않도록 하기 위해 많은 연구자들이 Model Alignment 기법을 연구하고 있습니다.

이미지 7. Self Alignment with Instruction Backtranslation^[10].
모델의 안전성을 확보하기 위해, 저자들은 모델이 스스로 데이터를 만들고,
그 안전성을 검증하는 기법을 제안합니다.

첫 번째 논문인 “Self-alignment with Instruction Backtranslation^[10]”은 이러한 Model Alignment 기법에 대한 연구입니다. 본 논문은 거대 언어모델의 안전성을 확보하기 위한 방법으로서 모델 자신의 지식을 활용하는 방법론을 제시합니다. 구체적으로, 저자들은 결과 텍스트로부터 역으로 명령(Instruction)을 생성하도록 하는 역번역(Backtranslation) 기법을 제안합니다. 이때 중요한 것은 모델 자신이 생성한 데이터를 다시 한번 모델이 검열하도록 하는 방식으로 데이터의 품질을 높일 수 있다는 점입니다. 이러한 기법을 통해, 저자들은 인간의 개입을 최소화하며 모델의 안전성을 증진할 수 있는 가능성을 제시합니다.

하지만, 이러한 Model Alignment 기법에는 분명한 한계들이 있습니다. 마지막으로 소개해 드릴 “Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!^[11]” 논문은 이러한 Model Alignment이 매우 쉽게 무효화될 수 있음을 보여줍니다.

본 논문의 저자는 성능이 좋은 Model Alignment 기법으로 안전성을 확보한 모델이더라도, 10개 내외의 유해한 정보를 새롭게 훈련 데이터로 제공할 경우 그 안전성이 제거된다고 주장합니다. 구체적으로, 저자는 GPT 모델에 10개의 유해 샘플을 제공한 뒤, 해당 데이터로 파인튜닝을 시도합니다. 저자는 이렇게 훈련된 GPT 모델이 기존과 달리 다시 유해한 결과를 제공함을 실험적으로 보여줍니다. 더 중요한 점은, 이러한 작업에 오직 $0.2 (한화 약 275원)의 비용만이 사용되었다는 점입니다. 많은 인공지능 기업들이 Model Alignment 작업에 상당히 큰 비용을 사용하고 있는 것을 고려할 때, 이 발견은 매우 중요한 함의를 지닙니다. 기존의 AI Alignment 기법들이 매우 쉽게 무력화될 수도 있기 때문입니다.

이미지 8. “Jailbreaking GPT with just $0.2!^[11]”.
저자들은 아주 적은 비용 만으로도 기존의 값비싼 Model Alignment 기법들이
무력화될 수 있음을 실험적으로 보여줍니다.

논문의 저자는 이러한 실험 결과를 토대로, 기존의 Model Alignment 기법들이 실상 매우 취약함을 고발합니다. 이와 함께, 저자들은 강력한 모델을 파인튜닝하는 것에 대한 우려를 표합니다. 본 논문의 분석 결과를 어떻게 해석하는지에 따라, 강력한 인공지능 모델을 공개하는 조치에 대해 의견이 갈릴 수도 있다고 판단됩니다. LG AI연구원 또한 이와 같은 연구들을 참고하여, 안전한 인공지능 모델을 개발하기 위해 노력하고 있습니다.

LG AI연구원의 연구 방향성

인공지능에 대한 사회적 관심이 그 어느 때보다 높은 시점입니다. 특히, 대화형 인공지능 모델과 같은 초거대 인공지능 모델이 일반 사용자들에게 쉽게 다가가며 이로부터 비롯되는 다양한 문제들 또한 새롭게 만들어지고 있습니다. 이러한 흐름을 반영하며, 올해ICLR 2024 학회에서는 이러한 고민이 많이 담긴 연구들이 발표되었습니다. LG AI연구원은 대한민국의 인공지능 모델 개발을 선도하는 기업으로서, AI 기술과 사람의 협업을 통해 더 큰 시너지를 만들도록 노력하고 있습니다. LG AI연구원이 그려 나가는 안전한 인공지능 생태계에 많은 관심을 부탁드립니다.

 

▶[ICLR 2024] Compression of Neural Networks 연구 동향