YHK_db456d101.png Hyeongu Yun 2024.09.13

EXAONE5_61aa566d1.png EXAONE 2024.09.13

[ACL 2024] AI-generated Text Detection 최신 연구 동향


이번 포스팅은 EXAONE Lab 윤현구 님이 EXAONE 3.0 7.8B Instruct-tuned Model 을 활용해 작성했습니다. 기술적 난이도가 높은 내용을 이해하기 쉽게 수정하거나 문장 전달력을 높이는 등의 작업에 EXAONE 3.0이 활용되었고, EXAONE 3.0이 제안한 문장을 사람이 한 번 더 확인하는 과정을 거쳤습니다.


방대한 양의 자연어 데이터를 학습하여 인간과 유사한 수준의 텍스트를 생성할 수 있는 초거대 언어 모델(Large Language Model, LLM)은 지난 2020년 이후 급속한 발전을 거듭하였고, 인공지능과 생성형 AI 활용에 새로운 가능성을 열어주었습니다. LG AI연구원에서도 최근 LLM의 사전학습 단계부터 시스템 배포까지 모든 단계에서 자체 기술로 개발한 EXAONE 3.0[1]을 공개하며 글로벌 경쟁력을 입증하였습니다.

LLM은 멀티모달 모듈과 결합을 통해 Large Vision Model로 확장되거나 웹 검색 엔진과 결합을 통해 Retrieval Augmented Generation (RAG) 시스템 등을 가능하게 합니다. 또한 그동안 풀기 어려웠던 Real-world 문제들도 해결해내고 있습니다. 이 모델들은 인간과 유사한 수준의 텍스트를 유창하게 생성할 수 있고 정보 제공, 창작, 고객 서비스 등 여러 분야에서 혁신적인 발전을 이끌고 있습니다.

하지만 큰 힘에는 큰 책임이 따릅니다. LLM이 다양한 분야에서 활용되고 여러 혁신의 가능성을 보여주면서, 동시에 LLM에 대한 우려의 시선도 대두되고 있습니다. 컴퓨팅 파워가 허락하는 한 거의 모든 질문에 유창하고 설득력 있는 답변을 제공할 수 있지만, 때로는 사실과 다른 정보를 제공하거나 윤리적으로 민감한 주제를 잘못 다룰 가능성도 있습니다. 이는 잘못된 정보가 확산되거나 부적절한 콘텐츠가 생성되는 상황을 초래할 수 있고, 이러한 정보나 콘텐츠들이 악의적으로 이용될 위험도 존재합니다.

LLM의 한계를 보완하고 악용, 오용 사례를 방지하기 위해 AI가 생성한 텍스트(Machine-generated Text, MGT)를 효과적으로 탐지하는 기술의 중요성이 커지고 있습니다. AI-generated 텍스트 탐지 기술은 윤리적 기준 설정, 데이터 관리, 사용자 보호 등 여러 측면에서 중요한 역할을 수행할 것으로 예측됩니다. 2024년 8월 태국 방콕에서 개최되었던 Top-tier 국제 자연어처리 학회인 ACL 2024에서도 AI가 생성한 텍스트를 감지하는 기법들에 대해 많은 연구가 발표되었습니다.

이번 포스팅에서는 ACL 2024에서 발표된 AI-generated 텍스트 탐지 기술들에 대한 내용을 전반적으로 요약해 살펴봅니다. 기존 탐지 기술의 한계점을 보완하고 더 높은 성능을 보인 연구들과 고전적인 자연어 처리에서 인사이트를 얻어 완전히 새로운 방식을 제시한 연구, 그리고 AI-generated 텍스트 감지 모델들의 성능을 정량적으로 측정할 수 있는 신규 벤치마크들을 제시하는 연구들까지 다양한 논문들을 소개합니다.

 

1. 기존 AI-generated Text Detection 기법과 이를 보완한 연구들

가장 성공적이었던 기존 탐지 기법 중 하나는 DetectGPT[2] 라 할 수 있습니다. DetectGPT는 AI-generated Text x를 조금씩 변형(Perturbation)시켰을 때, 변형된 Text x~들에 대한 언어 모델 위에서의 확률값들이 음의 곡률을 가진다는 관찰(이미지 1)에서 출발합니다. 그에 비해 Human-written Text는 조금씩 변형시켜도 이러한 경향이 크게 두드러지지 않았습니다.


이미지 1. AI-generated text는 조금씩 변형됨에 따라 언어 모델 위의 확률값들이 음의 곡률을 가지지만,
human-written text는 상대적으로 그런 경향이 약합니다[2].


DetectGPT는 이렇게 관찰된 경향을 이용합니다. 의심 가는 원본 텍스트와 그 텍스트가 약간씩 변형된 버전들에 대해 언어 모델의 로그 확률들을 계산하고, 원본 텍스트와 변형된 텍스트들 사이의 로그 확률 차이(Perturbation Discrepancy Gap)를 분석합니다. 이렇게 도출된 로그 확률 차이가 클수록 해당 텍스트가 초거대 언어 모델과 같은 AI에 의해 생성되었을 가능성이 높다고 판단합니다. DetectGPT는 특정 모델에 대한 별도의 추가 학습 없이 주어진 모델의 로그 확률 정보만으로도 텍스트 생성 여부를 탐지할 수 있다는 장점이 있습니다. 또한, 높은 탐지 성능을 통해 약간씩 변형된 타겟 텍스트들의 언어모델 위에서의 확률값을 이용한 방법이 효과적이라는 것을 실험적으로 입증했습니다.

하지만 한편에서는 약간의 변형을 이용하여 AI-generated Text를 감지하는 방법론들이 악의적인 변형(Adversarial Perturbation)을 감지하기 힘들다는 연구 결과들도 발표되고 있습니다[3,4]. 예를 들어, AI가 “한국의 수도는 서울이다.”와 같은 문장을 생성했을 때는 잘 탐지했지만, 이 문장에 아주 약간의 ‘악의적인’ 변형을 가하여 “한국의 수도는 한성이다.”와 같이 변형된 문장은 기존 탐지 모델들이 Human-written으로 판별하게 된다는 문제가 제기되었습니다.

이번 ACL 2024에서 발표된 논문 “Does DetectGPT Fully Utilize Perturbation? Bridging Selective Perturbation to Fine-tuned Contrastive Learning Detector would be Better”[5] 역시 DetectGPT의 한계점들을 지적합니다. 저자들은 DetectGPT의 랜덤 마스킹 기법이 중요한 토큰(단어나 구절)을 보호하지 않기 때문에 필연적으로 중요한 의미를 지닌 부분이 손상되거나 제거될 수 있으며, 이는 탐지 과정에서 중요한 정보를 누락시켜 탐지 성능을 저하시킬 우려가 있다고 합니다. 또한 DetectGPT는 변형 후의 텍스트와 원본 텍스트 사이의 로그 확률 차이에만 의존하는 방식을 택하지만, 이는 지나치게 단순화된 접근 방식으로, 변형된 텍스트가 모델에 의해 다르게 처리될 수 있는 다양한 상황을 충분히 반영하지 못한다고 주장합니다.

이런 점들을 보완하기 위해 해당 논문에서는 ‘선택적 교란 기법(Selective Perturbation)’을 제안합니다. 기본 아이디어는 텍스트 토큰의 중요도에 따라 마스크를 선택하는 확률을 조정하고 마스크를 전략적으로 배치함으로써, 중요한 의미를 지닌 부분이 누락되지 않게 하는 것입니다. 따라서 토큰 단위의 중요도를 평가하는 작업이 선행되어야 하는데, 이를 위해 특정 단어의 중요도가 주변 단어의 어휘 풍부성과 반비례한다는 점을 이용하여 단어 중요도를 판별하는 YAKE(Yet Another Keyword Extractor) 알고리즘[6]을 토큰 단위로 확장하였습니다. 저자들은 ‘선택적 교란 기법’을 통해 토큰 중요도가 일정 Threshold 이하인 토큰들만 마스킹 되기 때문에 문맥상 주요한 정보들은 누락되지 않는다고 주장합니다(이미지 2.).


이미지 2. 선택적 교란 기법을 적용한 Pecola 기법에서는 중요한 단어(초록색 배경)들은 변형되지 않습니다.
주황색 단어들은 변형된 단어들입니다[5].


저자들은 ‘선택적 교란 기법’에서 한 걸음 더 나아가 ‘Contrastive Learning 기법을 활용한 모델’을 이용하여 AI-generated Text와 Human-written Text를 구별하는 탐지 모델을 제안하고, 이 두 가지 방법론을 합쳐서 Perturbation based Contrastive Learning model (PeCoLa)이라고 칭합니다.

탐지 모델의 학습은 다음과 같이 두 단계로 이루어집니다:


  1. YAKE를 이용한 중요도를 다시 사용하여 feature 재구성하여 중요한 토큰이 모델 학습에서 더 큰 비중을 차지하도록 유도

  2. Multi-pairwise contrastive learning을 적용하여 다양한 입력 쌍 간 상관관계를 분석함으로써 모델이 텍스트 간 미묘한 차이를 더욱 잘 이해하도록 학습


저자들이 제시한 방법론은 Contrastive Loss Objective의 최적화를 통해 텍스트 구분 능력을 향상시키는 동시에, 토큰 중요도를 Feature에 직접적으로 포함시켜 학습 시 중요한 정보를 포착하는 것을 꾀했던 것으로 보입니다. 최종적으로 Cross Entropy Loss와 Contrastive Loss를 결합한 Objective를 통해 안정적인 학습을 도모하여, PECOLA 모델이 머신 생성 텍스트와 인간 작성 텍스트를 소수의 학습 데이터로도 정확하게 구분할 수 있게 하였습니다. 이러한 기술은 특히 제한된 데이터 환경에서 텍스트 생성 및 분류 작업을 효율적으로 수행하는 데 유용할 것으로 생각됩니다.

저자들이 기재한 실험 결과는 이런 저자들의 의도가 잘 반영된 것으로 해석됩니다. Human ChatGPT Comparison Corpus (HC3)[7]과 같은 테스트셋에서는 99.15%의 정확도(Few-shot Setting; 512-shot)를 기록했고, 다른 테스트셋들에서도 DetectGPT 보다 월등한 탐지 정확도를 보였습니다. 특히 Few-shot 테스트 환경에서 Shot 수가 커질수록 탐지 정확도가 선형적으로 증가하는 결과가 나타났는데 이는 Contrastive Learning과 모델 기반 탐지의 영향일 것으로 추측됩니다. 이 논문에서 제시된 PeCoLa 방법론은 다양한 도메인, 제한된 데이터 상황에서 높은 탐지 정확도를 보이며 불필요한 Noise을 줄이고 모델의 견고성을 높여 보다 신뢰할 수 있는 예측 결과를 도출한다는 점이 큰 장점으로 생각됩니다.

이번 ACL 2024에서는 기존 AI-generated 텍스트 탐지 기법들의 취약점으로 지적되던 ‘악의적인 변형’ 문제를 모델 아키텍쳐 관점에서 보완하려는 연구들도 발표되었습니다. 논문 “Are AI-Generated Text Detectors Robust to Adversarial Perturbations?[4]”에서는 Siamese Auto-encoder 구조를 도입하여 변형에 견고한 탐지모델을 제시합니다.

Siamese Denoising Auto-encoder 구조의 주요 장점은 Noise에 강인하면서도 본질적인 정보에 집중하는 능력입니다. 일반적으로 Reconstruction Loss와 Symmetric KL Divergence Loss를 조합하여 학습되는 Siamese Auto-encoder는 쌍둥이 구조에서 각각 독립적으로 얻은 출력 간의 차이를 최소화하기 때문에 서로 다른 Noise에서도 일관된 Feature를 재구성할 수 있다는 장점이 있습니다. 이 논문의 저자들은 이런 Siamese Auto-encoder의 장점을 이용하여 악의적인 Perturbation에 견고한 탐지모델을 제안하고, 이를 Siamese Calibrated Reconstruction Network (SCRN)라 칭합니다.


이미지 3. 쌍둥이 구조를 가진 Siamese Auto-encoder 구조를 차용하여,
악의적인 Perturbation에 견고한 SCRN 모델 도식도[4]


SCRN은 텍스트에 Gaussian Noise를 추가하고 이를 제거하는 Reconstruction 과정을 통해 의미적 표현을 보존하면서도 교란에 강한 표현을 학습합니다. 저자들은 이를 통해 단순한 토큰 변환이나 맞춤법 오류 같은 교란에도 안정적으로 AI 생성 텍스트를 탐지할 수 있다고 주장합니다. 또한, 제시된 모델은 Siamese Calibration 기술을 활용하여 다양한 Noise 조건에서도 일관적으로 예측할 수 있도록 훈련되며, 이는 모델이 고차원적으로 문맥 상의 특징에 더욱 집중하도록 유도합니다. 결과적으로 SCRN은 여러 데이터셋과 다양한 공격 시나리오에서 기존 방법들보다 높은 정확도를 발휘해 AIGT 탐지의 신뢰성을 크게 높였고, 실제 응용에서의 효율성을 실험적으로 보였습니다.

저자들이 기재한 실험결과에서 경쟁 모델들은 다양한 ‘악의적인 Perturbation’ 공격에서 약 15%에서 19%의 공격성공률(낮을 수록 견고한 모델)을 보인 반면에 SCRN은 약 3%에서 9%의 공격성공률을 보였습니다. 또, SCRN이 학습한 데이터와 도메인과 장르가 전혀 다른 실험에서도 약 24%의 공격성공률만을 보이며 높은 Generalization 성능을 보였습니다. ‘악의적인 Perturbation’이 없는 일반적인 환경에서도 HC3 테스트셋에서 99.78%의 높은 탐지 정확도를 기록하며, Siamese Auto-encoder 구조가 AI-generated Text 탐지에 적합한 구조라는 것을 입증했습니다.


2. 고전적인 NLP 방법론에서 얻은 영감을 발전시킨 AI-generated 텍스트 탐지 연구

고전 자연어 처리 연구에서는 사람이 작성한 자연어 문서를 정형화하고 처리하기 위해 문법적 구조와 문장 간의 관계를 기반으로 문서를 해석하려는 시도가 많았습니다. 그 중 대표적인 예가 바로 Rhetorical Structure Theory (RST)[8] 입니다. 담화 분석과 텍스트 생성 분야에서 주로 활용되는 RST는 텍스트의 구조를 설명하기 위한 이론으로, 텍스트가 일관성(Coherence)을 유지하는 방식을 계층적이고 연결된 구조를 통해 설명합니다. 이번 ACL 2024에는 Human-written 텍스트와 AI-generated 텍스트에 각각 담화 구조 분석을 적용하였을 때 발생하는 차이를 통해 AI-generated 텍스트를 탐지하는 굉장히 흥미로운 연구가 발표되었습니다.

논문 “Threads of Subtlety: Detecting Machine-Generated Texts Through Discourse Motifs[9]”는 인간이 글을 쓸 때 거치는 과정이 LLM이 텍스트를 생성할 때 거치는 과정과 담화 구조에서부터 근원적으로 다르다는 가정에서 시작합니다. Human Writer들은 복잡하고 다양한 계층적 구조를 통해 텍스트를 구성하며, 이는 문장이나 단락 단위에서 논리적으로 연결되고 발전합니다. 이러한 구조는 자연스럽게 문맥과 목적에 따라 변화할 수 있어 텍스트에 깊이 있는 의미와 변형을 부여하지만, LLM은 이전 토큰들을 기반으로 다음 토큰을 예측하는 방식으로 일관된 패턴을 생성하기 때문에 구조적으로 단순하고 예측 가능한 형태를 띠게 됩니다. 저자들은 이러한 차이점은 인간의 창의적이고 다면적인 사고 과정과 LLM의 Next-token Prediction 알고리즘의 근본적 간극에서 기인한다고 가정합니다(이미지 4.).


이미지 4. Human Writer와 LLM은 주제가 같더라도 글을 생성하는 방식이 다릅니다[9].


논문에서는 human-written 텍스트와 AI-generated 텍스트 간의 구조적 차이를 포착하기 위해 담화 구조 분석을 시도합니다. 먼저, 텍스트를 Rhetorical Structure Theory (RST)에 따라 계층적으로 파싱하여 트리를 생성합니다. 이 트리는 각 텍스트 부분의 논리적 구조를 반영하며, 이러한 관계는 트리 구조로 표현됩니다. 이후 이 계층적 트리를 Recursive Hypergraph로 변환하여 다수의 노드 간 관계를 동시에 표현할 수 있도록 합니다. 다음으로, 생성된 Recursive Hypergraph에서 특정 담화 모티프를 분석합니다. Human-written 텍스트는 대체로 복잡한 모티프를 갖지만, AI-generated 텍스트는 반복 패턴이 두드러집니다. 이 차이를 활용하여 텍스트 작성자를 구별하는 특징을 추출합니다. 추출된 모티프들은 분류 모델의 입력으로 활용되며, 이를 통해 인간과 기계가 각각 작성한 텍스트를 효과적으로 구분할 수 있습니다. 특히 저자들은 이러한 접근법이 표면적 특징이 아닌 구조적 특징을 분석하므로, 다양한 도메인과 Para-phrased된 텍스트에서 더 뛰어난 성능을 발휘한다고 주장합니다.

추출된 모티프를 활용한 AI-generated 탐지 기법은 HC3 테스트셋에서 98%의 F1 점수를 보이며 높은 성능을 보입니다. 특히 10가지 다양한 도메인에서 AI-generated 텍스트를 탐지하는 DeepfakeTextDetect 테스트셋[10]에서 모티프 분석을 추가한 탐지 모델은 82%의 F1 점수를 기록하며, 모티프 분석이 없는 모델이 74%의 F1 점수를 기록한 것과 차이를 분명히 보였습니다. 저자들은 텍스트의 Formality 점수와 하이퍼엣지(두 개 이상의 담화 노드를 연결하는 엣지; 높은 수준의 추상적 관계를 표현)의 상관관계를 분석해 보는 실험도 진행하였는데, Human-written 텍스트에서는 0.39의 상관관계가 있었으나, AI-generated text는 0.08로 상관관계가 거의 없었다고 서술합니다. 이는 LLM이 생성한 텍스트가 형식적으로 잘 짜여 있음에도, 덜 구조화된 담화 패턴을 가지고 있다는 굉장히 흥미로운 결론을 함의하고 있습니다.


3. AI-generated text 탐지를 위한 새롭게 제안된 벤치마크들

AI-generated Text 탐지 분야는 LLM의 발전에 발맞추어 더 연구가 활발해지고 있습니다. 탐지 기법들의 성능도 점점 더 좋아지면서, 더 어려운 문제들에 대한 요구도 커지는 추세입니다. 이번 ACL 2024에서도 관련 분야에 대한 신규 벤치마크 연구들이 여러 편이 발표되었는데, 대표적인 연구3편을 간단히 살펴보겠습니다.


1) M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text Detection[11]

기존 연구들은 주로 AI-generated text 탐지 문제를 Binary 분류 문제로 접근했으며, 대부분 영어에 집중하는 경향을 보였습니다. 다시 말하자면, Human-written과 AI-generated가 혼재된 콘텐츠를 감지하는 문제에 대한 연구는 거의 이루어지지 않았습니다. 본 논문에서는 이러한 한계를 극복하기 위해 M4GT-Bench라는 Multi-lingual, Multi-way, Multi-generator 기반의 3가지 태스크를 제안합니다:


  1. Human-written 텍스트와 AI-generated 텍스트를 분리하는 Binary 분류 과제

  2. 특정 생성기에 의해 작성된 텍스트를 식별하는 다중 분류 과제

  3. Human-written과 AI-generated 텍스트가 혼합된 경우 경계를 식별하는 과제


실험 결과, 최신 탐지 모델들을 활용한 실험에서 새로운 Out-of-domain 데이터에 대해 성능 저하가 빈번하게 나타났습니다. 특히 Transformer 기반 모델들인 RoBERTa와 XLM-R은 전반적으로 우수한 성능을 보였으나, 새로운 도메인이나 새로운 Generator 모델에 대한 일반화 능력은 여전히 제한적임을 확인했습니다. 또한, Generator별로 작성된 텍스트를 인간이 구분하는 일은 거의 불가능에 가까웠습니다.


2) RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors[12]

기존 탐지 모델들은 공통의 벤치마크에서 충분히 검증되지 않은 상태이며, 특히 변형된 샘플링 전략이나 악의적인 공격에 대한 견고함이 부족한 것으로 나타났습니다. 저자들은 이 문제를 해결하기 위해 Robust AI Detection (RAID)이라는 대규모 데이터셋을 제안합니다. RAID 데이터셋은 6백만 개 이상의 텍스트를 포함하고 있어 기존 연구들이 다루지 않았던 다양한 변수들—다양한 도메인, 생성 모델, 적대적 공격, 디코딩 전략 등을 포괄합니다.

해당 논문에서는 RAID 데이터셋을 활용하여 현재 존재하는 12개의 AI-generated 탐지 모델들을 평가한 결과도 소개합니다. 그 결과 대부분의 탐지 모델들이 새로운 Text Generator이나 변형된 샘플링 전략에 취약함을 확인할 수 있었습니다. 심지어 반복 페널티와 같은 간단한 변화도 탐지 정확도를 크게 감소시킬 수 있음을 보여주었습니다.

실험 결과, RAID 데이터셋에서의 평가에서 탐지기들은 False Positive Rate 5%에서 정확도가 급격히 떨어지는 경향을 보였습니다. 특히 반복 페널티가 적용된 경우 탐지기의 정확도가 최대 32포인트까지 저하되었습니다. 이는 현존하는 탐지기가 매우 제한된 조건에서만 효과적임을 시사합니다.


3) MAGE: Machine-generated Text Detection in the Wild[10]

해당 논문에서는 여러 도메인과 다양한 LLM에서 생성된 텍스트를 포괄적으로 다루며 실제 환경에서의 AI-generated 텍스트 탐지 문제를 해결하고자 하였습니다. 저자들은 MAGE (Machine-Generated Text Detection) 테스트베드를 구축하여 다양한 도메인과 여러 LLM의 텍스트를 수집하고 분석한 점이 논문의 핵심이라고 서술합니다. 실험 결과 기존 탐지 방법들은 도메인 및 모델의 다양성이 증가할 때 성능이 저하되었지만 여전히 일정 수준의 탐지 가능성을 보였습니다. 특히, 0.1%의 도메인 데이터만으로도 탐지기 성능을 상당 부분 향상시킬 수 있음을 입증했습니다. 최고 성능의 탐지기는 새로운 LLM으로 생성된 텍스트 중 86.54%를 성공적으로 식별해내었으며, 이는 Real-world 응용 시나리오에 적용 가능함을 시사합니다.

결론적으로 해당 연구는 다양한 도메인과 LLM에서 생성된 복잡한 텍스트도 탐지할 수 있음을 입증하였으며, ‘야생’ 환경에서도 탐지가 가능하다는 가능성을 제시했습니다. 또한 탐지 모델의 성능을 향상시키기 위해 일부 도메인 내 데이터를 활용하는 방안을 제안함으로써 향후 연구 방향에 중요한 통찰을 제공합니다. 이 논문은 AI-generated 텍스트 탐지 기술의 한계를 이야기하고, 미래 연구의 로드맵을 마련하는 데 기여하고 있습니다.

AI-generated 텍스트 탐지 분야에 대한 연구는 단순히 기술적 문제를 해결하는 것을 넘어, 사회적 책임을 다하는 데 초점을 맞추어야 합니다. 또한 AI-generated 텍스트 탐지 기술은 부적절한 정보의 확산을 막고, 사용자 보호와 데이터 관리에 기여할 수 있어야 합니다. LG AI 연구원은 AI-generated 텍스트 탐지 기술을 포함해 AI 기술에 의한 잠재적 위험을 인지하고, 이를 사전에 방지하기 위한 노력이 필요하다는 데 공감합니다. 인간존중, 공정성, 안정성, 책임성, 투명성 5대 핵심가치로 구성된 ‘LG AI 윤리원칙’을 준수하기 위한 여러 노력을 실천해왔고[13] 2024년 2월에는 ‘LG AI 윤리원칙’의 1년간의 이행 성과를 담은 ‘AI 윤리 책무성 보고서(Accountability Report on AI Ethics)’를 발간하기도 했습니다. LG AI 연구원은 앞으로도 AI가 제공하는 혜택을 극대화하면서도, 그로 인한 잠재적 위험을 줄이는 방향으로 연구/개발을 이어갈 것입니다.


ACL Trends Review Series

#1. [ACL 2024] LLM 연구의 최신 트렌드와 주요 인사이트
#2. [ACL 2024] 차트 이해 및 추론을 위한 새로운 접근 방법
#3. [ACL 2024] 효율적인 언어모델을 향하여
#5. [ACL 2024] LLM 신뢰성에 대한 평가 방법론과 효율성 연구의 트렌드
#6. [ACL 2024] 문화 간 차이를 고려한 LLM 연구 트렌드

참고

[1] LG AI Research "EXAONE 3.0 7.8B Instruction Tuned Language Model." arXiv preprint arXiv:2408.03541 (2024).

[2] Mitchell, Eric, et al. "Detectgpt: Zero-shot machine-generated text detection using probability curvature." International Conference on Machine Learning. PMLR, 2023.

[3] Peng, Xinlin, et al. "Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated Student Essay Detection." The 2023 Conference on Empirical Methods in Natural Language Processing.

[4] Huang, Guanhua, et al. "Are AI-Generated Text Detectors Robust to Adversarial Perturbations?." arXiv preprint arXiv:2406.01179 (2024).

[5] Liu, Shengchao, et al. "Does DetectGPT Fully Utilize Perturbation? Bridging Selective Perturbation to Fine-tuned Contrastive Learning Detector would be Better." Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2024.

[6] Campos, Ricardo, et al. "Yake! collection-independent automatic keyword extractor." Advances in Information Retrieval: 40th European Conference on IR Research, ECIR 2018, Grenoble, France, March 26-29, 2018, Proceedings 40. Springer International Publishing, 2018.

[7] Guo, Biyang, et al. "How close is chatgpt to human experts? comparison corpus, evaluation, and detection." arXiv preprint arXiv:2301.07597 (2023).

[8] Mann, William C., and Sandra A. Thompson. Rhetorical structure theory: A theory of text organization. Los Angeles: University of Southern California, Information Sciences Institute, 1987.

[9] Kim, Zae Myung, et al. "Threads of Subtlety: Detecting Machine-Generated Texts Through Discourse Motifs." arXiv preprint arXiv:2402.10586 (2024).

[10] Li, Yafu, et al. "Mage: Machine-generated text detection in the wild." Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2024.

[11] Wang, Yuxia, et al. "M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text Detection." arXiv preprint arXiv:2402.11175 (2024).

[12] Dugan, Liam, et al. "RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors." arXiv preprint arXiv:2405.07940 (2024).

[13] “1년간의 성과 담은 ‘AI 윤리 책무성 보고서’ 발간”, LG AI Research, https://www.lgresearch.ai/news/view?seq=399