상품 리뷰, 고객 설문, 임직원 서베이처럼 사람이 자유롭게 쓴 글에는 여러 이야기가 한꺼번에 담기기 마련입니다. 이런 방대한 텍스트에서 '무엇에 관한 이야기인가', 즉 숨겨진 주제(Topic)를 자동으로 찾아내는 기술이 바로 토픽 모델링(Topic Modeling)입니다. 토픽 모델링은 수만 건의 리뷰에서 소비자의 관심사를 파악하거나, 설문 응답을 주제별로 분류하고, 대규모 문서를 요약·정리하는 등 데이터 기반 의사결정의 출발점이 되는 핵심 기술입니다. 고전적인 LDA(Latent Dirichlet Allocation)부터 최근의 거대 언어 모델(Large Language Model, LLM)을 활용한 방법에 이르기까지, 토픽 모델링은 자연어처리(NLP) 분야에서 오랫동안 연구되어 온 주제입니다.
이번에 소개할 연구는 ACL 2026에 채택된 LG AI연구원의 논문 “From Documents to Segments: A Contextual Reformulation for Topic Assignment”[1]입니다. '주제를 문서 전체가 아니라 문장 단위의 Segment에 할당하자'는 간단한 발상을 실험을 통해 효과를 증명하고, 토픽 모델링을 근본부터 다시 정의합니다.
현업에서 마주한 문제 : 두 개의 분포는 잘 만들지만, '코퍼스 전체'를 보려는 순간 무너진다
토픽 모델링을 조금 더 들여다보면, 이 방법론은 본질적으로 두 개의 분포(Distribution)를 학습합니다. 하나는 주제→단어 분포()입니다. 예를 들어 '가격(PRICE)' 이라는 주제는 Cost, Value, Cheap, Pricey, Worth 같은 단어들과 높은 확률로 연결됩니다. 다른 하나는 문서→주제 분포()입니다. 하나의 문서가 여러 주제(FOOD, SERVICE, PRICE)를 어떤 비율로 담고 있는지를 나타냅니다. 즉 토픽 모델링은 처음부터 '한 문서 = 여러 주제의 혼합'이라는 특성을 자연스럽게 표현할 수 있는 도구입니다.
문제는 그 다음 단계에서 발생합니다. 우리가 실제로 궁금한 것은 “그래서 이 코퍼스(Corpus, 전체 문서 뭉치) 전체에는 어떤 주제들이, 얼마만큼의 비중으로 존재하는가?”라는 코퍼스 레벨(Corpus-Level)의 질문입니다. 그런데 이 질문에 답하려면 각 문서에 하나의 대표 주제를 강제로 할당한 뒤, 그것을 코퍼스 전체에 걸쳐 집계하는 절차를 거치게 됩니다. 여러 주제가 혼합되어 있는 문서를 코퍼스의 주제 구성(예: FOOD 45% · SERVICE 35% · PRICE 20%)으로 계산하기 위해 억지로 하나의 라벨로 눌러 담는 것입니다. 바로 이 '강제 할당' 단계에서 문제가 발생합니다.
예를 들어 “Tasty food, slow service, a bit pricey.”라는 한 문장은 음식·서비스·가격을 모두 언급하지만, 하나의 주제만 골라야 하므로 결국 FOOD 하나로만 집계됩니다. 이때 그 문서에 딸린 서비스·가격 관련 내용까지 FOOD 주제로 흘러 들어가 코퍼스의 주제 비중을 왜곡시킵니다. 논문은 이 현상을 토픽 오염(Topic Contamination)이라고 정의합니다. 특정 주제(예: 'FOOD')에 관심이 있어 관련 문서를 찾을 때, 정작 검색된 문서에 음식 이야기는 한두 문장뿐이고 나머지는 다른 주제로 가득 차 있는 상황이 벌어질 수 있습니다.
정리하면, 토픽 모델링은 문서가 여러 주제의 혼합임을 표현할 수 있음에도 불구하고, 코퍼스 레벨에서 주제를 읽어내려는 순간 '문서당 하나의 주제'라는 강제 할당을 요구하고, 그 지점에서 결과가 오염됩니다. LG AI연구원은 고객 리뷰·설문 분석 등 실제 데이터를 다루는 과정에서 이 한계를 반복적으로 마주했고, '문제의 단위' 자체가 잘못 설정되어 있다는 문제의식에서 이번 연구를 시작했습니다.
이미지 1. 토픽 모델링은 두 개의 분포(φ: 주제→단어, θ: 문서→주제)를 학습하지만, 코퍼스 전체의 주제 비중을 읽으려면 각 문서에 하나의 주제를 강제로 할당해야 한다.
이때 “Tasty food, slow service, a bit pricey.”처럼 여러 주제를 담은 문서가 FOOD 하나로만 집계되어 Topic Contamination이 발생한다. [1]
LG AI연구원의 연구 : 주제의 단위를 '문서'에서 '문장 구간'으로
이 논문의 핵심 아이디어는 간단하며 명료합니다. 오염의 근원이 '문서라는 너무 큰 단위에 하나의 주제를 붙이는 것'에 있다면, 주제를 할당하는 단위 자체를 잘게 쪼개면 됩니다. 주제를 문서 전체가 아니라 세그먼트(Segment) — 하나의 일관된 생각을 담은 짧은 텍스트 구간(문장 또는 절) — 에 할당하는 방식을 제안하고, 이를 세그먼트 기반 토픽 할당(Segment-based Topic Allocation, SBTA)이라 부릅니다. 기존 방식(Document-based Topic Allocation, DBTA)이 문서 뭉치를 통째로 다뤘다면, SBTA는 주제와 관련된 문장 구간만 골라내어 묶습니다. 그 결과 특정 주제에 대해 훨씬 순도 높고 해석하기 쉬운 결과를 얻을 수 있습니다.
이미지 2. 문서 기반 할당(DBTA, 왼쪽)은 '가격(PRICE)' 주제를 찾을 때 관련 내용이 일부만 담긴 문서 전체를 가져오지만,
세그먼트 기반 할당(SBTA, 오른쪽)은 각 주제에 해당하는 문장 구간만 정확히 골라낸다. [1]
SBTA로 옮겨가면 세 가지 장점이 생깁니다. 첫째, 주제 순도(Topic Purity)가 높아집니다. 의미적으로 집중된 구간에만 주제를 붙이므로 관련 없는 내용이 섞이지 않습니다. 둘째, 세밀한 해석이 가능하도록 합니다. 기존 토픽 모델링이 토픽을 단어의 분포로 표현하는 것과 달리, 세그먼트는 그 자체로 완결된 의미 단위여서 '왜 이 주제로 분류되었는가'를 직관적으로 이해할 수 있습니다. 셋째, 실제 활용 사례와 잘 맞습니다. 설문에서 '보상 관련 언급만' 추출하는 것처럼, 현업의 많은 작업은 문서 전체가 아니라 특정 주제의 문장을 찾는 일이기 때문입니다.
검증을 위한 새 데이터셋, SemEval-STM
문제를 새롭게 정의했다면, 이를 제대로 검증할 수 있는 적절한 데이터도 필요합니다. 기존 토픽 모델링 데이터셋은 문서 단위 주제만 표기하고 문장 단위 정답은 제공하지 않기 때문입니다. 이에 논문에서는 속성 기반 감성 분석(ABSA) 과제인 SemEval-2016 데이터를 재구성해 SemEval-STM(Segment-Based Topic Modeling) 데이터셋을 새로 구축했습니다. 상품 리뷰의 '가격', '서비스', '음식' 같은 속성(Aspect)이 토픽 모델링의 주제와 유사한 역할을 한다는 점에 착안한 것입니다. 먼저 LLM(o3-mini)을 이용해 각 문서에서 주제별로 관련 문장 구간을 뽑아낸 뒤, 저자들이 직접 검수·재분류·병합하여 문장 단위 주제 라벨을 구축했습니다. 후처리가 완료된 데이터셋에서는 하나의 문서가 여러 주제를 혼합해 담는 대신, 각 문장 구간이 하나의 주제만을 포함하게 됩니다.
실험으로 드러난 SBTA의 강점
이후 SemEval-STM를 기반으로 제안한 데이터셋의 품질을 검증하기 위한 다양한 실험을 수행했습니다. 먼저 DB Index, CH Index, Silhouette 등 여섯 가지 표준 군집 품질 지표로 평가한 결과, SBTA는 모든 지표와 모든 도메인에서 DBTA보다 더 응집력 있고 잘 분리된 주제 군집을 형성하는 것을 확인했습니다.
이어 DBTA와 SBTA가 각 코퍼스의 주제 구조를 얼마나 효과적으로 형성하는지 평가하기 위해 Shuffle Test를 수행했습니다. 해당 실험은 토픽별로 할당된 문서(또는 문장)를 무작위로 재배치한 후 성능 변화를 측정함으로써, 토픽 구조의 의미성과 견고성을 검증하는 방법입니다. 실험 결과, SBTA는 셔플 이후 모든 데이터셋에서 성능이 크게 감소했습니다. 이는 원래 학습된 토픽 구조가 의미 있는 정보를 담고 있었으며, 무작위 재배치로 인해 이러한 구조가 붕괴되었음을 의미합니다. 반면, DBTA는 성능 감소 폭이 작거나 일부 데이터셋에서는 오히려 성능이 향상되는 경우도 관찰되었습니다. 이는 DBTA가 토픽 간 명확한 구조를 충분히 형성하지 못했기 때문에 문서를 무작위로 섞더라도 구조적 정보의 손실이 크지 않았음을 시사합니다. 이러한 결과는 SBTA가 DBTA보다 코퍼스의 잠재적인 주제 구조를 더욱 효과적으로 학습했음을 뒷받침합니다. Semeval-STM에 대하여 LDA, BERTopic 같은 전통 기법과 GPT·Claude·Gemini·Llama·DeepSeek 등 여러 LLM을 활용한 토픽모델링의 성능을 비교했습니다. 그 결과 SBTA와 결합한 LLM 기반 방법이 라벨 프리·라벨 기반 지표 모두에서 전통 기법을 일관되게 앞섰으며, 흥미롭게도 도메인마다 강점을 보이는 모델이 다른 결과를 보였습니다 (예: 노트북 도메인에서는 작은 모델이, 레스토랑 도메인에서는 GPT 계열이 우세).
이미지 3. SemEval-STM 벤치마크(Laptop 도메인, 지표별 정규화).
SBTA LLM 기반 방법(LLaMA, DeepSeek)이 전통 기법(LDA, BERTopic)을 F1·Purity·ARI·NMI·CH 전 지표에서 앞선다. [1]
사람이 직접 검증하는 세그먼트 침입(Segment Intrusion) 과제
주제가 정말 '사람 눈에도 일관되게' 보이는지를 확인하기 위해, 논문에서는 고전적인 단어 침입(Word Intrusion) 과제를 문장 구간 수준으로 확장한 세그먼트 침입 과제를 새롭게 제안했습니다. 같은 주제로 묶인 여러 세그먼트 사이에 관련 없는 '침입자' 세그먼트를 몰래 끼워 넣고, 사람(또는 LLM)이 그 침입자를 찾아내게 하는 방식입니다. 잘 찾아낼수록 그 주제 묶음이 의미적으로 응집력 있다는 뜻입니다. 난이도를 침입자 수(1개/2개)와 도메인 동일 여부(쉬움/어려움 – 도메인이 동일하고 다른 토픽에서 Intruder Segment가져올 때 난이도 향상)로 나눠 총 4개 과제를 설계했습니다.
실험 결과, 사람과 LLM 모두 어려운 조건에서 성능이 떨어졌고 대부분의 모델이 아직 사람 수준에는 미치지 못하는 것을 확인할 수 있어, 새로운 평가 방식이 Plausible함을 보이는 결과입니다. 해당 평가 방식은 Topic을 다루는 단위가 Segment로 전환했기 때문에 가능하게 된 것으로, Word Intrusion Task 보다 평가자가 더 편하고 직관적으로 Intruder를 찾을 수 있습니다.
이미지 4. 세그먼트 침입(Segment Intrusion) 과제 예시.
고전적 단어 침입(Word Intrusion, ①)에서 한 단어가 주제를 깨뜨리는 침입자('pizza')를 찾듯,
이를 문장 구간 수준으로 확장(②)하여 같은 'PRICE' 주제로 묶인 세그먼트들 사이에서 다른 주제('DESIGN')를 말하는 침입자 세그먼트(“The battery lasts all day.”)를 찾아낸다. [1]
이미지 5. 세그먼트 침입 과제의 F1 성능. 난이도가 올라갈수록(SI-E → DI-H) 사람과 모든 LLM의 성능이 함께 하락하며,
대부분의 모델이 여전히 사람 수준(Human)에 미치지 못한다. [1]
What’s Next
이번 연구는 '주제를 어떤 단위에 할당할 것인가'라는 토픽 모델링의 가장 근본적인 전제를 다시 묻고, Segment라는 더 자연스러운 단위로 재정의했다는 점에서 의미가 큽니다. LG AI연구원은 이 SBTA 정식화가 상품 리뷰나 설문을 넘어, 임직원 의견 분석·고객 피드백 분석·대규모 문서 정리 등 여러 주제가 뒤섞인 현실의 텍스트 전반으로 확장될 수 있다고 봅니다. 특히 SBTA는 LLM 기반 토픽 모델링과 결합했을 때 강점이 두드러지므로, 주제 후보를 자동으로 생성하는 단계와 각 문장 구간에 주제를 할당하는 단계를 잇는 완전한 파이프라인으로 발전시킬 계획입니다.
또한 논문에서 새로 공개한 SemEval-STM 데이터셋과 세그먼트 침입 평가 방법론은, 문장 단위 토픽 모델링을 연구하려는 학계와 산업계 모두에게 표준 벤치마크로 활용될 수 있습니다.
Hoonsang Yoon
2026.08.14