On-device Agentic AI: LG U+ ixi-O powered by EXAONE

3. EXAONE 기반 익시오 AI 통화분석

이미지 3. 학습데이터 생성 파이프라인

 

AI 통화 분석 서비스의 핵심은 비정형적인 통화 스크립트를 사용자가 바로 활용할 수 있는 구조화된 정보로 변환하는 것입니다. 통화가 종료되면 STT를 통해 음성이 텍스트로 변환되고, 모델은 이 텍스트를 기반으로 통화의 핵심 내용을 요약하고 주요 키워드와 중요 정보를 추출하며, 일정 등록·연락·확인 요청과 같은 후속 조치를 생성해야 합니다. 즉, AI 통화 분석은 단순 요약을 넘어 요약, 키워드 추출, 엔티티 추출, 후속 조치 추천이 결합된 복합적인 통화 이해 태스크로 볼 수 있습니다.

이 태스크는 일반적인 문서 요약이나 정보 추출보다 훨씬 까다롭습니다. 실제 통화에는 구어체 표현, 생략된 문장, 반복 발화, 문장 단절, 화자 간 발화 중첩, 급격한 주제 전환이 자연스럽게 나타납니다. 여기에 STT 변환 과정에서 발생하는 단어 오인식, 문장 경계 누락, 숫자 및 고유명사 인식 오류까지 더해집니다. 따라서 모델은 정제된 텍스트가 아니라 노이즈가 포함된 통화 스크립트에서도 핵심 정보를 정확히 파악하고, 일관된 형식의 분석 결과를 생성할 수 있어야 합니다.

익시오의 AI 통화 분석 서비스를 EXAONE 기반으로 고도화하고, 이러한 통화 이해 태크스를 효과적으로 수행할 수 있도록 하기 위해 본 과제에서는 그림 3에서와 같이 데이터 생성부터 모델 학습까지 이어지는 파이프라인을 구축하였습니다. 본 파이프라인은 실통화 데이터 또는 합성 데이터를 입력으로 받으면, 고성능 Teacher Model이 요약, 주요 내용, 후속 조치 등 통화 분석 라벨을 생성합니다. 이후 Verification & Regeneration 단계를 통해 생성 결과를 검증·보완한 뒤, 최종적으로 Student Model인 EXAONE의 학습에 활용하는 구조로 설계되었습니다.

본 과제의 핵심 기여는 크게 두 가지입니다. 첫째, 실제 통화 환경에서 등장할 수 있는 대화 흐름과 표현을 반영한 합성 데이터를 생성함으로써, 온디바이스 모델 학습에 필요한 데이터 다양성과 커버리지를 확보하였습니다. 특히 통화 분석 서비스는 실제 사용 환경에서 STT를 통해 변환된 텍스트를 입력으로 사용하기 때문에, 구어체 표현, 문장 단절, 화자 간 발화 중첩, 인식 오류 등 실통화 기반 입력에서 발생할 수 있는 특성을 합성 데이터 생성 과정에 반영하였습니다.

둘째, Teacher Model이 생성한 라벨을 그대로 사용하지 않고, Verification & Regeneration 과정을 통해 라벨 품질을 확보하였습니다. Teacher Model은 주어진 통화 텍스트를 기반으로 요약, 주요 내용, 후속 조치 등 통화 분석 결과를 생성하지만, 입력 텍스트가 정제된 문서가 아니라 STT 오류와 구어체 특성을 포함한 통화 스크립트이기 때문에 일부 결과가 부정확하거나 불완전하게 생성될 가능성이 있습니다. 이에 생성 결과를 항목별로 검증하고, 오류가 있거나 누락된 부분은 재생성하도록 설계하여 Student Model 학습에 사용되는 라벨의 신뢰도를 높였습니다.

3.1. Synthetic Dialogue Generation

이미지 4. 합성 대화 생성 파이프라인

 

실제 통화 기반 학습 데이터를 충분히 확보하기 어려운 상황을 보완하기 위해, 실통화에서 등장할 수 있는 대화 흐름과 STT 입력 특성을 반영한 합성 대화 생성 파이프라인을 구축하였습니다. 합성 대화 생성은 그림과 같이 Base Dialogue Generation → Utterance Diversification → Entity Replacement의 세 단계로 구성되며, 각 단계에서는 LLM을 활용하여 실제 서비스 입력과 유사한 형태의 통화 스크립트를 생성·확장하였습니다.

(1) Base Dialogue Generation. 

첫번째 단계에서는 대화 주제, 시나리오, 핵심 키워드, 주요 엔티티 등 대화 생성을 위한 기본 조건을 정의하고, 이를 바탕으로 기본이 되는 통화 대화를 생성합니다. 예를 들어 장소, 전화번호, 일정, 요청 사항 등 통화 분석에 필요한 주요 정보가 자연스럽게 포함되도록 대화 조건을 구성하였으며, 실제 통화에서 자주 나타나는 구어체 표현, 불완전한 문장, 발화 중단, 반복 표현 등을 함께 반영하였습니다. 또한 최종 서비스 입력이 STT 변환 텍스트라는 점을 고려하여, 띄어쓰기 오류, 발음 기반 오인식, 문장 경계 누락, 비문 형태의 표현 등 STT 오류를 모사할 수 있는 예시와 노이즈 패턴을 LLM에 함께 제공하였습니다. 이를 통해 정제된 문서 형태가 아닌, 실제 통화 스크립트에 가까운 기본 대화를 생성하였습니다.

(2) Utterance Diversification. 

Base Dialogue Generation을 통해 생성된 대화는 시나리오와 정보 구조는 갖추고 있지만, LLM 생성 특성상 일부 발화가 반복적이거나 정형화된 패턴으로 나타날 수 있습니다. 이를 완화하기 위해 동일한 의미를 유지하면서 발화 표현을 다양화하는 과정을 수행하였습니다. 구체적으로는 문장 길이, 말투, 어순, 구어체 정도, 발화의 직접성 등을 다양하게 변형하여, 동일한 통화 상황에서도 여러 방식의 표현이 등장하도록 하였습니다. 예를 들어 “어디쯤 오셨어요?”와 같은 정형적 표현을 “지금 어디까지 왔어요?”, “이봐 어디야 도착한 거야?”와 같이 상황과 화자 성향에 따라 다르게 표현하도록 재작성하였습니다. 이를 통해 모델이 특정 문장 패턴에 과적합되지 않고, 실제 사용자 발화의 다양한 변형을 학습할 수 있도록 하였습니다.

(3) Entity Replacement. 

마지막으로 대화에 포함된 장소명, 상호명, 날짜, 시간, 전화번호 등 주요 엔티티를 다른 값으로 치환하여 데이터의 커버리지를 확장하였습니다. 단순히 엔티티 문자열만 변경하는 것이 아니라, 치환된 엔티티가 대화 문맥 안에서 자연스럽게 유지되도록 주변 발화도 함께 수정하였습니다. 예를 들어 특정 장소명을 다른 지역이나 상호로 변경할 경우, 화자의 위치 설명, 이동 상황, 응답 내용이 새 엔티티와 충돌하지 않도록 전체 대화를 재정렬하였습니다. 이를 통해 동일한 대화 구조를 다양한 실제 서비스 상황으로 확장하고, 통화 분석 모델이 특정 엔티티나 시나리오에 편향되지 않도록 학습 데이터를 보강하였습니다.

이와 같은 합성 대화 생성 파이프라인을 통해 실제 통화에서 나타날 수 있는 대화 흐름, 발화 다양성, 엔티티 분포, STT 오류 특성을 함께 반영한 대규모의 학습 데이터를 구축하였습니다. 특히 단순한 Clean Text 기반 대화 생성이 아니라, 실제 서비스 입력에 가까운 Noisy STT Transcript 형태의 데이터를 생성함으로써 이후 Teacher Model 기반 라벨 생성 및 Student Model 학습 단계에서 보다 현실적인 통화 분석 성능을 확보할 수 있도록 하였습니다.

 

3.2. Verification & Regeneration

이미지 5. 결과 검증 및 재생성 파이프라인

 

Teacher Model을 통해 생성된 1차 통화 분석 결과는 바로 학습 라벨로 사용하지 않고, 별도의 Verification & Regeneration 과정을 거쳐 품질을 보정하였습니다. 전체 흐름은 [대화 내용] → [1차 통화 분석 결과 생성] → [결과 검증] → [수정 결과 재생성]으로 구성됩니다. 먼저 Teacher Model은 주어진 통화 스크립트를 기반으로 통화 요약, 주요 키워드, 핵심 내용, 후속 조치 등 각 태스크에 대한 1차 결과를 생성합니다. 이후 결과 검증 단계에서는 원문 대화와 1차 생성 결과를 함께 LLM에 입력하여, 생성 결과가 원문 대화와 일치하는지, 각 태스크별 제약사항을 만족하는지, 누락·중복·충돌 정보가 포함되어 있지 않은지를 단계적으로 검증하였습니다.

 

검증 단계에서는 크게 세 가지 관점에서 결과를 확인하였습니다. 첫째, 원문 충실성입니다. 생성된 요약이나 키워드, 후속 조치가 실제 대화 내용에 근거하고 있는지, 대화에 없는 정보가 새롭게 추가되지는 않았는지 확인하였습니다. 둘째, 태스크별 형식 및 제약 준수 여부입니다. 각 결과가 태스크별 요구 형식과 제약사항을 만족하는지 검증하였습니다. 셋째, 정보 간 일관성입니다. 요약, 키워드, 후속 조치 사이에 서로 충돌하는 내용이 없는지, 동일한 정보가 불필요하게 반복되지 않는지, 중요한 일정·장소·연락처·요청 사항이 누락되지 않았는지를 확인하였습니다. 특히 입력이 정제된 문서가 아니라 STT 기반 통화 스크립트이기 때문에, 구어체 표현, 문장 단절, 반복 발화, STT 인식 오류로 인해 Teacher Model의 1차 생성 결과에 부정확하거나 불완전한 내용이 포함될 수 있다는 점을 고려하였습니다.

검증 결과 오류가 발견된 경우에는 전체 결과를 단순히 폐기하지 않고, 문제가 있는 항목을 중심으로 Regeneration을 수행하였습니다. 수정 결과 재생성 단계에서는 원문 대화, 1차 생성 결과, 그리고 검증 과정에서 생성된 피드백을 함께 LLM에 입력하여 오류가 있는 항목을 올바른 방향으로 재생성하도록 하였습니다. 이를 통해 원문에 근거하지 않은 내용을 제거하고, 누락된 핵심 정보를 보완하며, 태스크별 형식과 제약사항에 맞는 최종 라벨을 생성하였습니다. 결과적으로 Verification & Regeneration 단계는 Teacher Model의 생성 능력을 활용하면서도 생성 결과에 포함될 수 있는 오류를 체계적으로 줄이기 위한 품질 관리 절차로, Student Model인 EXAONE 학습에 사용되는 라벨의 정확성, 일관성, 원문 충실성을 높이는 역할을 하였습니다.

 3.3. Experiments

고도화된 EXAONE 모델의 성능을 검증하기 위해, 기존 익시오 서비스에서 사용하던 클라우드 모델인 Gemini 2.0 Flash와 비교 평가를 수행하였습니다. 비교 대상에는 Gemini 2.0 Flash, 합성 데이터를 사용하지 않은 EXAONE 4.0, 그리고 본 과제의 합성 데이터 및 라벨 품질 개선 파이프라인을 적용한 EXAONE 4.0을 포함하였습니다.

평가는 LLM-as-a-Judge 방식으로 수행하였으며, Judge 모델로는 GPT-5.2를 사용하였습니다. 각 태스크의 특성을 반영한 루브릭을 기준으로 항목별 0~5점 리커트 척도 평가를 진행하고, 이를 100점 만점 기준으로 환산하였습니다. 실제 평가에는 태스크별 세부 기준을 추가로 포함하였으며, 주요 루브릭 예시는 표와 같습니다.

Task	Rubric	Description
Summary	TX 정합성	요약이 TX 기준으로 작성되었는가
	핵심 결과 중심	통화의 목적과 결과를 중심으로 요약되었는가
	Chronological Order	요약이 실제 대화의 시간 흐름을 유지하는지 평가
Keyword Extraction	Category	대화 주제를 적절한 카테고리로 분류했는지 평가
	Hallucination	대화에 등장하지 않은 키워드가 포함되었는지 평가
	Coverage	핵심 주제가 누락되지 않고 포함되었는지 평가
Task Recommendation	Evidence Grounding	추천된 후속 태스크가 실제 대화 내용에 근거하는지 평가
	Date Normalization	“내일”, “다음 주”와 같은 상대 날짜 표현을 올바른 실제 날짜로 변환했는지 평가
	Deduplication	중복된 후속 태스크가 생성되지 않았는지 평가

표1. 평가 루브릭 예시