라벨링부터 배포까지: VLM과 Agentic AI 기반 자율 비전 검사

스마트 팩토리의 고도화와 함께 딥러닝 기반 비전 검사 시스템은 제조 현장의 필수 설루션으로 자리 잡았습니다. 하지만 시스템이 현장에 안착한 이후에도 엔지니어들이 끊임없이 직면하는 구조적 한계가 있습니다. 바로 모델의 재학습과 재배포 과정에 수반되는 수작업 소요와 운영 부담입니다.

생산 라인의 공정 변동, 조명 변화, 신규 불량 유형 출현 등으로 콘셉트 드리프트(Concept Drift)가 발생할 때마다 기존 검사 모델의 신뢰도는 흔들립니다^[1]. 이를 보완하기 위해 그동안 Human-in-the-Loop(HITL) 구조를 도입해, 모델이 판별을 어려워하는 ‘불확실성 데이터(Uncertainty Samples)’를 알고리즘으로 능동적으로 추출해 왔습니다^[2]. 그러나 실질적인 병목은 그다음 단계에서 발생합니다.

추출된 불확실성 데이터의 시각적 맥락을 해석하고 정확한 라벨을 다시 부여한 뒤, 이를 학습 파이프라인에 투입해 배포하는 일련의 과정은 여전히 숙련된 엔지니어의 경험과 직관에 의존하고 있습니다. 수만 장의 이미지 가운데 경계 사례(Edge Case)를 사람이 일일이 골라내 라벨링하는 작업은 막대한 시간과 비용을 소모할 뿐만 아니라, 작업자의 주관에 따라 라벨링 일관성이 떨어지는 한계도 있습니다^[3]. 결국 데이터 정제부터 재학습, 배포로 이어지는 운영 체계 전반에서 사람의 개입이 병목(Bottleneck)으로 작용하고 있는 셈입니다.

이러한 한계를 극복하기 위해 제조 현장은 이제 단순한 스크립트 기반 자동화를 넘어, ‘자율적 판단과 실행 능력을 갖춘 에이전트 시스템’으로의 전환을 요구하고 있습니다^[4].

본 글에서는 시각적 맥락을 고차원적으로 추론하는 Vision-Language Model(VLM)을 통해 불확실성 데이터의 정제 및 라벨링을 인간의 직관 수준으로 대체하고^[5], Agentic AI 기술을 기반으로 도구 연계(Tool Orchestration)를 구현함으로써 사람의 개입을 원칙적으로 배제(Zero-Human Intervention)한 자율형 비전 검사 프레임워크의 구조와 그 가능성을 제시하고자 합니다.

그림 1. 불확실상 추출부터 자율 배포까지: Zero-Human 비전 검사 프레임워크

그림 1은 본 프레임워크의 전체 동작 흐름을 나타냅니다. 제조 비전 검사 현장에서 자율 운영 체계를 구축하려는 시도는 계속됐지만, 기존의 파이프라인 구조(As-Is)는 근본적인 한계를 안고 있었습니다. 공정 라인 운용 중 모호하거나 미 분류된 데이터가 발생하면, 이를 선별하고 정확한 정답(Ground Truth)을 부여하는 과정이 전적으로 작업자의 수동 판단에 의존해 왔기 때문입니다. 불확실한 데이터 선별부터 데이터베이스 정제, 모델 재학습, 시뮬레이션 검증, 그리고 현장에 재배포에 이르는 모든 과정은 심각한 인적 병목 현상을 야기했고, 이는 자율 운영 체계의 핵심인 ‘신속한 재배포’를 막는 결정적 요인이었습니다.

본 연구에서 제안하는 LLM Agent 기반 자율 운영 프레임워크는 이러한 구조적 한계를 근본적으로 해소합니다. 그림 2에서 제시한 LLM 기반 AI Agent가 전체 업무 흐름을 총괄 지휘하며, 사람의 손길 없이 데이터 준비부터 모델 배포까지의 모든 과정을 자율적으로 연결·운영하는 100% 자율 운영 환경을 구현했습니다.

본 프레임워크는 기본적으로 스스로 구동되지만, 상황에 따라 엔지니어가 자연어로 지시를 내려 함께 작업할 수 있는 선택적 대화형 보조 모드를 함께 제공합니다.

그림 2. LLM Agent 개념도

본 에이전트 프레임워크는 크게 네 가지 핵심 자율 메커니즘으로 작동합니다.

첫째, 불확실성 추정 및 자동 샘플링(Test-time Uncertainty Estimation) 단계입니다. 현장 검사 모델이 추론을 수행하면서 OK와 NG의 경계선상에서 모호함을 느끼는 ‘불확실성 데이터(Uncertainty Samples)’를 실시간으로 선별해 자동으로 라벨링 대상 DB로 이관합니다.

둘째, VLM 기반 멀티모달 자동 라벨링(VLM-based Data Labeling)입니다. 수집된 불확실성 데이터와 제품/검사 정보 프롬프트를 입력 받은 VLM(Vision-Language Model)이 그리드(Grid) 영역 단위로 정상 레퍼런스 이미지와 대조하여 스스로 비교 추론을 진행합니다. 시각적 맥락 분석을 통해 결함의 위치와 종류를 인간의 직관 수준으로 정교하게 자동 라벨링하며, 이와 동시에 검사 추론 보고서까지 자율적으로 생성해냅니다.

셋째, 노이즈 강건 학습 정책(Learning with Noisy Labels)의 적용입니다. VLM이 생성한 의사 라벨(Pseudo-Label)에 존재할 수 있는 미세한 오류 가능성에 대비하고자, 시각적 특징 임베딩(Visual Feature Embedding)의 유사도 기반 학습 정책을 적용합니다. 이를 통해 수집된 데이터의 라벨 노이즈에 영향을 받지 않고 안정적으로 모델을 재학습합니다.

마지막으로, Agentic AI 기반 자율 Orchestration 및 피드백 루프 기반 배포입니다. AI Agent가 불확실성 데이터 추출, VLM 자동 라벨링, 학습 데이터 저장, 재학습 파이프라인 호출, 시뮬레이션 검증, 그리고 현장 장비로의 최종 모델 배포에 이르는 전 과정을 주도적으로 판단하고 실행합니다.

결과적으로 이 아키텍처는 정상 운영 시 사람의 수동 라벨링과 운영 개입 없이, 현장의 불확실성 데이터를 스스로 수집하고 재학습하는 '자가 진화형 데이터 선순환 체계(자율 피드백 루프)'를 현실화했다는 점에서 기술적 · 운영적 의의가 큽니다.

1. 불확실성 추정 및 자동 샘플링 (Test-time Uncertainty Estimation)

자율 운영 체계 선순환 구조의 출발점은 현장 검사 모델이 어떤 데이터를 '모호하게 판단하는지' 정교하게 선별해 내는 데 있습니다. 기존 시스템은 단순히 확률 값이 낮은 샘플을 수집하는 수준에 그쳤으나, 이는 센서 노이즈나 이미지 손상 등으로 인한 본질적 데이터 무작위성까지 학습 대상으로 수집하는 한계가 있었습니다. 이를 극복하기 위해 본 프레임워크에서는 Monte Carlo Dropout(MC Dropout) 기술을 기반으로, 그림 3과 같이 불확실성을 수학적으로 분해하여 추출합니다^[6].

그림 3. MC Dropout 기반 불확실성 분해

추론 시 드롭아웃(Dropout)을 활성화하여 동일한 입력 이미지에 대해 여러 번의 순전파(Forward Pass)를 수행하면, 검사 판정 모델은 약간씩 다른 예측 확률 분포(예: [0.9, 0.1], [0.8, 0.2] 등)를 출력합니다. 이 데이터로부터 두 가지 형태의 엔트로피를 산출합니다^[7].

첫째, ‘평균의 엔트로피’를 통해 모델의 지식 부족(Epistemic)과 데이터 자체의 모호성(Aleatoric)이 합쳐진 전체 불확실성(Total Uncertainty)을 측정합니다.

둘째, ‘엔트로피의 평균’을 계산하여 이미지의 조명 반사나 노이즈 등 데이터 고유의 모호성(Aleatoric Uncertainty)만을 별도로 정량화 합니다.

최종적으로 ‘평균의 엔트로피’에서 ‘엔트로피의 평균’을 차감하는 정보 이득(Mutual Information) 계산을 거치면, 데이터 고유의 모호성은 상쇄되고 오직 ‘모델의 지식 부족에 의한 순수한 불확실성(Epistemic Uncertainty)’만을 보다 정밀하게 분리해 낼 수 있습니다^[8].

이러한 정밀한 불확실성 샘플링 메커니즘을 적용한 결과, 동일한 라벨링 예산 조건에서 단순 랜덤 샘플링 방식(88.29%) 대비 정확도가 93.13%로 +4.84% 대폭 향상되는 성과를 확인했습니다. 이는 불확실성 샘플만을 집중적으로 수집하여 학습 효율을 극대화하고, 최소한의 데이터 업데이트만으로도 모델의 예측 성능을 가파르게 끌어올릴 수 있음을 보여줍니다.

2. VLM 기반 멀티모달 자동 라벨링 (VLM-based Data Labeling)

앞선 단계에서 정밀하게 선별된 불확실성 데이터는 작업자 대신 Vision-Language Model(VLM)을 거쳐 자동으로 정답(Ground Truth) 라벨을 부여받습니다. 기존 자동 라벨링 시스템이 단순 경계 상자(Bounding Box)나 픽셀 마스크 수준의 수치적 출력에 그쳤다면, VLM 기반 자동 라벨링은 숙련된 검사 작업자처럼 제품 외관을 관찰하고 결함 원인을 논리적으로 추론하여 전달한다는 점에서 차별화됩니다. VLM은 정상 레퍼런스 이미지와 불량 이미지의 시각적 차이점(Contextual Difference)을 입체적으로 분석한 후, 결함 영역의 위치 좌표뿐만 아니라 결함 발생 원인 및 상태에 대한 자연어 설명을 동시에 생성하여 엔지니어의 맥락 이해도를 획기적으로 높여줍니다^[9].

이처럼 단순 시각 데이터 입출력을 넘어 '원인 추론 기반의 자동 라벨링'을 실현하기 위해, 프레임워크 내 VLM은 다음과 같이 단계별 학습 파이프라인을 거쳐 도메인 전문성을을 체득합니다.

• Stage 0: 베이스 모델 학습 (Base Model Training)

Real-IAD와 같은 산업용 공개 데이터셋을 활용하여 비전 검사 태스크의 기초 인지 역량을 확보합니다^[10]. 이미지 패치를 격자(Grid) 단위로 분할 분석하여 결함 영역 패치 위치를 식별하고, 정상 제품과의 가시적 차이에 대한 간결한 비교 논리를 정형화된 포맷으로 출력하는 기초 능력을 학습합니다.

• Stage 1: 대상 도메인 특화 미세조정 (Domain-Specific Fine-Tuning)

실제 제조 현장의 검사 데이터와 도메인 지식(Domain Knowledge)을 주입하여 미세조정을 수행합니다. 현장에서 수집한 [OK] 및 [NG] 샘플의 미세한 차이를 비교 분석하는 자연어 설명 기반의 정답과 정교한 결함 영역을 쌍(Pair)으로 구성한 프롬프트 라벨을 학습시켜, 현장 도메인 특화 비전 검사의 정밀도를 높입니다^[11].

• Stage 2: 추론 강화 학습 (Reasoning Reinforcement Learning)

검사 판정의 논리적 일관성과 신뢰도를 더욱 공고히하기 위해 GRPO(Group Relative Policy Optimization) 알고리즘 기반의 강화학습을 적용하고, 이를 위한 보상 모델(Reward Model)을 설계합니다^[12]. "최종 답변 도출까지 일관된 추론 과정을 거쳤는가?"와 "정답 위치 및 결함 이유(GT)를 정교하게 예측했는가?" 등을 평가 기준으로 보상을 정의함으로써, VLM이 복잡한 경계 사례에서도 흔들리지 않는 명확한 라벨링 판단 근거를 제시하도록 학습합니다.

이와 같은 3단계 학습을 완수한 VLM은 수동 라벨링에 투입되는 공수를 크게 단축할 뿐만 아니라, 작업자의 주관에 따른 라벨링 변동성을 차단하여 정밀하고 일관된 고품질 데이터베이스를 자율적으로 축적합니다(그림 4).

그림 4. VLM 단계별 학습 파이프라인 (Stage 0-2)

3. 노이즈 강건 학습 정책 (Learning with Noisy Labels)

VLM 기반 자동 라벨링의 도입으로 라벨링 생산성과 맥락 추론 능력은 비약적으로 향상하지만, 극단적인 경계 사례나 광학적 한계 상황에서는 의사 라벨(Pseudo-Label)에 미세한 노이즈(Noisy Label)가 포함될 가능성이 존재합니다. 잘못 부여된 라벨을 그대로 재학습에 사용할 경우, 모델이 자신의 오류를 강화하는 확증 편향(Confirmation Bias)에 빠져 심각한 성능 저하가 야기됩니다^[13]. 이를 방지하기 위해 본 프레임워크는 시각적 특징 임베딩 공간(Visual Feature Embedding Space)에서의 유사도 분석을 기반으로 한 노이즈 강건 학습 정책(Learning with Noisy Labels)을 적용합니다.

핵심은 이미지 고유의 '시각적 특징(Visual Feature)' 분포상에서 구조적 일관성을 검증하는 것입니다.

• 임베딩 공간상의 유사도 판별 (Embedding Space & Pair Similarity)

입력 이미지가 인코더(Encoder)를 통과하면 시각적 특징 임베딩으로 변환됩니다. 임베딩 공간상에서 인접한 샘플과의 거리를 측정(Vote by referring to the closest sample)한 뒤, 시각적 특징은 주변 샘플과 거의 동일함에도 불구하고 이들과 다른 라벨이 부여된 샘플을 Noisy Label 샘플로 명확히 식별해 냅니다. 예를 들어 정상(OK)으로 라벨링된 주변 클린(Clean) 샘플군과 특징이 거의 같은데도 불량(NG)으로 잘못 판단된 경우가 여기에 해당합니다^[14].

• 샘플 그룹별 차등 학습 정책 (Group-wise Training Policy)

식별된 데이터 그룹에 따라 최적화된 학습 정책을 다르게 적용함으로써 라벨 노이즈에 대한 면역력을 확보합니다.

Clean Set: 신뢰도가 높은 샘플이므로 기존 방식대로 Standard Cross-Entropy Loss를 적용하여 정밀하게 학습합니다.
Noisy Set: 라벨 오류 가능성을 상쇄하기 위해 Clean 샘플과 Noisy 샘플을 일정 비율로 합성하는 Mix-up 기법 및 Weighted Cross-Entropy Loss를 적용합니다. 시각적 특징과 라벨을 선형적으로 섞어 정규화(Regularization)함으로써, 모델이 잘못된 라벨을 무작위로 외우는 과적합(Overfitting)을 효과적으로 방지합니다^[15].

이와 같이 자동 수집·라벨링된 불량 데이터에 일부 오라벨이 섞여 있더라도 재학습 과정에서의 성능 저하를 효과적으로 억제합니다.

4. Agentic AI 기반 자율 Orchestration 및 피드백 루프 기반 배포 (Autonomous Orchestration & Deployment)

단순 조건문 기반의 자동화 스크립트는 경계 사례 발생 시, 전체 파이프라인이 정지되거나 엔지니어의 수동 개입을 유도하는 한계를 가집니다. 본 프레임워크의 핵심인 LLM 기반 AI Agent는 자율적 판단(Reasoning), 계획(Planning), 도구 호출(Tool Calling), 그리고 실행 결과에 대한 평가(Reflection) 능력을 바탕으로 자율 운영 체계 전반을 관장하는 제어탑 역할을 수행합니다.^[16]

• 에이전트 기반 자율 Orchestration 및 대화형 인간 협업 (Agent-based Orchestration & Human Co-piloting)

AI Agent는 자율 운영 체계의 각 단계를 개별 실행 도구로 정의하여 유기적으로 관리합니다. 불확실성 데이터 추출부, VLM 기반 자동 라벨링, 노이즈 강건 학습 파이프라인을 통한 GPU 클러스터 학습 개시, 그리고 완성된 모델의 시뮬레이션 성능 검증에 이르기까지 에이전트가 상황을 실시간 모니터링하며 자율적으로 연계를 통제합니다^[4]. 만약 학습 단계에서 수렴(Convergence) 실패나 성능 미달과 같은 예외 상황이 감지되면, 에이전트 스스로 하이퍼파라미터를 조정하거나 데이터 비율을 재조정하는 자율적 계획 수정(Replanning)을 수행합니다^[17].

특히, 본 에이전트 프레임워크는 완전 자율 모드뿐만 아니라 자연어 대화를 통한 사람과의 의사소통 인터페이스를 지원합니다. 엔지니어는 대화형 인터페이스를 통해 에이전트에게 특정 불량 유형의 우선순위를 변경하도록 지시하거나, 라벨링 기준 및 재학습 임계값을 실시간으로 조정할 수 있습니다. 에이전트는 사용자의 의도를 정확히 파악하여 워크플로우에 즉각 반영함으로써, 사람의 개입을 최소화하면서도 필요시 엔지니어의 고차원적 직관과 의도를 정교하게 반영할 수 있는 대화형 조종(Co-piloting) 환경을 제공합니다.

• 피드백 루프 기반 자율 배포 및 무중단 적용 (Feedback-loop-based Autonomous Deployment)

재학습이 완료된 신규 모델이 기존 운영 모델 대비 우수한 성능을 입증하면, AI 에이전트는 자율적으로 배포까지 수행할 수 있는 구조이나, 배포 결과에 대한 검증을 위해 작업자의 최종 승인을 거쳐 현장 검사 장비에 최신 모델을 배포(Continuous Deployment)하도록 설계했습니다. 배포 이후에도 실제 라인에서 발생하는 추론 결과와 불확실성 지표를 지속적으로 모니터링하여, 다시 불확실성 데이터 수집 단계로 연결되는 자가 진화형 데이터 선순환 구조를 완성합니다^[18]. 만일 배포 이후 성능 지표가 사전 정의된 기준치에 미달할 경우, 에이전트는 직전 운영 모델로 자동 롤백하고 전 과정을 감사 로그로 기록합니다.

이처럼 Agentic AI 기반 자율 운영 체계는 제조 현장의 불확실성에 대응하는 리드 타임(Lead Time)을 단축하며, 유지보수 공수를 대폭 절감합니다.

맺음말

스마트 팩토리의 비전 검사는 단순한 '결함 판별'의 영역을 넘어, 현장에서 생성되는 데이터를 얼마나 효율적으로 정제하고 모델에 반영하느냐의 '데이터 자율 운영' 패러다임으로 진화하고 있습니다. 그러나 역설적이게도 기존 운영 체계의 핵심 단계마다 요구되는 인적 개입과 숙련된 엔지니어의 수동 라벨링 판단은 시스템 고도화의 가장 큰 병목이었습니다.

본 글에서 소개한 프레임워크는 이러한 구조적 한계를 극복하기 위해 VLM과 Agentic AI 기술을 상호 보완적으로 결합했습니다. Monte Carlo Dropout 기법을 활용한 정밀한 불확실성 데이터 선별부터, VLM의 시각-언어 연계 맥락 추론을 통한 자동 라벨링, 그리고 라벨 노이즈에 강건한 차등 학습 정책까지, 기존 사람의 감각에 의존하던 영역을 AI의 자율 영역으로 전환시켰습니다.

나아가 모듈화된 도구를 유기적으로 엮어내는 Agentic AI 기반의 Tool Orchestration은 무인(Zero-Human) 모델 재학습 및 Continuous Deployment 체계를 완성했습니다. 이는 필요시 엔지니어가 자연어로 소통하며 시스템의 방향성을 제어할 수 있는 대화형 조종(Co-piloting) 환경까지 선사함으로써 현장 적용성을 극대화했습니다.

불확실성을 스스로 진단하고, 원인을 추론하여, 스스로 진화하는 '자가 진화형 자율 비전 검사 프레임워크'는 제조 품질 관리의 새로운 이정표가 될 것입니다. 인적 개입을 최소화하고 AI에 자율적 판단 능력을 부여하는 이러한 패러다임 전환은, 향후 제조업 전반의 자율 운영 체계 구축을 근본적으로 혁신할 핵심 동력이 될 것입니다.

▶VLM과 Agentic AI 기반 자율 비전 검사 ‘EXAONE Omni-Inspect’ 데모

참고

[1] Gama, J., et al. (2014). "A survey on concept drift adaptation." ACM Computing Surveys (CSUR).

[2] Settles, B. (2009). "Active Learning Literature Survey." University of Wisconsin-Madison Computer Sciences Technical Report.

[3] Sambasivan, N., et al. (2021). "“Everyone wants to do the model work, not the data work”: Data Cascades in High-Stakes AI." ACM CHI.

[4] Wu, Q., et al. (2023). "AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation." arXiv preprint arXiv:2308.08155.

[5] Kim, J., et al. (2024). "VLM-PL: Advanced Pseudo Labeling Approach for Class Incremental Object Detection via Vision-Language Model." IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW).

[6] Gal, Y., & Ghahramani, Z. (2016). "Dropout as a bayesian approximation: Representing model uncertainty in deep learning." International Conference on Machine Learning (ICML).

[7] Kendall, A., & Gal, Y. (2017). "What uncertainties do we need in bayesian deep learning for computer vision?" Advances in Neural Information Processing Systems (NeurIPS).

[8] Houlsby, N., et al. (2011). "Bayesian active learning for classification and preference learning." arXiv preprint arXiv:1112.5745.

[9] Liu, H., et al. (2023). "Visual Instruction Tuning." Advances in Neural Information Processing Systems (NeurIPS).

[10] Wang, C., et al. (2024). "Real-IAD: A Real-World Multi-View Dataset for Benchmarking Versatile Industrial Anomaly Detection." IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).

[11] Ouyang, L., et al. (2022). "Training language models to follow instructions with human feedback." Advances in Neural Information Processing Systems (NeurIPS).

[12] Shao, Z., et al. (2024). "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models." arXiv preprint arXiv:2402.03300.

[13] Song, H., et al. (2022). "Learning from noisy labels with deep neural networks: A survey." IEEE Transactions on Neural Networks and Learning Systems (TNNLS).

[14] Han, B., et al. (2018). "Co-teaching: Robust training of deep neural networks with extremely noisy labels." Advances in Neural Information Processing Systems (NeurIPS).

[15] Zhang, H., et al. (2018). "mixup: Beyond Empirical Risk Minimization." International Conference on Learning Representations (ICLR).

[16] Yao, S., et al. (2023). "ReAct: Synergizing Reasoning and Acting in Language Models." International Conference on Learning Representations (ICLR).

[17] Shinn, N., et al. (2023). "Reflexion: Language Agents with Verbal Reinforcement Learning." Advances in Neural Information Processing Systems (NeurIPS).

[18] Kreuzberger, D., et al. (2023). "Machine learning operations (mlops): Overview, definition, and architecture." IEEE Access.

목록보기