[AAAI-25] ImagePiece: Efficient ViT에서 토큰의 의미화를 위한 새로운 Content-Aware Re-Tokenization 기법

AAAI-25 학회에서는 다양한 인공지능 연구 분야에 걸쳐 활발한 논의가 이루어졌으며, 흥미로운 연구들이 소개되었습니다. 특히 올해는 대규모 언어 모델(Large Language Models, LLMs), 멀티모달 학습(Multimodal Learning), 그리고 복잡한 문제 해결을 위한 Reasoning이 주요 트렌드로 부각되었습니다. AI Alignment와 신뢰성(Reliability)에 대한 논의도 활발했으며, 대규모 모델이 현실 세계에서 보다 안전하고 공정하게 활용될 수 있는 방안 모색 등 다양한 접근법이 제시되었습니다. 또한, 멀티모달 데이터의 통합 처리와 대규모 모델 도입이 다양한 분야에 확산되면서, AI는 기존의 이미지나 자연어 처리 영역을 넘어 과학, 의료, 도시 분석, 금융 등 현실 세계의 복잡한 문제들에 이미 적용되고 있었음을 상기시켜줬습니다.

이처럼 대규모 모델의 활용이 점차 보편화됨에 따라, 계산 자원의 효율적인 사용과 추론 속도 개선에 대한 관심도 함께 증가하고 있었습니다. LLM을 포함한 다양한 모델에서 효율화는 더 이상 선택이 아닌 필수로 여겨졌고, 이를 위한 다양한 접근들이 발표됐습니다. 이러한 전반적인 흐름 속에서, 모델 내부 표현의 구조적 효율성을 높이기 위한 다양한 시도들도 함께 주목을 받았습니다. Vision Transformer의 토큰 표현을 보다 의미 있게 재구성하려는 연구들도 눈에 띄었습니다.

이 맥락에 맞춰 LG AI연구원은 AAAI-25에서 "ImagePiece: Content-Aware Re-Tokenization for Efficient Image Recognition^[6]" 연구를 발표했습니다. 이번 글에서는 해당 연구의 주요 아이디어와 개발 배경, 그리고 이를 통해 모색한 효율적 비전 모델 설계 방향 및 관련 연구를 소개합니다.

LG AI연구원의 “ImagePiece: Content-aware Re-tokenization for Efficient Image Recognition^[6]”

연구의 계기

LG AI연구원은 LG 계열사 내 공장에서의 효율화 및 생산성 향상을 위해 다양한 연구 과제를 진행해왔습니다. 연구 수행 과정에서 Transformer 구조 모델을 주로 활용했으며, 특히 이미지 데이터 처리를 위해 Vision Transformers (ViTs) 모델을 적용하였습니다. 그러나 ViTs는 구조적으로 Multi-Head Self-Attention (MHSA)에 의존하기 때문에 상당한 연산량(Computational Cost)이 발생하고, 이를 실제 산업 현장에 적용하기에는 여러 제약 사항이 존재했습니다.

특히 공장 환경에서 수집되는 이미지들은 특정 객체보다는 반복적인 배경이나 비정형적인 구조를 포함하는 경우가 많아, ViT의 Patch 단위 토큰화 과정에서 의미 없는 패치들을 다수 포함하는 문제가 발생했습니다. 이러한 구조적 한계는 효율화를 위한 기존 연구들(DynamicViT^[1], EViT^[2], ToMe^[3]) ― 예를 들어, 토큰을 단순히 제거하거나 유사한 토큰을 병합하는 방식 ― 에서도 충분히 해결되지 않았습니다. 의미 없는 토큰을 지나치게 빨리 제거할 경우 중요한 정보가 손실될 수 있고,, 반대로 섣불리 병합하면 의미 있는 표현이 희석되는 문제가 있었기 때문입니다. 따라서 효율화를 위해서는 토큰의 중요도를 정확히 판단한 뒤 축소하는 과정이 필수적인데, 기존 연구들은 이러한 중요도 판단에 한계가 있었습니다.

이미지 1. NLP의 WordPiece와 비교한 ImagePiece 파이프라인 개요^[6].
텍스트는 의미 있는 단위로 토큰화되지만, 이미지 패치로부터 생성된 토큰들은 종종(궁극적으로 중요한 영역일지라도) 의미가 없는채로 토큰화됨.

이에 착안하여, 우리는 NLP의 Subword Tokenization 방식에서 영감을 받아 의미 없는 시각 토큰들을 '의미 있는 단위'로 재구성(Retokenization)하는 방식을 고안하게 되었습니다. NLP에서는 대부분의 텍스트 토큰이 의미를 지니고 있습니다. 예를 들어, 이미지 1에서 “This is a Trolleybus on a City Street in Front of a Building.”라는 문장을 토큰화하면 [‘This’, ‘is’, ‘a’, ‘Trolley’, ‘##bus’, ‘on’, ‘a’, ‘City’, ‘Street’, ‘in’, ‘Front’, ‘of’, ‘a’, ‘Building’, ‘.’]와 같이 나뉘며, 각 토큰은 의미를 구성하는 최소 단위로 작용합니다. 반면 이미지의 경우, 단순히 16×16 크기의 패치로 나누어 토큰화하면 어떤 패치는 초기 단계에서 별다른 의미를 갖지 못하지만, 더 넓은 문맥에서 중요한 정보로 작용할 수 있습니다.

잠재적으로 중요한 패치들이 초기 단계에서 중요하지 않은 토큰으로 간주되어 제거되는 문제를 방지하기 위해, 우리는 ImagePiece라는 새로운 Re-Tokenization 기법을 제안했습니다. 이 기법은 의미 없는 것으로 판단되던 토큰들이 주변 정보와 결합해 의미를 갖추도록 유도함으로써, 중요한 토큰을 보존할 뿐만 아니라 전반적인 성능 향상도 이끌어냈습니다. 즉, ImagePiece의 재토큰화 과정은 이러한 비의미적 토큰들이 문맥적으로 의미를 가질 가능성이 있을 경우, 하나의 의미 있는 토큰으로 병합될 수 있도록 합니다. 이는 단순히 토큰 수를 줄이는 접근이 아니라, ViT에서의 '토큰의 의미'를 새롭게 정의하고 토크나이저 자체를 재구성하는 과정입니다. 이를 통해 모델의 표현력을 유지하면서도 연산량을 효과적으로 절감할 수 있다고 판단했습니다.

주요 연구 내용

ImagePiece의 핵심 아이디어는 텍스트처럼 ‘의미 단위’로 시각 토큰을 재토큰화하는 것입니다. 즉, NLP의 WordPiece 방식에서 착안하여, 유사한 비의미 토큰들을 병합해 의미 있는 덩어리로 구성한 뒤, 이를 다시 중요도 기반으로 평가하는 Re-Tokenization 전략을 제안합니다.

이미지 2. ImagePiece 개요도^[6]

1) 비의미 토큰들의 재토큰화(Re-Tokenizing Non-Semantic Tokens)

ImagePiece는 기존 ViT의 한계였던 '의미 없는 토큰이 많다'는 문제를 해결하기 위해, 이들을 NLP처럼 의미 있는 단위로 재구성(Re-Tokenization)하는 방식을 제안합니다. 핵심 아이디어는 다음 세 단계로 구성됩니다:

1. Step 1. 토큰 중요도 평가:
   클래스 토큰([CLS])과의 Attention Score를 기반으로 각 토큰의 중요도를 계산합니다.

2. Step 2. 의미 없는 토큰 병합:
   중요도가 낮은 하위 k개의 토큰을 두 그룹(A, B)으로 나누고, 각 그룹 A의 토큰을 그룹 B 내 가장 유사한 토큰과 병합합니다. 이때 이중 선택적 소프트 매칭(Bipartite Soft Matching) 기법이 사용됩니다.

3. Step 3. 의미 재평가:
   병합한 토큰과 기존 중요 토큰, 병합하지 않은 나머지 토큰 모두를 포함해 Attention Score를 다시 평가합니다. 이를 통해 새롭게 의미를 가진 토큰은 유지하고, 여전히 의미 없는 토큰은 제거합니다.

 

참고로, ViT는 전체 레이어를 거치며 토큰 간 문맥 형성 후 의미가 생성되지만, Efficient ViT에서는 초반부터 토큰을 제거(or 병합)해야 하기 때문에, 의미가 생기기도 전에 중요한 토큰이 사라질 수 있습니다. 따라서 ImagePiece는 초기 단계에서 의미 없는 토큰을 재구성하여, 정보 손실을 최소화하는 데 효과적입니다.

2) 로컬 유도 편향(Local Coherence Bias)

ImagePiece에서는 의미 없는 토큰들의 병합이 더 효과적으로 이루어지도록 하기 위해, 공간적으로 가까운 패치들은 시각적으로 유사할 가능성이 높다는 점에 착안하였습니다. 물론 모든 인접 패치가 유사하지는 않지만, 대부분의 경우 공간적으로 인접한 비의미 토큰들이 함께 의미를 가질 수 있는 후보이기 때문에, 이러한 토큰 쌍이 더 잘 병합되도록 유도하는 것이 중요합니다. 이를 위해 겹치는 컨볼루션(Overlapping Convolution) 기반의 Local Coherence Bias 모듈을 도입하여, 위치적으로 가까운 토큰 간의 Feature 유사도를 강화합니다. 그 결과, 실제 시각 장면 내에서 비의미 토큰들이 좀 더 자연스럽고 의미 있게 병합될 수 있도록 도와줍니다.

3) 다양한 토큰 제거 기법과의 호환성(Compatibility with Token Reduction Methods)

이미지 2에서는 Retokenization과 토큰 중요도 재평가 과정을 거친 뒤, 중요도가 낮은 토큰들이 제거되는 모습을 확인할 수 있습니다. 이 과정에서 기존의 다양한 토큰 제거 기법들을 적용할 수 있으며, ImagePiece는 이러한 기법들과 결합할 때도 높은 호환성을 보이며 전반적인 성능을 크게 향상시켰습니다.

4) 결과

이미지 3. 다양한 토큰 프루닝 방식과의 성능비교^[6]

이미지 4. 다양한 토큰 병합 방식과의 성능비교 표^[6]

이미지 5. 다양한 토큰 제거 기법과의 호환성 비교^[6]

이미지 6. Retokenization 후 Token 중요도 변화 실험 결과^[6]

이미지 3과 이미지 4에서는 ImagePiece가 이미지 분류 테스크(ImageNet-1K 데이터셋)에서 기존 토큰 제거 기법들보다 더 높은 정확도를 달성했음을 확인할 수 있습니다. 특히, 기존의 경량화 기법들과 비교해 우수할 뿐 아니라, 경량화하지 않은 원본 DeiT-Ti 및 DeiT-S 모델보다도 더 높은 성능을 보여주며, ImagePiece의 Retokenization 전략이 실질적인 성능 향상에 기여함을 입증하였습니다.

이미지 5에서는 기존 토큰 제거 기법들과의 호환성을 실험하였고, ImagePiece를 적용할 경우 평균 0.79%의 정확도 향상이 나타났습니다. 이는 ImagePiece가 다른 Token Pruning/Merging 기반의 방법들과도 높은 시너지를 낼 수 있음을 보여줍니다.

이미지 6에서는 Retokenization 전략 효과를 보다 정량적으로 분석했습니다. 초기에는 중요하지 않다고(Inattentive) 평가되었던 토큰 중, Retokenization 이후 의미 있는 덩어리로 재구성되어 중요한(Attentive) 토큰으로 재평가된 비율을 계층별로 측정했습니다. 특히 6번째 레이어에서는 58.77%에 달하는 토큰이 중요 토큰으로 전환되는 결과를 확인할 수 있었습니다. 이는 ImagePiece가 초기에는 간과되기 쉬운 비의미 토큰 속에서도 의미 있는 정보를 효과적으로 발굴해낸다는 점을 뒷받침합니다.

결론적으로, ImagePiece는 비의미적 토큰들을 의미 있는 단위로 재구성하는 전략을 통해, Vision Transformer의 효율성을 향상시키는 효과적인 방법이라는 점을 입증했습니다. 또한 기존의 단순한 토큰 제거 방식에 비해 정보 손실을 줄이면서도 성능을 개선할 수 있음을 확인했습니다.

AAAI-25에서 주목할 만한 Vision-Language Model(VLM) 관련 연구

멀티모달 모델 분야에서도 효율화에 대한 연구가 활발히 진행되고 있으며, 특히 Vision-Language Model(VLM)에서는 추론 속도 향상뿐 아니라 시각 정보와 텍스트 정보 간의 연결성에 주목하는 흐름이 형성되고 있습니다. 즉, 멀티모달 모델에서는 시각 토큰과 텍스트 토큰 간의 관계를 활용해 모델의 추론 능력 향상과 효율적인 연산을 동시에 달성하려는 시도가 이어지고 있습니다. 최근에는 실제 테스크 수행에 필수적인 시각 정보를 텍스트 정보를 기반으로 선택하거나 복원하는 방식이 제안되었고, 복합적인 개체 관계를 이해하고 정확한 시각적 근거에 기반한 Reasoning을 가능하게 하는 방향으로도 연구가 확장되고 있습니다. 이러한 흐름 속에서, 시각 정보와 텍스트 정보 간의 정밀한 연결을 통해 모델링 효율성과 정합성을 동시에 추구하는 두 편의 연구를 소개하고자 합니다.

1) Recoverable Compression: A Multimodal Vision Token Recovery Mechanism Guided by Text Information^[4]

이미지 7. 동일한 이미지에서 질문에 따라 달라지는 주요 영역^[4]

이 연구에서는, 멀티모달 비전-언어 모델(MM-LLM)에서 과도한 시각 토큰 제거로 인해 중요한 정보가 손실되는 문제를 해결하기 위해, 텍스트 정보를 활용한 시각 토큰 복원 메커니즘을 제안합니다.

기존의 비전 토큰 압축 방식은 대부분 시각 정보만을 기준으로 중요도를 평가하고 토큰을 제거합니다. 하지만 실제 멀티모달 테스크에서는 질문 등의 텍스트가 어떤 시각 정보가 중요한지를 결정하는 단서가 될 수 있습니다. 예를 들어, 같은 이미지라도 질문에 따라 주목해야 할 영역이 달라지기 때문입니다. 이미지 7을 보면, 같은 이미지에서도 질문 텍스트에 따라 주목해야 하는 위치가 달라져야 함을 보여주고 있습니다. 또한 테스크 차원에서도 해당 질문에 대해서만 해결하면 되기 때문에 주요 영역 외 나머지 이미지 영역(나머지 시각 토큰)은 필요 없어 모델 효율화를 달성할 수 있습니다.

이 논문은 앞서 언급한 문제를 해결하기 위해 텍스트와 시각 토큰 간의 의미적 유사도를 계산하여, 텍스트와 관련 있는 시각 토큰은 복원하고(Text Information Recycling), 중요도가 낮은 나머지 토큰은 병합하는 방식(Secondary Recovery)을 사용합니다. 이 과정은 사전 학습 없이도 적용 가능하며, LLaVA-1.5 기반 실험에서 10% 수준으로 토큰 수를 줄이면서도 성능 저하 없이 추론 속도를 크게 개선하는 결과를 보였습니다.

이미지 8. Multimodal vision token recovery mechanism guided by text information framework^[4]

2) Progressive Multi-granular Alignments for Grounded Reasoning in Large Vision-Language Models^[5]

이미지 9. 기존 LVLM과의 비교^[5]:
(a) 전체 이미지/영역과 텍스트만 대응, 세부 객체 부족,
(b) 간단한 문구와 박스 중심, 관계 맥락은 부족,
(c) 단순 개념을 단서로 삼아 복잡한 개념을 이해하는 계층적 다중 정밀도 연관 방식 사용

PromViL은 기존 멀티모달 모델들이 복잡한 개념이나 다중 객체 간의 관계를 다룰 때 겪는 한계극복을 위해 고안한 프레임워크로, 문장 속 개념을 단계적으로 분해하고, 각 단계에 맞춰 시각 정보를 점진적으로 정렬(Grounding)하며 추론을 수행하는 방식입니다.

핵심 아이디어는 복합 개념을 단계별로 파싱하는 것입니다. 기존 LVLM(Large Vision-Language Model)들은 하나의 긴 문장과 전체 이미지를 한 번에 처리하는 방식이 대부분이었으며, 이로 인해 "The Woman with a Blue Hat"과 같은 문장에서 "a Blue Hat"이 어디에 해당하는지, "The Woman"이 어떤 관계로 연결되는지를 명확히 다루지 못했습니다. PromViL은 이러한 문장을 복잡도 순서대로 분해합니다.

1. Level 1: “a Blue Hat”

2. Level 2: “The Woman with a Blue Hat”

3. Level 3: “The Shirt of the Woman with a Blue Hat”

 

이렇게 단순한 표현부터 복합 표현까지 계층적으로 나눈 뒤, 각 레벨마다 모델이 먼저 간단한 Grounding을 수행하고, 이전 단계에서 얻은 시각 정보를 다음 단계 Grounding의 단서로 사용하는 방식입니다. 이 과정을 통해 모델은 점점 더 복잡한 표현을 안정적으로 이해할 수 있게 됩니다.

모델 구조 및 학습 방식은 다음과 같습니다.

1. 데이터 구성: Visual Genome을 기반으로 하여 다양한 복합 표현을 갖춘 새로운 CompoVL 데이터셋을 생성하였습니다. 각 문장은 중첩된 표현으로 분해되어, 모델이 다양한 난이도의 시각-언어 정렬을 학습할 수 있도록 구성합니다.

2. 학습 목표: 각 복잡도 수준(Level-i)의 표현 Ei에 대해, 모델은 대응되는 시각적 위치 Yi를 예측합니다. 이때, 이전 단계에서 얻은 <Ei-1, Yi-1> 정보를 함께 입력받아 더욱 정확한 Grounding을 가능하게 합니다.

3. 학습 방법: 언어 모델의 표준적인 Next-Token Prediction 방식에 Grounding Supervision을 결합한 형태로 학습합니다. 전체 구조는 Progressive Decoding 알고리즘을 따라, 간단한 표현부터 점점 복잡한 표현으로 진행되며 추론 경로를 만듭니다.

 

PromViL은 MiniGPTv2, Kosmos-2 등의 기존 LVLM들과 비교하여, 특히 복합적인 표현을 다룰 때 강력한 성능을 보였고, 이는 단순한 정렬이 아닌, ‘생각의 흐름’을 반영한 추론 설계가 실제로 효과적이라는 점을 입증합니다.

LG AI연구원의 향후 계획

LG AI연구원은 이번에 발표한 ImagePiece를 기반으로, Vision Transformer의 구조적 한계를 극복하고 시각 토크나이저의 새로운 가능성을 열어가고자 합니다. ImagePiece는 NLP의 WordPiece에서 영감을 받아, 의미 없는 시각 패치들을 재구성하여 의미 있는 단위로 만들 수 있도록 설계된 Content-Aware Re-Tokenization 기법입니다. 이는 단순히 연산량을 줄이기 위한 효율화 기법에 머무르지 않고, 시각 정보의 표현력까지 함께 향상시키는 전략으로 작동하며, ViT 기반의 다양한 모델들에 보편적으로 적용 가능한 확장성을 갖추고 있습니다.

향후에는 이러한 Re-Tokenization 접근을 기반으로, 멀티모달 학습 및 복잡한 시각-언어 추론에서도 그 가능성을 넓혀갈 예정입니다. 실제로, 멀티모달 환경에서는 시각 정보의 구조적 제약을 극복하는 것이 모델의 이해 능력에 직접적인 영향을 미치며, ImagePiece의 방식은 시각-텍스트 연결의 기반이 되는 의미 단위 정렬(Token Grounding)에도 긍정적인 역할을 할 수 있습니다.

또한, 토크나이저 차원에서의 개선은 향후 범용 학습 프레임워크 및 멀티모달 파운데이션 모델 개발의 중요한 출발점이 될 수 있습니다. 이미지라는 Modality가 가진 고유의 구조에 적합한 표현 단위(Tokenization)를 정의함으로써, 다양한 도메인과 태스크에 걸쳐 더욱 강건하고 유연한 학습을 가능하게 합니다. 나아가, Few-Shot Learning, Domain Adaptation, 그리고 Reasoning 등 다양한 시나리오에서도 효율성과 표현력의 균형을 유지할 수 있는 핵심 구성 요소로 작용할 것으로 기대됩니다.

LG AI연구원은 앞으로도 산업 현장에서 실질적인 가치를 창출할 수 있는 시각 AI 기술의 핵심 구성요소 개발을 이어가며, 효율성과 표현력, 그리고 범용성을 아우를 수 있는 차세대 모델링 기법을 선도해 나가고자 합니다.

AAAI-25 시리즈

EP.1 [AAAI-25] 3차원 좌표를 활용한 Denoising Distillation 모델 연구
EP.2 [AAAI-25] Tabular 데이터 예측 성능 향상을 위한 Truncated SVD 기반 Representation space에서의 새로운 증강기법
EP.3 [AAAI-25] 변수 중복성을 완화하는 효율적인 시계열 예측 모델 학습 전략 연구