[AAAI-25] 변수 중복성을 완화하는 효율적인 시계열 예측 모델 학습 전략 연구

인공지능(AI) 분야의 최상위 학회 중 하나인 AAAI(AAAI Conference on Artificial Intelligence)가 지난 2월 25일부터 3월 4일까지 미국 필라델피아에 위치한 펜실베이니아 컨벤션 센터에서 개최되었습니다. 올해 AAAI-25에서는 50여편 이상의 시계열 관련 논문이 발표되었으며, 그 주제도 매우 다양했습니다. 텍스트 형태로 존재하는 다양한 도메인 지식을 활용하기 위해 LLM(Large Language Model)을 활용하여 예측 성능을 향상시키거나^{[2, 3]}, MLP, LSTM과 같은 전통적인 인공신경망들이 예측 분야에서 여전히 충분한 잠재력이 있다는 것을 시사하거나^{[4, 5]}, 시계열 예측 모델의 효율성 개선 관련 연구들이 소개되었습니다^{[1, 6]}.

시계열 데이터는 금융, 제조, 의료 등 다양한 산업 현장에서 활발히 처리되는 데이터 형식으로, LG AI연구원은 시계열 데이터의 예측을 통해 다양한 분야에서 전문가들의 의사결정 지원 연구를 수행하고 있습니다.

LG AI연구원 Data Intelligence (DI) Lab은 AAAI-25 Main Track에서 “VarDrop: Enhancing Training Efficiency by Reducing Variate Redundancy in Periodic Time Series Forecasting^[1]”이라는 논문을 발표하며, 다변량 시계열 예측 모델의 효율적 학습을 위한 새로운 접근법을 제시했습니다. 이 연구의 동기와 방법론을 소개하고, AAAI-25에서 공개된 시계열 예측 분야의 주목할 만한 연구도 함께 다뤄봅니다. 

 

LG AI연구원의 “VarDrop: Enhancing Training Efficiency by Reducing Variate Redundancy in Periodic Time Series Forecasting^[1]”

최근 시계열 예측 분야에서 제안하는 많은 Transformer 모델은 변수 토큰화(Variate Tokenization) 전략을 사용하고 있습니다. 변수 토큰화는 다변량 시계열 데이터의 각 변수를 개별 토큰으로 처리하는 방식으로, 변수의 의미와 수는 시계열 데이터를 처리하는 서비스 규모에 따라 결정합니다. 예를 들어, 전력을 소비하는 가구 또는 공정 내 센서 등이 다변량 시계열 데이터의 변수로 정의될 수 있습니다. 변수 토큰화는 관련 변수들을 Attention 연산을 통해 선택적으로 참조할 수 있는 장점이 있지만, 변수의 수에 따라 연산 비용이 이차적으로 증가하는 문제를 안고 있습니다. 아쉽게도 변수 토큰화 전략은 Permutation-invariant 하여 Big Bird^[7], Pyraformer^[8]와 같이 토큰의 위치 정보를 활용하는 기존의 효율적 학습 전략들을 적용할 수 없습니다. 이러한 이유로 대규모 서비스에 변수 토큰화 전략을 적용하려면 모델 학습에 요구되는 막대한 연산 비용을 감당해야만 합니다.

그렇다면 모든 변수가 학습에 필수적일까요? 데이터 내에 중복 패턴을 가진 변수들이 존재한다면, 일부를 학습에서 제외함으로써 연산 비용을 효과적으로 줄일 수 있을 것입니다. 실제 시계열 예측 문제에서 사용하는 대표 데이터셋 분석 결과, 대부분의 변수가 서로 유사한 주기적 패턴을 보였습니다. 이러한 높은 변수 중복성(Variate Redundancy)은 모델이 학습 과정에서 불필요하게 중복된 정보를 활용하고 있음을 의미합니다. 따라서 이를 제외한다면, 학습 과정에서 일어나는 정보 손실을 최소화하면서 고려해야 할 변수의 수를 상당 부분 줄일 수 있습니다.

이미지 1. Covariate Shift in Traffic Dataset^[1]

중복된 변수들을 정의하기 위해서는 유사 패턴을 가진 변수들을 먼저 그룹화하고, 각 그룹의 대표 변수들을 추출하면 됩니다. 하지만, 시계열 데이터의 특징인 Distribution Shift로 인해 변수간 유사성은 시간에 따라 달라집니다(이미지 1). 이러한 Covariate Shift는 유사 패턴을 갖은 변수 그룹들이 각 배치마다 다르게 정의해야 함을 의미합니다. 만약 유사한 변수 그룹을 정의하기 위해 전통적인 클러스터링 방법론을 활용한다면, 학습과정에서 그룹화를 위한 과도한 연산비용이 발생되어 학습 효율성을 크게 저해합니다. 따라서 기존의 클러스터링 알고리즘 보다는 더 효율적인 그룹화 전략이 필요합니다.

AAAI-25에서 발표한 VarDrop은 제가 입사 전 수행한 연구로, 시계열 데이터 내 중복 변수들을 배치마다 적응적으로 그룹화하고 대표 변수를 샘플링하여 학습에 선택적으로 활용하는 알고리즘입니다(이미지 2). VarDrop 알고리즘은 크게 두 단계로 나뉘어집니다. 우선, k-Dominant Frequency Hashing(k-DFH)은 시계열 데이터에 푸리에 변환을 적용한 뒤 Amplitude 값이 큰 상위 k개의 주파수를 해시값으로 활용하는 방법입니다. k-DFH는 전통적인 클러스터링 알고리즘과 달리 변수 간 유사도를 Pair-Wise로 계산하지 않아 비용 효율적인 방법입니다. 이후 Stratified Sampling을 통해 같은 해시값을 가진 변수들로부터 대표 변수들을 샘플링합니다. 마지막으로, 선택된 소수의 변수들을 토큰화하여 Transformer의 학습에 활용합니다. 이러한 토큰 감소 방법은 변수 토큰화의 Permutation-invariant한 특징으로 인해 가능합니다.

이미지 2. Overall Procedure of VarDrop^[1]

VarDrop은 k와 gs(Group Size)라는 두 개의 하이퍼파라미터를 갖고 있습니다. 먼저, k-DFH의 하이퍼파라미터인 k는 그룹의 해상도를 결정합니다. k값이 커질수록 그룹 내 유사도는 높아지지만 그룹의 개수가 많아져 비용절감 효과가 줄어들 수 있습니다. 반대로 k값이 적어질수록 그룹 내 유사도는 낮아지지만 그룹의 개수가 적어져 더 적은 토큰을 활용하는 이점이 있습니다. 또 다른 하이퍼파라미터인 gs는 그룹 내 샘플링되는 변수의 수를 결정합니다. 큰 gs값은 각 그룹마다 활용되는 변수의 수를 늘려 정보손실을 최소화할 수 있지만 활용되는 토큰의 수가 커져 비용절감 효과가 떨어집니다. 성능 보존과 비용절감 사이에는 Trade-Off가 존재하며, VarDrop의 하이퍼파라미터는 서비스의 요구사항에 따라 적절히 선택할 수 있습니다.

VarDrop의 두 하이퍼파라미터들에 대한 분석 결과, 토큰의 수를 줄이면서 더 높은 예측 성능 달성 경우가 존재함을 확인할 수 있었습니다. 이미지 3에 나타난 것처럼, k=4 및 gs=1일 때의 예측 오류와 토큰 감소 비율은 k=3 및 gs=5일 때보다 그 성능이 뛰어납니다. 이는 더 높은 토큰 감소 비율이 반드시 더 낮은 예측 성능으로 이어지는 게 아니라는 것을 나타내며, VarDrop이 단순히 랜덤 샘플링을 적용하는 것보다 더 효과적인 알고리즘임을 입증합니다.

이미지 3. Hyperparameter Sensitivity Analysis^[1]

VarDrop은 시계열 데이터 내 중복 변수들을 배치마다 적응적으로 그룹화하고 대표 변수를 샘플링하여 학습에 활용하는 알고리즘으로, 연산 시간과 메모리 사용량을 크게 절감하는데 기여할 수 있습니다. LG AI연구원은 VarDrop이 제조, 금융 등 다양한 산업 분야에서 시계열 예측 모델의 학습 효율성 향상 기여에 활용될 것으로 기대하고 있습니다.

시계열 예측 분야의 최신 연구 동향

1) TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting Via Cross-Modality Alignment^[2]

다음으로 AAAI-25에서 발표된 시계열 예측 분야의 최신 연구 동향을 소개합니다. 최근 LLM을 활용한 시계열 예측 분야에서는 시계열을 텍스트 형태로 변환해 활용하는 연구가 많이 소개되고 있습니다. Liu et al.의 “TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting Via Cross-Modality Alignment^[2]” 연구는 숫자와 텍스트라는 서로 다른 두 Modality를 Align하여 다변량 시계열 예측 성능을 크게 향상시켰습니다.

이미지 4. Overall framework of TimeCMA^[2]

TimeCMA는 시계열 데이터를 적절한 프롬프트 텍스트로 변환하여 예측에 활용하는 방법론입니다. 기존의 프롬프트 기반 방법론은 시계열과 텍스트라는 서로 다른 두 Modality를 융합(Fuse)하여 예측에 활용해왔습니다. TimeCMA의 저자는 텍스트 데이터 내에 많은 노이즈가 존재하므로 Disentangle 한 전략이 필요함을 강조합니다. 따라서, Disentangled Data Issue를 해결하기 위해 TimeCMA는 Retreival 방식의 Cross-modality Alignment를 제안하여 Disentangled하고 Robust한 시계열 임베딩을 획득했습니다. 또한, LLM의 마지막 토큰만을 저장 및 활용하여 모델의 추론 속도를 향상시켰습니다.

이미지 5. 시계열 데이터의 프롬프트 디자인에 따른 성능 비교^[2]

시계열을 텍스트로 표현할 때 다양한 프롬프트 디자인이 존재합니다. 본 연구는 다섯 가지 프롬프트 디자인에 따른 시계열 예측 성능의 비교 실험 결과를 보고합니다(이미지 5). 여러 프롬프트 디자인 중에서 마지막 값이 숫자로 끝나는 프롬프트 3, 4, 5번이 더 좋은 성능을 보였으며, 특히 시계열의 Trend를 명시적으로 표현한 프롬프트 5번이 가장 좋은 예측 성능을 달성했습니다. 이러한 결과는 프롬프트의 디자인 및 LLM의 종류에 따라 시계열 예측 성능이 개선될 수 있음을 나타내어, Prompt-based 방법론의 최적화가 정확한 예측을 위해 필수적임을 시사합니다.

2) Unlocking the Power of Patch: Patch-Based MLP for Long-Term Time Series Forecasting^[4]

이어서 또 다른 최신 연구 사례를 소개합니다. 시계열 예측 모델의 대부분은 Transformer 기반으로 만들어지고 있으나, 최근 Linear, MLP 등 단순한 신경망 구조로도 Transformer 계열 모델보다 높은 예측 성능을 보여주는 연구들이 연이어 소개되고 있습니다. 이번 AAAI-25에서 발표된 Tang et al.의 “Unlocking the Power of Patch: Patch-based MLP for Long-term Time Series Forecasting^[4]” 연구는 기존 예측 모델에 아래와 같은 새로운 질문을 던집니다.

“시계열 예측 분야에서의 Transformer의 성공은 과연 그 구조적인 특징으로부터 온 것일까요?”
“기존의 Seasonal-trend Decompostion은 과연 가장 효과적인 분해 방법일까요?”

본 논문은 위 질문들의 답이 우리의 예상과 다를 수 있음을 말해줍니다.

이미지 6. Overall Structure of PatchMLP^[4]

이미지 7. Overall Structure of MLP Layer^[4]

본 연구는 장기 시계열 예측 문제에서 MLP에 Patching을 적용한 PatchMLP라는 새로운 모델을 제안합니다(이미지 6). PatchMLP는 입력 시계열에 대해 Multi-scale Patch Embedding을 추출하고, Latent Vector Decomposition을 수행합니다. 저자는 원본 시계열에 내재된 지나치게 복잡한 시간적 관계가 단순한 분해 기술로는 효과적인 결과를 얻을 수 없으며, Latent Vector Decomposition으로 이러한 문제를 우회할 수 있다고 주장합니다. 마지막으로, MLP Layer를 통해 Intra-/Inter-variable Dependency를 학습합니다(이미지 7). 다양한 실제 데이터 세트에 대한 예측 실험에서 PatchMLP는 기존 Transformer 기반 모델을 포함한 다른 최첨단 모델보다 우수한 성능을 보였습니다. 이러한 결과는 일반적으로 많이 채택하는 Transformer와 Seasonal-trend Decompostion이 언제나 좋은 선택이 될 수 있는지에 대한 의문을 떠올리게 하는 새로운 관점을 제시합니다.

향후 계획

최근 시계열 예측 분야는 모델 학습 및 추론 효율성 개선 외에도 LLM을 활용한 예측 성능 향상과 다양한 신경망 구조를 활용한 모델 개발에 집중하고 있습니다. 향후 시계열 예측 분야는 텍스트와 이미지 정보를 활용한 Multi-modal Forecasting으로 그 영역이 확대될 것이며, 제조, 금융, 에너지 등 다양한 산업 분야의 시계열 데이터를 학습한 Foundation 모델 개발 등 다양한 방향으로 연구될 것으로 예상됩니다. Multi-modal Forecasting은 시계열 외의 정보를 종합적으로 고려하여 더욱 현실적이고 정확한 예측을 이끌 것입니다. 더불어 다양한 산업 분야의 시계열 데이터를 학습한 Foundation 모델은 다양한 응용 분야에서 새로운 예측 모델 개발의 효율성을 높일 것입니다. LG AI연구원도 AAAI-25에서 발표한, 다변량 시계열 예측 모델의 학습 효율성을 높이는 “VarDrop” 논문을 포함해 다양한 연구를 지속해 나갈 예정입니다.

AAAI-25 시리즈

EP.1 [AAAI-25] 3차원 좌표를 활용한 Denoising Distillation 모델 연구
EP.2 [AAAI-25] Tabular 데이터 예측 성능 향상을 위한 Truncated SVD 기반 Representation space에서의 새로운 증강기법