[ICASSP 2023] Multi-resolution sequence Aggregation and Model-Agnostic framework for time-series forecasting 시계열 예측 연구와 최신 Causal 연구 Trend 소개

음향, 음성 및 신호처리 AI 분야의 세계에서 가장 권위있는 학회로 꼽히는 ICASSP(International Conference on Acoustics, Speech, and Signal Processing)이 2023년 6월 3일에서 10일까지 그리스 Rhodes 섬에서 개최되었습니다. 본 학회는 AI 기반 음성 및 신호처리 분야에서의 최신 연구 동향을 파악할 수 있을 뿐만 아니라, 산업계의 동향 및 실제 적용되는 기술 시연 등을 진행하여 음성 및 신호처리 전문가들의 활발한 교류의 장이 되고 있습니다.

이번 학회에 “Multi-resolution sequence Aggregation and Model-Agnostic framework for time-series forecasting” 논문을 통해 “Machine Learning for Signal Processing” track에 참가하여 AI 기반 신호처리 분야를 연구하는 많은 연구자들과 지식을 교류할 수 있었습니다. 본 블로그를 통해 이번에 제출한 논문에 대한 간단한 소개와 함께 학회에서 관심있게 지켜본 연구들에 대해 소개해 드리려고 합니다.

리뷰 순서 I. MAMA framework: Multi-resolution sequence Aggregation and Model-Agnostic framework for time-series forecasting (Juhyun Lyu, et al., 2023)[1] II. INTERPRETABLE MULTI-SCALE NEURAL NETWORK FOR GRANGER CAUSALITY DISCOVERY (Chenchen Fan, et al., 2023)[4] III. IMPROVING WEAKLY SUPERVISED SOUND EVENT DETECTION WITH CAUSAL INTERVENTION (Yifei Xin, et al., 2023)[8]

 

I. MAMA framework: Multi-resolution sequence Aggregation and Model-Agnostic framework for time-series forecasting (Juhyun Lyu, et al., 2023)^[1]

Introduction

제가 제출한 ‘MAMA framework’ 은 time-series data에 내재된 multi-resolution 정보를 활용하여 time-series forecasting 성능을 극대화하는 연구입니다. 본 논문에서 주목했던 기존의 multi-resolution approach들의 한계점은 1. 제한된 resolution(original, down-scale)의 정보만을 활용하고, 2. 추출한 multi-resolution 정보를 merge하는 과정에서 time-series에서 중요한 특성인 sequential order 특성을 다루는 것에 소홀하다는 점입니다. 이를 극복하기 위한 방안으로 논문에 제시한 contribution 은 다음과 같습니다.

1. Multi-resolution input generation module : 기존의 original, down-sampled data 뿐만이 아니라, super-resolution upsampler 를 통해 복원된 up-sampled data 를 활용할 수 있게 하고 기존에 활용하지 못했던 fine detail 정보를 활용합니다.

2. Model-agnostic forecasting module : 기존에 존재하는 time-series forecasting (TSF) algorithm 을 활용할 수 있습니다. 기존 TSF 모델에 multi-resolution 정보를 더하여, 기존 모델의 시계열 예측 성능을 향상시킬 수 있습니다.

3. Sequential aggregation module : 추출된 multi-resolution 정보를 aggregate & mix하는 과정에서 시계열의 sequential 특성을 잘 유지 보존합니다.

4. Multi-resolution attention fusion module : cross-attention을 통해 추출된 각 resolution signal의 주요 temporal dynamics를 포착하고 결합합니다.

 

Method

 

그림 1. Proposed MAMA framework^[1]

 

Multi-resolution input generation module

Multi-resolution input을 generate 해주기 위한 module입니다. Input signal $X_t$를 기반으로 high-resolution signal $X_t^{up}$와 low-resolution signal $X_t^{down}$를 각각 upsampler 와 downsampler를 통해 만들어 줍니다. 이 과정을 통해 forecasting module 은 original, high, low의 모든 resolution 정보를 활용할 수 있게 됩니다.

1. Upsampler : Deep learning 기반의 super-resolution model을 활용했습니다(CNN 기반 U-Net structure). 이렇게 super-resolution model을 활용한 이유는 higher resolution의 정보를 복원하고 fine detail의 정보를 시계열 예측에 활용하기 위함입니다. 기존 simple interpolation technique은 단순히 두 value 사이 값을 채워주는데 목적이 있다면, super-resolution model은 두 value 사이의 missing data를 복원하는 것에 목적이 있기 때문에 이를 통해 higher resolution 정보를 복원하고자 했습니다. Upsampler의 upsampling ratio는 2 로 제한했는데, 이는 2배를 넘는 upsampling에는 정보 손실 및 성능 저하가 많이 발생하는 선행 연구의 결과를 기반으로 하였습니다^[2].

1. - Input : ${\mathrm{X}}_{\mathrm{t}}=\{{\mathrm{x}}_{(\mathrm{t}-\mathrm{k})/{\mathrm{R}}_1},\dots ,{\mathrm{x}}_{{\mathrm{R}}_1\mathrm{t}/\mathrm{R}1}\}$

   - Output : ${\mathbf{X}}_{\mathbf{t}}^{\mathbf{u}\mathbf{p}}=\{{{\mathbf{x}}_{(t\mathit{-}k)/\mathrm{R}}^{up}}_2,\dots ,{\mathbf{x}}_{R_{2}t/{\mathrm{R}}_2}^{up}\}$

   - Upsampling ratio : $r_{up}=\frac{R_2}{{\mathit{R}}_1}=2\left(fixed\right)$

1. Downsampler : Downsampler는 빠르게 움직이는 시계열의 noise를 절감해주고 시계열 내 slow trend를 포착하기 위한 목적으로 활용됩니다. Downsampling 방식은 본 논문에선 일정 시간 간격으로 data를 sampling하는 방식을 취하였습니다. 이러한 down sampling 과정에서 정보 손실을 유발하게 되는데, 이를 피하기 위해 odd & even downsampling을 통해 정보의 손실을 최소화하고자 했습니다^[3]. 간단히 설명하면 아래data 와 같이 odd 순서와 even 순서에서 모두 downsampling함으로써 정보 손실을 최소화하고자 했습니다.

1. - Odd-downsampled output : ${\mathbf{X}}_t^{{\text{down }}_{\text{odd }}}=\{{\mathbf{x}}_{t-k},\dots ,{\mathbf{x}}_{t-1}\mathbf{\}}$

   - Even-downsampled output : ${\mathbf{X}}_t^{{\text{down }}_{\text{even }}}=\{{\mathbf{x}}_{t-k+1},\dots ,{\mathbf{x}}_t\mathbf{\}}$

   - Downsampling ratio : $r_{down}=\frac{R_3}{R_1}=\frac{1}{2}(fixedforeexperimentalconvenience)$

Model agnostic forecasting module

본 module을 통해 기존의 time-series forecasting model(e.g. TCN, LSTNet, Informer)들을 활용할 수 있습니다. 활용하는 model은 각 resolution 정보를 input으로 받아 각 scale 별로 prediction을 수행합니다.

1. - Input : ${\mathbf{X}}_t^{scale}$ → Output : ${\hat{\mathbf{Y}}}_t^{scale}$

Sequential aggregation module

이 module은 서로 다른 길이를 갖는 각 scale output들을 종합하여 global 정보를 추출하면서 동시에 sequential 특성을 유지하여 aggregated output ${\hat{\mathbf{Y}}}_{\mathrm{t}}^{\mathrm{global}}$을 생성합니다.

 

그림 2. Detailed operations of sequential aggregation module^[1]

1. Step #1. Sequential property를 유지하기 위해 각 resolution 정보를 time-step 별로 맞춰 gathering합니다. 예를 들어 임의의 time-step에서 총 4개의 value를 gathering하게 되는데, upsample에서 2개, 그리고 original과 downsample에서 각각 1개의 value를 gathering 한 value들입니다(그림 2의 Step #1 참고).
   
   Step #2. gathering 한 각 time-step별 value group에 average pooling을 적용하여 각 time-step 별로 representative value  ${\hat{y}}_{t+\tau }^{\mathrm{global}}$ 를 추출합니다.

1. - Time step-wise average pooling : ${\hat{y}}_{t+\tau }^{\text{global }}=\text{ AveragePool (}{\hat{y}}_{t+\tau }^{\text{up }},{\hat{y}}_{t+\tau }^{\text{org }},{\hat{y}}_{t+\tau }^{{\text{down }}_{\text{odd/even }}})$

1. 마지막으로 time-step 별 representative value들을 모아 하나의 sequence vector를 추출합니다.

1. ${\hat{\mathbf{Y}}}_t^{\text{global }}=\{{\hat{y}}_{t+1}^{\text{global }},\dots ,{\hat{y}}_{t+H}^{\text{global }}\}$

1. 이 vector는 global temporal information을 포함한다고 할 수 있고, 이는 다음 module에서 cross-attention의 query로 활용됩니다.

 

Multi-resolution attention fusion module

Multi-resolution signal 들의 key information을 활용하는 동시에 prediction length를 맞춰 주기 위해 cross-attention technique을 활용합니다. 이 때 query로는 최종 output 과 동일한 length를 갖는 ${\hat{\mathrm{Y}}}_t^{\mathrm{global}}$를 활용하고, key와 value로 각 resolution prediction output을 활용합니다. 마지막으로 각 scale 별 output을 sum하여 final output을 도출합니다.

1. - Attention output : ${\mathbf{A}}_t^{\text{scale }}=cross\text{-attention (}{\hat{\mathbf{Y}}}_t^{\text{global }},{\hat{\mathbf{Y}}}_t^{\text{scale }},{\hat{\mathbf{Y}}}_t^{\text{scale }})$

   - Final prediction output : ${\hat{\mathbf{Y}}}_t={\mathbf{A}}_t^{\mathrm{up}}+{\mathbf{A}}_t^{\mathrm{org}}+{\mathbf{A}}_{\mathbf{t}}^{{\text{down }}_{\text{odd }}}+{\mathbf{A}}_t^{{\text{down }}_{\text{even }}}$

EXPERIMENTAL RESULTS

성능 검증을 위해 ECL, Solar, PEMS04 같은 time-series forecasting 분야에서 널리 사용되는 real-world dataset을 활용했습니다. Metric으론 MSE 와 MAE, $R^{2}score$를 사용하였습니다.

 

그림 3. Multivariate time-series prediction result of MAMA
using MSE, MAE, and adjusted R2 score as metrics^[1]

 

실험을 통해 1. MAMA framework의 성능, 2. upsampling 정보 유무에 따른 성능, 3. sequential aggregation 유무에 따른 성능 평가를 진행했습니다.

 

Baseline only vs. MAMA framework

그림 3을 통해 MAMA의 성능을 보면, MSE를 기준으로 MAMA가 적용된 경우 거의 모든 baseline과 dataset들에서 prediction performance가 향상되었음을 알 수 있습니다.

 

Upsampling

MSE를 기준으로 Upsampling이 포함된 경우가 포함되지 않은 경우(MAMA-U)보다 거의 모든 case에서 더 좋은 성능을 나타냄을 확인할 수 있습니다. 이를 통해 upsampling된 detail 정보가 prediction performance를 향상시켜 준다는 것을 증명할 수 있습니다.

 

Sequential aggregation (SA)

마찬가지로 MSE를 기준으로 SA 가 포함된 경우가 그렇지 않은 경우보다 거의 모든 경우 성능이 우세함을 볼 수 있습니다. 이를 통해 SA 가 sequential characteristic을 잘 보존하고 예측 성능을 향상시키는데 도움이 된다는 것을 확인할 수 있습니다.

 

그림 4. Prediction result of MAMA and baseline models^[1]

 

그 외에 위의 그림 4를 살펴보면, 먼저 PEMS04의 경우 MAMA 가 baseline TCN에 비해 보다 정확하게 seasonality를 찾아주는 것을 확인할 수 있습니다. 또한 ECL의 경우 MAMA 가 TCN에 비해 signal peak를 잘 찾아주는 것을 확인할 수 있는데, 이는 MAMA 가 upsampling의 fine-grained 정보를 활용하기 때문에 보다 peak를 잘 쫓아갈 수 있었다 판단됩니다.

 

Conclusion

본 논문을 통해 기존 time-series forecasting model을 기반으로 multi-resolution 정보를 충분히 활용하여 시계열 예측 성능을 향상시킬 수 있는 MAMA framework을 제안하였습니다. 제안하는 모델을 통해 upsampling의 fine-detail 정보를 복원하여 활용할 수 있도록 했고, multi-resolution 정보를 merging하는 과정에서 time-series의 sequential property를 훼손하지 않으며 정보를 통합하는 방법을 제시하였습니다.

학회 중 본 논문의 발표 과정에서 신호처리 관점에서의 해석과 관련된 질문, 각 요소에 활용된 machine learning 기법에 대한 질문 등 여러가지 feedback을 받았습니다. 그 중 model의 실제 활용 여부와 어떤 case에서 활용되었는지에 대한 application 측면의 질문들이 다수 제시되었습니다. 실제 MAMA framework 은 주가 예측 및 수요 예측 project에서 활용되었습니다. 특히 작년 3월부터 올해 1월까지 진행된 M6 competition에서 주식 종목의 주가를 예측하는 문제에 활용된 부분을 설명했을 때 많은 공감과 관심을 유발할 수 있었습니다.

그 외에 그동안 여러 수요 예측 연구 task를 진행해 오면서 비슷하게 자주 받았던 고객 feedback이 있습니다. 예측 결과에 대한 원인, 즉 왜 이런 결과가 도출되었는지에 관한 물음이었습니다. 이러한 feedback은 과제 결과물의 신뢰도 및 활용도에 직결되는 중요한 feedback이라 판단되는데, LG AI 연구원에서도 이러한 feedback의 중요성을 인식하고 현재 causal inference 연구를 통해 어떠한 현상에 대한 원인을 밝히는 연구를 진행하고 있습니다. 저도 이러한 부분을 해소하고자 현상에 대한 원인을 찾고 설명력을 부여하는 causal inference 연구를 진행하고 있습니다.

Causal inference를 간단히 설명하면 어떠한 현상에 대한 인과 관계를 추론하고 이해하기 위한 연구 분야입니다. 주로 data 나 observation을 기반으로 어떠한 원인에 의해 결과가 발생하는 방식을 이해하고, 인과적인 연결성을 파악(causal discovery)하는데 초점을 둔다고 할 수 있습니다. 이를 바탕으로 원인 변수 변화에 따른 potential outcome 추론이나(treatment effect estimation), 원하는 결과를 얻기 위해 어떠한 원인 인자를 바꿀 것인지를 설계하는 연구(causal decision making) 도 causal inference를 이루는 대표적인 연구 분야입니다.

이번 학회에서 제가 참석한 AI 기반 신호처리분야 뿐만 아니라 AI 기반의 causal inference와 관련된 연구들도 관심있게 살펴보았습니다. 최근에 많은 주목을 받고 있는 분야이기 때문인지 이번 ICASSP 에도 관련된 연구들이 다양하게 소개되었습니다. 그중 1. 다변량 시계열에서 인과 관계를 추출하는 causal discovery 연구 한 편과 2. Application 측면에서 음성 신호처리 분야에 활용된 연구 한 편을 소개해 드리려고 합니다.

 

II. INTERPRETABLE MULTI-SCALE NEURAL NETWORK FOR GRANGER CAUSALITY DISCOVERY (Chenchen Fan, et al., 2023)^[4]

Introduction

본 연구는 예전부터 많이 통용되고 있는 granger causality를 활용하여 multivariate time series 에서의 causality를 발견하고자 합니다. 이를 위해 새로운 multi-scale neural network 모델인 MSNGC(multi-scale neural network for GC discovery) 모델을 제안하고 있습니다. 논문에서 MSNGC를 통해 제안한 method 들을 요약하자면,

1. 입력되는 time-series와 time lags 사이의 데이터 분할을 피하는 구조를 제안하여 모든 time-series들 사이의 완전한 인과 관계를 포착하고 정확한 binary causal graph를 제공합니다.

   또한 해석력 강화를 위해,

2. Binary causal graph 추론을 위한 consistency 기반의 thresholding algorithm을 제안하고,

3. Positive/negative effect sign inference method를 제안하여 node들 간의 효과 부호를 탐지하는 방법을 도입하였으며,

4. Self-adaptive lag discovery algorithm을 통해 지연된 시간의 지점을 식별할 수 있도록 했습니다.

Proposed Methods

Architecture

본 논문에 제안한 구조를 통해 저자는 다중 시계열의 여러 time lags들을 한꺼번에 최대한 활용하여 정보를 추론하는 것이 특징입니다. 이는 앞서 밝힌 시계열과 time lags 사이의 데이터 분할을 피하는 것을 구현하기 위함입니다.

 

그림 5. The framework of MSNGC^[4]

 

제안하는 모델은 $K$개의 branch로 구성되어 있으며, 각 branch는 $t-1$부터 $t-k$까지의 지연 값을 가지는 $p$개의 시계열 데이터를 입력으로 받습니다. Branch의 개수 $K$는 각 branch가 볼 수 있는 데이터 범위를 조절하는 receptive filed controller 역할을 합니다. 이렇게 한 번에 여러 branch로 한꺼번에 데이터를 살펴봄으로써 데이터를 명시적으로 분할하지 않고 활용할 수 있습니다.

위의 그림 5의 model을 하기와 같은 식으로 formulate할 수 있습니다.

 

각 $K$번째 branch에는 MLP(Multi-Layer Perceptron)가 사용되며, 그 출력은 ${\mathbf{\Psi }}_k^t=\left({\Psi }_k^1\right|\cdots \left|{\Psi }_k^k\right)\in {\mathrm{ℝ}}^{k\times p\times p}$로 표현됩니다. ${\mathrm{\Psi }}_k^l\left({\mathit{x}}_{t-k:t-1}\mathbf{\right)}\in {\mathrm{ℝ}}^{p\times p}$에서 $l$은 l 번째 time lag을 의미하고, k는 k번째 branch라는 의미와 동시에 k번째의 time lag까지 포함하고 있다는 것을 의미합니다. ${\mathit{\Psi }}_k^t$의 (l, i, j) 인덱스 요소는 i 시점의 j 번째 변수에서 i번째 변수로의 인과 효과 강도를 나타냅니다.

Eq. (1) 의 출력을 살펴보면 먼저 k번째 분기의 출력인 $\sum _{1\le \mathrm{l}\le \mathrm{k}}{\mathrm{\Psi }}_k^l\left(x_{t-k:t-1}\right)x_{t-l}$은 여러 time lags들 간의 aggregated output입니다. 또한 K개의 분기에서 출력된 값을 weighted sum을 하는데 가중치 ${\alpha }_k$는 다른 신경망을 사용하여 생성합니다. 결국 이렇게 각 시계열과 time lags들을 함께 살펴보고 정보를 추출하게 됩니다. 본 모델의 Loss function은 다음과 같이 정의됩니다.

여기서 $R({\alpha }_k,{\mathbf{\Psi }}_k^t\mathbf{)}=\mu \parallel {\alpha }_k{\mathbf{\Psi }}_k^t{\parallel }_1+(1-\mu )\parallel {\alpha }_k{\mathbf{\Psi }}_k^t{\parallel }_2^2$이고, μ = 0.5로 설정하여 sparsity와 smoothness를 동시에 달성하고자 했습니다. 그리고 위 Loss의 세 가지 항은 각각 예측 성능, regularization 및 temporal smoothness를 위해 설계되었습니다.

 

Granger causality inference

모델의 학습 후 Binary Causal Graph B를 얻기 위해 다음과 같은 과정을 거칩니다.

1. 초기화 단계 : weighted matrix $A_k$의 생성

   먼저 초기화 단계에선 Predicted output ${\hat{\mathrm{\Psi }}}_k^t$와 학습된 attention weight ${\overbrace{\alpha }}_k$를 가공하여 unsigned weighted adjacency matrix $A_k$를 만들어 냅니다. 먼저 ${\hat{\mathrm{\Psi }}}_k^t$를 zero-padding한 ${\stackrel{\circ }{\mathit{\Psi }}}_k^t\in {\mathrm{ℝ}}^{K\times p\times p}$와 가중치 ${\overbrace{\alpha }}_k$를 결합한 ${\mathit{M}}_t=\sum _{k=1}^K{\hat{\alpha }}_k{\stackrel{\circ }{\mathbf{\Psi }}}_k^t$를 만들어 내고, 이 통합 정보를 기반으로 $A_k$를 생성합니다. Causal signal의 강도에만 관심이 있는 경우 ${\left({\tilde{\mathit{A}}}_k\right)}_{i,j}={median}_{K+1\le t\le T}\left|{\left({\mathit{M}}_t\mathbf{\right)}}_{k,i,j}\right|$와 같이 구하며, 그렇지 않은 경우는 절댓값을 제거하고 부호가 있는 matrix ${\overline{A}}_k$를 구할 수도 있습니다. 여기서 ${\left({\tilde{\mathit{A}}}_k\right)}_{i,j}$는 k번째 시간 간격에 대한 i번째 신호가 j 번째 신호에 대해 얼마나 강한 인과 관계를 가지는지를 나타내고, 이는 x의 시간 간격에 따른 인과관계를 포착한 weighted matrix라 할 수 있습니다.
   
   다음으로 Binary Causal Graph B를 추론하기 위한 thresholding 알고리즘은 다음과 같습니다.
   
   

2. Weighted matrix C 생성

   Weighted matrix C는 K개의 가중치 행렬 ${\tilde{A}}_k$ 중에서 최댓값을 취한 값으로 구성됩니다.

   
   
   

   예를 들어 $C_{i,J}$는 $x_i$에 대한 $x_j$의 최대 GC 강도입니다.
   
   

3. Binary Matric ${\mathit{U}}_{\mathbf{q}}$와 $\widetilde{{\mathit{U}}_{\mathbf{q}}}$생성

   각 Binary matrix $U_q$와 $\widetilde{U_q}$는 C와 $\tilde{C}$(시간 역순으로 생성한 C)^[5]에서 quantile 을 기준으로 만든 threshold에 의해 이진화된 행렬입니다. ${\mathit{U}}_{i,j}^q=\mathrm{𝕀}({\mathit{C}}_{i,j}-C_{{\xi }_q})$ 와 ${\tilde{\mathit{U}}}_{i,j}^q=\mathrm{𝕀}({\tilde{\mathit{C}}}_{i,j}-{\tilde{C}}_{{\xi }_q})$로 정의할 수 있고, 여기서 임계 값 $C_{{\xi }_q}$ 및 ${\tilde{C}}_{{\xi }_q}$는 quantile ${\xi }_q$에 대한 임계값입니다. 이 quantile은 consistency를 기준으로 찾게 됩니다.
   
   

4. Binary Causal Graph B의 생성

   Binary Causal Graph B는 최적의 quantile ${\xi }^{*}$를 기준으로 생성됩니다. 이때 ${\xi }^{*}$는 $U_q$ 및 $\widetilde{U_q}$가 나타내는 일관성이 가장 높은 것으로 선택됩니다. 즉, causality 추론 결과가 일관되는지를 기준으로 찾게 됩니다. 최적의 quantile ${\xi }^{*}$를 찾는 과정은 balanced accuracy (BA)^[6] 와 이를 보완하기 위한 Levenshtein distance (${ϵ}_q$)^[7]를 계산하여 consistency $({\tau }_q=BA-{ϵ}_q)$를 계산합니다. 그리고 quantile level의 적합도 점수를 비교하여 높은 점수의 quantile을 선택합니다. 이러한 과정을 반복 수행하여 최적의 quantile level을 선택하고, 이를 기반으로 Binary Causal Graph B를 얻게 됩니다.

Causal Effect Sign Inference

다음으로 본 논문에선 interpretability 관점에서 causal effect의 부호(positive/negative)를 제공합니다. 앞서 도출한 ${\overline{\mathit{A}}}_k$에 기반하여 causal effect를 계산하며, 부호가 positive인 것은 양의 인과 관계를 갖고, negative이면 음의 인과 관계를 갖고 있는 것으로 해석할 수 있습니다.

 

Self-adaptive Lag Discovery

마지막으로, Self-adaptive Lag Discovery 알고리즘을 통해 각 cause-effect pair의 인과적인 lag을 추정합니다. 이는 부호 없는 가중치 인접 행렬 ${\tilde{A}}_k$에서 정보를 추출합니다.

Self-adaptive Lag Discovery algorithm을 간단히 설명하면, input vector를 특정 index 기준으로 두 group으로 나누고, 각 그룹의 absolute element value들을 비교합니다. 이 과정을 반복하면서 그룹 간 차이가 최대가 되는 index c*를 찾게 되며, 이를 기준으로 최적의 time lag을 찾게 됩니다. 다시 말하면 두 그룹 간의 값의 차이가 크게 나타나는 시점에 인과 관계 해석을 위한 유의미한 결과를 도출할 수 있는 시점으로 해석하는 알고리즘이라 할 수 있습니다.

 

Experiments

본 논문에선 실험을 통해 제안한 3가지를 증명하고자 했습니다. 첫 번째는 binary causal matrix B에 대한 정확도를 통해 causal graph 추론 능력을 평가했고, 두 번째는 causal-effect sign 추론 능력을 평가했습니다. 마지막으로 lag 탐색 능력을 기존 모델들과 비교를 통해 증명하였습니다.

사용된 metric 은 정확도(ACC.), 클래스 간 균형을 고려한 정확도 지표인 balanced acc. (BA), binary classification 성능 평가에 널리 활용되는 AUROC 와 AUPRC 등을 활용하였습니다.

 

그림 6. Performance comparison on the Lozenz 96 data^[4]

 

Inferring Causal Structure

Causal structure 추론 능력 평가를 위해 dynamic system인 Lorenz 96 모델의 데이터를 활용했습니다. 이 때 모델에서 복잡성을 조절할 수 있는 chaos 변수 F를 조절해 가며 다른 모델들과 causal structure 추론 능력을 비교하였습니다. 그림 6의 결과를 보면 제안한 모델이 chaos 정도에 상관없이 모든 지표에서 가장 우수한 성능을 보이는 것을 알 수 있습니다.

 

그림 7. Result on muti-species Lotka-Volterra data^[4]

그림 8. Performance comparison on the VAR data^[4]

그림 9. Performance comparison for lag discovery^[4]

 

Inferring Causal Effect Sign

Lotka-Volterra와 VAR data를 사용하여 cause-effect sign 추론 능력을 평가했습니다. 그림 7에서 볼 수 있는 것처럼 Lotka-Volterra data에선 제안한 MSNGC가 모든 측정 지표에서 우세한 성능을 보이는 것을 확인할 수 있습니다. 그림 8의 VAR data의 경우는 당연하게도 VAR model의 성능이 가장 좋게 나왔지만, 이를 제외한 다른 모델들 보다는 MSNGC가 더 나은 성능을 보이는 것을 확인할 수 있습니다.

 

Lag Discovery Analysis

Lag discovery를 위해선 lag position을 변경해가면서 다른 모델들 과의 TPR, FPR 정확도를 비교합니다. 그림 9의 결과를 보면 MSNGC가 다른 모델들과 비교할 때 가장 우수한 성능을 보이는 것을 알 수 있습니다.

 

Conclusion

이 논문은 GC 탐색을 위해 다중 스케일 신경망을 제안합니다. 모델에 입력되는 time-series와 time lags 사이의 명시적 데이터 분할을 피하고 모든 time-series들 사이의 완전한 인과 관계를 포착하여 정확한 binary causal graph를 제공합니다. 또한 interpretability를 보장하기 위한 방법으로 causal effect 부호를 추론하는 방법과 가장 영향력 있는 time lag을 찾아주는 방법을 제안하였습니다.

이러한 제안 방법들은 현재 causal discovery 분야에서 풀어야할 난제로 여겨지는 multivariate time-series에서의 인과 관계를 찾고 있다는 점에서 의미가 있는 연구라고 생각합니다. 그리고 c해석을 위한 부호 및 가장 큰 영향을 끼친 time lag 정보를 찾는 부분은 사용성 측면에서도 고려된 부분이라 생각합니다.

하지만 찾게 되는 causal graph가 binary matrix라는 점에서 정보량의 한계가 존재하고, time-series data의 개수 K (=graph의 node 수)가 제한된 점은 추가 연구가 진행되어야 할 부분이라 생각됩니다.

 

IMPROVING WEAKLY SUPERVISED SOUND EVENT DETECTION WITH CAUSAL INTERVENTION (Yifei Xin, et al., 2023)^[8]

이 연구는 weakly supervised sound event detection (WSSED) 분야에서 풀기 힘든 난제를 causality의 개념 도입을 통해 해결하는 연구입니다.

Introduction

먼저 sound event detection (SED) task의 weakly supervised setting 이 어떤 것인지 정의해야 할 것 같습니다. SED 에서의 weak label 은 frame level의 label 이 아닌 audio clip level의 label 로써 (time-scale 입장에서 clip이 frame 보다 더 큰 단위), 해당 audio clip이 특정한 audio event를 포함하는지 여부를 나타냅니다. 즉, 정확하게 원하는 정답이 아닌 좀더 큰 범주에서의 정답만을 갖고 있는 상황이라 할 수 있습니다.

이 논문에선 weakly supervised training을 기반으로 하는 sound event detection에서 발생하는 “entangled context” 문제를 해결하기 위해 causal Intervention 방법을 도입한 CI-WSSED 라는 새로운 네트워크 구조를 제안합니다. “entangled context”는 자주 동시 발생하는 sound event와 background sound로 인해 model이 잘못된 상관 관계를 학습하게 되는 문제를 의미합니다. 예를 들면 동시에 자주 발생하는 event 로 “train”과 “train horn”이 있는데, 모델은 이들을 같은 class 로 관련시키기 때문에 상호 인식 및 감지에 방해가 됩니다. 또한 sound event 발생 시 background sound가 깔려 있을 때도 위와 비슷하게 entangled된 상황이 발생합니다. 이 논문에선 이를 해결하기 위해서,

1. WSSED의 “entangled context” 문제를 sound event 간의 entangled co-occurring sound events와 background sounds 측면에서 처음으로 고려하고 밝힙니다.

2. WSSED에 causal intervention 개념을 도입하여 “entangled context” 문제를 해결하고, CI-WSSED 라고 불리는 새로운 네트워크 구조를 설계하여 causal intervention을 WSSED pipeline에 end-to-end 방식으로 통합합니다.

3. 그리고 이러한 CI-WSSED에서의 성능 향상을 다양한 실험을 통해 증명했습니다.

그림 10. (a) The structural causal model (SCM) for WSSED.
(b) The intervened SCM base on backdoor adjustment for WSSED^[8]

 

CAUSAL INTERVENTION

논문에서 차용한 causal SCM 과 causal intervention이 무엇인지 간단히 소개하도록 하겠습니다. SCM은 graph 형식으로 causal 관계를 나타낸 model 로, node를 확률 변수로 나타내고 directed edge는 변수들 간의 인과 관계를 표현합니다. (그림 10 예시 참고)

다음으로 causal intervention (do-calculus) 개념을 도입했습니다. Causal intervention의 목적은 원인과 결과 간의 인과 관계를 밝힐 때 intervention을 통해 기타 인과 관계를 모호하게 하는 요소들을 통제(backdoor adjustment)하고 근본이 되는 인과 관계만을 집중하게 하는데 활용됩니다. 이를 수식으로 나타내면 eq. (1)로 표현되는데, 변수 X를 상수 x로 고정하여 X를 X parent node(원인)들로부터 독립이 되도록 합니다(그림 10. (b) 참고).

이러한 intervention은 causality를 찾는 데 혼동을 주는 confounder의 영향을 차단하고 true causality를 찾는 데 활용할 수 있습니다. 이 논문에서는 WSSED에서 발생하는 “entangled context” 문제를 해결하기 위해 causal intervention 개념을 도입했습니다.

 

Proposed Method

Structural Causal Model for WSSED

SCM을 통해 어떻게 “entangled context”가 WSSED에서 sound event의 분류 및 localization 성능을 저하시키는지 설명합니다. 이를 위해 그림 10의 각 node의 의미와 node 간의 관계가 무엇을 의미하는지 먼저 정리하겠습니다.

1. X : 우리가 찾는 근본 원인을 뜻하며, 여기선 우리가 찾고자 하는 sound event 의 frame level 특성을 말합니다.

2. C (confounder) → X : 여기서 C 는 confounder 을 말하고, WSSED 에서는 “문맥적 편향(contextual bias)”을 지칭합니다. Confounder는 독립 변수와 종속 변수 모두와 관련된 변수를 가리키는데, 직접적인 causality는 없지만 연관성이 존재하여 어떠한 현상에 대한 직접적인 원인이 되는 것처럼 혼동을 주는 교란변수를 뜻합니다. WSSED의 경우 C는 여러 소리 이벤트들이 함께 발생하는 상황에 발생하는 “entangled context” 을 가리킵니다. 예를 들어, “train”과 “train horn” 두 가지 sound event가 동시 발생하는 경우, 모델은 이 두 event 간에 잘못된 연관성을 형성하여 이벤트들의 인식과 감지에 어려움을 줄 수 있습니다.

3. X → M (mediator) → Y : Causal 관점에서 M 은 mediator를 뜻하고 원인 변수와 결과 변수 사이에서 중간에 위치한 변수를 의미합니다. 본 논문에서 M 은 frame level feature X와 C의 조합으로 형성되는 X-specific한 context를 나타냅니다. 즉, M은 X 와 Y(예측된 clip level label) 간의 인과 관계에서 중간 매개체 역할을 하며, 어떠한 sound event 인식에는 함께 발생하는 event 들의 영향이 포함된다는 것을 보여줍니다.

4. Y : 결과 현상을 말하며, 여기서는 예측된 clip level sound event label을 의미합니다.

5. X → Y ← M : 이 연결은 sound event X 와 mediator M 이 최종 예측에 함께 영향을 미침을 나타내 줍니다.

Causal Intervention via Backdoor Adjustment

이 논문에서는 causal intervention을 통한 backdoor adjustment를 수행하여 backdoor path를 조정하는 방법을 제안합니다. Backdoor path란, 인과 관계를 파악하는 데 있어서 직접적인 영향을 받는 경로가 아닌, 중간 요인을 통해 영향이 전달되는 경로를 의미합니다. 그림 10의 (b)를 참고하면 X 와 Y 사이의 관계를 찾기 위해 confounder를 제거하고 backdoor path를 차단하는데 활용합니다.

Backdoor adjustment를 위해 먼저 C를 다양한 class 문맥 $C=\{c_1,c_2,\dots ,c_k\}$ 로 분리하고 do-operation을 통해 C → X의 링크를 차단합니다. C를 class level로 분리하는 이유는 entangled context 문제를 해결하기 위해 동시 발생한 여러 class를 독립적으로 다루기 위함입니다. Backdoor adjustment는 다음과 같은 수식으로 나타낼 수 있습니다.

 

 

여기서 $f(x,c_i)$는 X 와 C의 조합으로 형성된 M을 나타냅니다. 위의 식의 경우는 k번의 forward path propagation이 필요하여 많은 cost가 발생되는데, 이러한 문제를 해소하기 위해 Normalized Weighted Geometric Mean (NWGM)^[9]을 통해 식을 간소화합니다. NWGM는 backdoor adjustment에서 expectation value를 근사화 하기 위해 사용되는 weighted average 방법으로, 여기서는 eq. (2) 의 외부 합$\sum _i^{n}P\left(c_i\right)$를 feature level 로 이동하여 $P\left(Y\right|do\left(X\right))$를 근사화 합니다.

 

 

NWGM을 통해 위와 같이 정리하여 forwarding을 1번만 하면 되는 것으로 간략화 할 수 있습니다. 본 논문에선 추가로 각 class에 속한 sample 들이 동일한 개수가 있다고 가정하여 한 번 더 간략화 한 근사식을 사용했습니다.

 

 

위의 수식에서 $x\oplus \frac{1}{k}\sum _i^{k}f(x,c_i)$는 X에 대한 projection을 나타내는데 이는 X에 기존의 feature를 유지한 채로 각 sound event class의 context 정보를 적용하는 것을 의미합니다. 즉, backdoor adjustment의 정리된 수식을 해석하면 X에 대한 프로젝션을 통해 k개의 class context를 모두 고려하면서 X의 feature를 보강하여 event의 경계를 더욱 명확하게 만들 수 있습니다.

 

그림 11. Overview of our proposed CI-WSSED approach^[8]

 

Network Structure

본 논문에선 CI-WSSED라는 네트워크 구조를 통해 WSSED에 대한 causal intervention을 구현합니다. 그림 11을 보면, 먼저 feature extractor(CNN, RNN 또는 Transformer 기반)는 mel-spectrogram을 입력으로 받아 high level feature $X\in {\mathrm{ℝ}}^{c\times n}$을 생성합니다. 여기서 c는 channel의 개수이고 n은 audio frame의 개수입니다. 그 다음 X는 classifier 와 frame level prediction을 거쳐 aggregated 된 후 clip level의 예측 결과를 생성합니다. 여기서 causal intervention 과정인 eq. (4)를 구현하는 부분은 context adjustment pool Q입니다. Eq. (4)에 따라 Q는 각 발생하는 sound event 의 context 정보를 지속적으로 저장하고, 이를 backbone 에서 생성된 X에 다시 반영하여 향상된 feature $X^e\in {\mathrm{ℝ}}^{c\times n}$을 생성합니다.

 

 

여기서 BN은 batch normalization을 뜻하고, j는 각 audio clip level label에서 sound event의 class index를 나타내고, λ는 업데이트 비율을 의미합니다. Frame level의 특성 향상은 다음과 같이 정의될 수 있습니다.

 

여기서 ⊙는 행렬 내적을 나타내고 Conv는 1×1 convolution을 나타냅니다. 이렇게 하면 entangled context의 영향을 완화할 수 있을 뿐만 아니라 frame level의 feature의 active region에 집중함으로써 classification error를 줄이고 localization performance를 향상시킬 수 있습니다. 마지막으로 loss function은 다음과 같이 정의됩니다.

여기서 $s^{*}$는 오디오 클립의 실제 레이블을 의미합니다. 여기서 두 classifier에 대해 share weight 를 사용하는데, 첫 번째 classifier 는 initial prediction score $S=\{s_1,s_2,\dots ,s_k\}$를 생성하고, 두 번째 classifier는 향상된 frame level 특성을 사용하여 보다 정확한 prediction score $S^e=\{s_1^e,s_2^e,\dots ,s_k^e\}$를 생성합니다. 그런 다음 두 classifier branch에 대한 cross entropy loss를 최적화하여 함께 end-to-end로 훈련합니다.

 

그림 12. Performance comparison of CI-WSSED and baseline models
on the DCASE2017 task 4 validation and evaluation set^[8]

그림 13. Performance comparison of CI-WSSED and baseline model
On the weakly labelled UrbanSED test set^[8]

 

EXPERIMENTS AND RESULTS

본 논문에선 실험을 위해 두 개의 SED datasets 인 DCASE2017 task4^[10]와 UrbanSED^[11] datasets을 활용합니다. DCASE2017 task4는 smart car를 위한 Large-scale WSSED dataset이고, UrbanSED은 urban environment 에서의 10개 event label 로 구성된 datasets입니다.

CI-WSSED의 효과와 일반화 능력을 평가하기 위해 여러 baseline 시스템에 CI-WSSED 방법을 적용하여 성능을 비교하였습니다. Evaluation metric으론 audio tagging mAP (mean average precision), audio tagging F1 score, sound event detection mAP, segment-F1 score, event-F1 score를 사용했습니다.

 

Results

그림 12는 DCASE2017 Task4 에서의 실험 결과를 보여주고, 그림 13은 UrbanSED 에서의 실험 결과를 보여줍니다. “baseline-CI”는 baseline에 causal intervention 방법을 적용한 것을 나타냅니다.

실험 결과 모든 baseline에서 일관적으로 CI-WSSED 가 성능 향상을 보였습니다. DCASE2017 Task4의 경우 mAP, AT-F1, Event-F1 metric에서 더욱 두드러진 성능 향상이 있었습니다. 다만, UrbanSED의 성능 향상은 비교적 뚜렷하지 않았습니다. 이는 DCASE2017 Task4 데이터셋에는 “train”과 “train horn”과 같이 공존하는 많은 sound event class가 있기 때문에 “entangled context”의 영향을 더 많이 받아 CI-WSSED 가 더 큰 이점을 가져왔기 때문으로 추론됩니다.

 

CONCLUSIONS

이 논문은 WSSED 작업에서 발생하는 “entangled context” 문제에 대한 해결책으로 CI-WSSED 방법을 제안합니다. 이 문제를 해결하기 위해 WSSED task의 “entangled context” 상황을 SCM으로 정의하고, 인과적 개입(causal intervention) 기법을 도입하여 이를 network으로 구현했습니다.

이 논문이 WSSED의 많은 case들을 cover하거나 성능이 비약적으로 향상된 것은 아니지만, 정보가 제한된 상황에서 causal 개념을 도입하여 극복하려 했다는 점이 매우 흥미로운 점이었습니다. 향후 data 와 정보가 제한적으로 주어지는 상황을 극복하는 문제에 참고하여 접근할 수 있는 가능성을 보여주는 논문이라고 생각됩니다.

앞서 소개한 연구들 중 먼저 1. Multi-variate time-series data를 위한 causal discovery 연구는 현재 LG AI연구원 내에서도 중점적으로 연구되고 있는 분야 중 하나입니다. 사실 다변량 시계열에서의 인과 관계 해석은 변수 간 인과관계 해석 뿐만 아니라 시간 변화에 따른 변수들의 인과 관계 변화까지 고려해야 한다는 점 때문에 매우 어려운 task입니다. 공통된 연구 주제를 다뤘다는 점에서 참고해볼 수 있는 흥미로운 연구입니다. 그 중에서도 interpretability에 신경 쓴 점들 중 대표적 인과관계를 갖는 time-lag을 찾아주는 부분은 모델의 설명력 확보에 있어 앞으로 참고해볼 만한 연구 주제라 생각됩니다. 그리고 2. WSSED 연구에 causal 개념을 도입해서 문제를 해결한 연구는 application 관점에서 보았을 때 향후 참고할 만한 연구라 생각됩니다.

사실 인과 관계를 찾는 것(causal discovery)과 별개로, 이를 해석하고 어떻게 활용할지는 또 다른 문제입니다. 이 연구는 향후 causal 관계 해석 및 원하는 결과를 얻기 위해 원인 변수 들에 treatment를 가하는 연구(treatment effect estimation) 등에 참고할 수 있을 것입니다.

▶ Multi-Resolution Sequence Aggregation and Model-Agnostic Framework for Time-Series Forecasting (Link)