The future of forecasting and the M6 competition conference

사진 1. The future of forecasting and the M6 competition conference
ⓒhttps://mofc.unic.ac.cy/

The future of forecasting and the M6 competition conference가 2023년 11월 6일부터 7일까지 미국 뉴욕에서 개최되었습니다. LG AI연구원의 Data Intelligence 랩의 수요예측 스쿼드는 M6 competition에서 총 3개의 상을 수상하여 초대받아 참가하게 되었습니다. 이 학회는 M6 competition을 주관했던 M Open Forecasting Center(MOFC)에서 개최한 학회로 오직 예측과 관련된 이슈로만 구성되어 있는 것이 특징입니다. 주로 대회 결과에 대한 분석과 수상했던 방법들의 발표와, 학계와 산업계에서 예측 전문가로 일하고 있는 분들의 통찰을 공유하는 방식으로 진행되었습니다. 참여한 기업들은 다루는 데이터는 다르지만 예측이라는 분야를 연구하고 있었기 때문에 밀도 높은 지식들을 나눌 수 있었습니다. 또 LG AI연구원에서 진행하고 있는 AI 기반 수요예측 분야부터 금융 분야까지 모두 비슷한 문제를 풀고 있어서 다양한 접근 방법을 공유할 수 있었고, 유용한 통찰을 얻을 수 있었습니다.

이번 학회는 여러 세션과 패널 토론으로 구성되었습니다. 크게 두 개의 주제로 분류하면 1)M6 competition 리뷰와 2)시계열 예측으로 볼 수 있습니다. 대회 부분에서는 대회 결과와 참가팀들의 제출본을 기반으로 결과 요약과 가설들을 확인하고, 기존 문헌들과 실제 시장에서의 차이를 확인했습니다. 상식으로 여겨지던 명제들이 실제로 참이었던 경우와 의외로 거짓이었던 경우들, 그리고 해석이 공유되었습니다. 또 대회의 각 부문에서 높은 순위를 기록했던 방법론들이 간략히 발표되었습니다. 시계열 예측 부분에서는 다양한 분야의 예측 전문가가 진행하고 있는 연구 방향과, 예측의 미래에 대한 전망을 다뤘습니다. 본문에서도 두 부분으로 나누어 학회에서 다뤄진 내용들을 소개 드리겠습니다.

1. The M6 Competition key findings^[1]

M6 Competition은 총 100개의 주식 종목을 예측하는 대회로 4주마다 전체 시장 수익률 또는 개별 주식/ETF의 수익률 예측을 기반으로 각자의 결과를 제출하고 평가하는 방식이었습니다. 이 과정을 12번 반복해서 총 48주 동안 진행되었습니다. 개별 종목의 순위를 예측하는 항목과, 투자 비중을 결정하는 두 가지 항목에 대해서 평가하였습니다. 순위 예측 섹션에서는 개별 종목마다 4주 후 수익률 순위가 어느 그룹에 속할지 확률을 예측하고 평가합니다. 이 대회에서는 20개의 등수를 하나의 rank로 정의했습니다. 100개의 종목을 다루기 때문에 rank는 총 5개가 됩니다. Rank 5는 1-20등, rank 4는 21-40등, … , rank 1은 81-100등을 의미합니다. 개별 종목마다, 5개의 rank마다 속할 확률값을 제출하면 됩니다. 만약 모든 rank에 대해 0.2를 적는다면 어떤 rank에 속할지 모르겠다는 의미가 됩니다. 예측에 대한 평가는 Ranked Probability Score(RPS)로 평가했습니다. RPS는 0이면 모두 맞춘 것이고, 1이면 모두 틀린 것입니다.

투자 비중의 결정은 종목마다 자산을 얼마나 투자할지 정하는 것입니다. 투자 결정에 대한 평가는 Information Ratio(IR)로 평가했습니다. IR은 일별 수익률의 합을 일별 수익률의 표준편차로 나눈 것입니다. 꾸준한 수익률을 안정적으로 내었는지를 나타내는 지표로, 높을수록 좋습니다. 그리고 RPS와 IR의 순위를 산술평균한 수치를 Overall (OR)로 정의하고, duathlon의 평가지표로 활용했습니다. 순위는 낮을 수록 좋기 때문에 OR도 낮을 수록 좋은 지표입니다.

표 1. 참가팀들의 대회 기간 동안 RPS와 IR의 일일 변화^[1]

글로벌 리더보드에 포함된 163개 팀 중, 38팀(23.3%)이 벤치마크보다 더 정확한 예측을 제공했고, 47팀(28.8%)은 더 나은 포트폴리오를 구성했으며, 11팀(6.7%)은 더 높은 IR과 RPS 점수를 모두 달성했습니다. 또한 흥미로운 점은, 추후 확인할 표 4에 나타나듯이, 12개월 동안 경쟁에서 벤치마크의 예측을 모두 능가한 팀은 단 3팀뿐이었으며, 벤치마크의 투자 결정을 능가한 팀은 없었다는 점입니다. 1개 팀은 11개월 동안, 3개 팀은 9개월 동안 더 높은 IR을 달성했습니다. 표 1은 리더보드에 포함된 163개 팀의 RPS와 IR 점수의 일일 변화를 그래프로 표현한 것입니다. RPS와 관련하여, 팀들은 대회 내내 벤치마크를 기준으로 위로는 아주 조금 잘했고, 아래로는 상당히 좋지 않은 수치를 기록했습니다. 반면에 IR의 경우, 벤치마크를 기준으로 위아래 범위가 넓어, 잘하는 팀은 아주 잘하고, 못하는 팀은 아주 못하는 현상이 있었습니다. 그리고 대부분의 팀들은 벤치마크보다 조금 낮은 IR을 기록했습니다. 표 1에서 보이는 바와 같이, 벤치마크가 사용한 단순한 예측 및 투자 접근 방식에도 불구하고, 실제로 일관되게 벤치마크를 능가하는 것은 특히 어려웠습니다.

이 대회를 통해서 주최 측은 여러 가지 금융 분야에 알려져 있는 가설들을 확인하고자 했습니다. 효율적 시장 가설부터 집단 지성에 대한 가설까지 총 10개의 가설들이 분석되었고, 이 중에서 주요 가설들을 일부 공유드리겠습니다^[1]. 가설에 대해 정확한 결론을 얻기 위해 벤치마크와 동일하게 제출한 팀들의 결과는 제외하고, 가설에서 대상으로 하는 기준에 따라서 적합하게 대상팀들을 선택하여 분석했습니다.

1. 가설 1 : 효율적 시장 가설은 대부분 팀에 해당하지만, 상위권 팀에는 맞지 않을 것이다.

표 2. Statistics summarizing the performance of the benchmark and the teams (mean and standard deviation)
in terms of returns, risk, and IR across the 12 submission points and in total^[1]

표 2는 12개 각각의 제출 지점 별 벤치마크와 팀들의 수익률, 위험, 그리고 IR 성능을 전체적으로 요약한 것입니다. 대다수의 팀들(75%)이 벤치마크보다 덜 위험한 포트폴리오를 구성하는 데 성공했지만, 31%만이 더 높은 수익률과 IR을 실현했습니다. 또한, 벤치마크 수익률이 긍정적일 때 벤치마크를 초과한 팀의 비율이 일반적으로 더 높았다는 점을 관찰할 수 있습니다. 이는 많은 팀들이 방향성 편향을 채택했음을 의미합니다. 따라서 전반적으로 벤치마크가 “평균” 팀보다 더 잘한 것은 놀라운 일이 아닙니다. 그러나, 일부 팀들은 시장을 큰 차이로 이기는데 성공했습니다. 12개월 전체 기간을 보면 벤치마크가 IR 0.453을 실현한 반면, 팀들은 평균 -3.421 ± 9.832의 점수를 달성했습니다. 다시 말해, 정규 분포를 가정할 때, 약 16%의 팀들(평균보다 표준편차가 높은)이 6.411 이상의 IR을 기록하는 데 성공했으며, 이는 유의미한 차이로 볼 수 있습니다.

표 3. 벤치마크와 다른 결과를 제출한 148개 팀의 IR 분포, returns, and risk^[1]

LG AI연구원의 LAIR팀은 20이상의 IR을 달성했습니다. 효율적 시장 가설이 대다수의 팀에게는 적용되지만, 최고 성능을 보이는 팀들에게는 적용되지 않는다는 것은 표 3에서 분명하게 나타납니다. 표 1과 일치하게, 팀들의 평균 및 중앙값 성능이 벤치마크보다 나쁘지만, 소수의 팀들이 매우 높은 IR 값과 함께 약 30%의 인상적인 수익률을 달성했다는 것을 관찰할 수 있습니다. 또한, IR 측면에서의 개선이 최하위에서 최고 성능 팀으로 이동함에 따라 지수적으로 증가한다는 것을 확인할 수 있습니다. 동시에, 팀들의 성능은 평균을 중심으로 상당히 대칭적인데, 이는 7%를 초과하는 손실을 기록한 팀들이 4분의 1 이상이며, 최대 46%에 이르렀다는 의미입니다.

1. 가설 2 : 순위 예측과 투자 결정, 두 부문에서 명확하게 잘하는 소수의 팀이 있을 것이다.

평균 IR 및 RPS 점수는 각각 -3.087과 0.179였으며 해당 점수의 중앙값은 -1.473 및 0.162이었습니다. 이 팀들 중 75팀(46.3%)이 평균 제출 결과보다 예측 정확도와 포트폴리오 수익률 측면에서 더 나은 성과를 보였고, 41팀(25.3%)은 중간값 제출 결과보다 우수한 성과를 보였습니다. 참가자들 중 소수만이 평균과 중간 제출 결과보다 명확하게 우수한 성과를 보였습니다. 75팀 중 19팀(그리고 중간값에 대해 41팀 중 5팀)이 부정적인 수익을 보고했으며, 평균 예측 정확도 향상은 10% 미만(중간값에 대해서는 4% 미만)입니다. 동시에, 최대 정확도 향상은 평균 제출에 대해 12.7%, 중간 제출에 대해 3.7%입니다. 벤치마크를 기준점으로 사용할 때 우수한 성과를 보인 팀의 수는 더 적습니다. 구체적으로, 단 11팀만이 벤치마크보다 더 나은 IR과 RPS 점수를 보고했으며, 투자 챌린지에서 주목할 만한 개선이 확인되었지만, 예측 정확도 개선은 2.2%를 초과하지 않습니다. 이러한 맥락에서 이 가설은 참이었습니다.

1. 가설 3 : 개별 종목의 순위 예측력과 위험 대비 투자 수익률 사이에는 약한 연결이 존재할 것이고, 이 링크의 강도는 팀 순위가 높아질수록 강해질 것이다.

표 4. IR과 RPS의 관계 (왼쪽), 팀 순위에 따라 RPS와 IR의 correlation을 나타낸 그래프 (OR = Overall, IR과 RPS를 전부 고려한 수치)^[1]

가설 평가를 위해 먼저 IR과 RPS 사이의 상관계수 r을 계산합니다. 전체 팀 세트를 고려했을 때, 이 두 변수 사이에는 연결이 없음이 밝혀졌고(r = 0.04), 이는 표 4에 정리되어 있습니다. 그러나 M6가 두 부문에 대한 대회였기 때문에, 적어도 OR에 따른 상위 성능 팀들은 IR과 RPS 측면에서 상대적으로 높은 점수를 달성했어야 합니다. 표 4는 어느 정도 이 가설을 확인시켜 주며, 높은 OR을 가진 팀들은 더 효율적인 포트폴리오를 구성하고 동시에 더 정확한 예측을 생산하는 경향이 있었습니다. 그러나 이 연결은 전체적으로 약하게 나타났습니다. 상위 20% 팀에서는 최고였지만(r = 0.7), 40% 이상의 팀을 고려할 때 사라집니다. 또한, 상위 5% 팀에 대해서는 두 측정치 사이에 연관성이 없음(r = 0.12)이 밝혀져, 최고의 순위 예측 결과를 제출한 팀들이 투자 결정은 잘 수행하지 못했음을 의미합니다. 이후의 발견은 동일한 상관 분석이 수행되었지만, 이번에는 팀들이 OR 대신 IR과 RPS 점수에 따라 순위가 매겨졌을 때 확인되었습니다. 표 4에 나타나듯이, 순위 예측에서 상위권 팀들은 평균적으로 비효율적인 포트폴리오를 구성했으며(negative 또는 0에 가까운 계수), 투자 결정에서 상위권 팀들은 다양한 정확도 수준의 예측을 제출했습니다(0 또는 negative).

추가적으로 순위 예측보다 이론적으로 더 위험한 투자 결정을 할 것이라는 가설도 검증해 보았습니다. 이를 위해 투자된 자산의 평균 수와 자산당 평균 절대 투자 가중치를 활용했습니다. 이 두 변수들의 설명에서 알 수 있듯이, 첫 번째 변수는 구성된 포트폴리오에 관여하는 자산의 수 측면에서 집중도를 측정합니다(자산이 많을수록 집중도와 위험이 낮음). 두 번째는 자산당 투자된 자본 측면에서 집중도를 측정합니다(투자 가중치가 클수록 집중도와 위험이 높음). 두 집중 대리 변수와 RPS 사이의 상관관계를 측정해 보니, 작은 음의 상관관계(r = -0.05)를 확인했습니다. 이는 일반적으로 팀들이 취한 위험을 그들의 예측 정확도로 정당화할 수 없음을 확인시켜 줍니다.

1. 가설 4 : 포트폴리오에서 상위권인 팀은 포트폴리오 구성할 때, 정확한 예측이 가능한 자산을 활용할 것이다.

표 5. RPS 범위 별 평균 투자 비중의 분포. 총 4개의 기준 상위 15개 팀의 결과를 대상으로 분석.
(connected는 IR과 RPS의 관계가 있는 것으로 추정되는 경우)^[1]

앞서 투자 결정 부문에서 상위권 팀이라고 해서 꼭 순위 예측에서도 좋은 결과를 얻은 것은 아님을 확인했습니다. 이번 가설을 위해서 RPS 기준으로 high, moderate, low의 3단계로 구분하고, 해당하는 팀들이 투자한 종목들의 투자 비중 평균을 비교했습니다. 만약에 high와 low의 분포가 유의미하게 차이가 나고, high는 weight이 높게 low는 낮게 나타난다면 가설 4는 맞는 것이 됩니다. 표 5는 기준을 달리해서 일부 팀을 선택해 그 분포를 확인한 것입니다. IR과 RPS의 correlation이 높은 순으로 connected 강도를 판단했습니다. 기준은 IR 및 IR과 RPS의 correlation, 그리고 제출 시 답변입니다. IR 기준으로 상위권 팀은 예측과 상관없이 투자 비중을 결정한 것으로 보이며, connected 되어있는 경우에는 약간의 분포 차이는 있으나 유의미한 차이라고 보기 어렵습니다. 같이 고려한다고 했던 팀들의 경우는 오히려 low에서 높은 평균 투자 비중을 나타냈습니다. 이러한 결과로부터 가설 4는 맞지 않다고 결론 내릴 수 있습니다.

1. 가설 5 : IR 기준의 팀 순위는 수익률(returns) 또는 수익률 변동성(risk) 기반 순위와 다를 것이다.

표 6. IR, returns (수익률), risk (수익률의 변동성) 간의 관계를 참가팀들의 퍼포먼스 기준으로 나타낸 그래프^[1]

표 6에서 확인할 수 있듯 risk과 수익률 사이의 correlation은 평균적으로는 낮게, 상위팀에서는 중간 정도로 나타났습니다. IR과 수익률은 아주 강한 correlation이 있었지만 오히려 상위권 팀으로 갈수록 점점 낮아졌습니다. 이 결과로부터, 리스크를 감수하는 것이 항상 높은 수익률을 보장한다고 말하는 것은 어렵습니다. IR과 risk는 상위권으로 갈수록 음의 상관관계가 약하게 나타나는 경향이 있었으나, 최상위권 팀의 경우에는 크게 상관이 없었습니다. 수익률과 risk에 대한 현상이 전혀 다르게 나타났으므로 이 가설은 참이었습니다. 표 6의 오른쪽 아래 그래프를 보면 상위권 팀들의 경우 낮은 리스트에서 가장 높은 수익률을 달성하고 있음을 알 수 있습니다.

1. 가설 6 : 순위 예측에 대한 신뢰도가 높아서 대부분의 팀들은 실제 데이터에 나타나는 랭크 분포보다 더 적은 분산을 가지고, 낮은 변동성을 보일 것이다.

순위 예측 결과에 대한 각 팀들의 신뢰의 강도를 확인하기 위한 가설입니다. 예를 들어 순위 예측이 정확하다는 판단을 했다면 어떤 종목은 하나의 랭크에 1을 할당해서 다른 80개의 범위로는 순위가 벗어나지 않는다고 확신할 수 있습니다. 매우 낮은 평가 확률(거의 0에 가까운)의 경우, 결과의 상대적 빈도가 평가된 확률보다 높을 것으로 예상되며, 매우 높은 평가 확률(거의 1에 가까운)의 경우, 결과의 상대적 빈도가 평가된 확률보다 낮을 것으로 예상됩니다. (예를 들어, Lichtenstein et al., 1982 참조).

표 7. 실제 평가된 확률(assessed probability)과 상대적 빈도(relative frequency)의 관계^[1]

대부분의 참가팀들은 순위 예측에서 좋은 성과를 내지 못했습니다. 위 그래프는 각 팀들이 예측한 결과를 보정 곡선(calibration curve)으로 나타낸 것입니다. 이 그래프는 결과의 상대적 빈도(relative frequency)와 평가된 확률(assessed probability)을 대비하여 표현했습니다. 점선의 대각선은 완벽한 보정을 나타내고, 실선은 실제 성과를 보여줍니다. 평가된 확률이 0.3보다 높을 때, 상대적 빈도가 평가된 확률보다 낮으면 평가된 확률이 증가할수록 이 차이가 커집니다. 반대로 낮은 쪽의 확률에서는 빈도가 확률보다 높습니다. 양쪽의 극단적인 확률 대비 빈도로부터 우리는 팀들이 예측에 대해 과신하고 있다고 볼 수 있습니다. 추가적으로 상위 10개 팀의 결과를 분석하면 0.7 이상의 높은 확률을 할당하지 않는 것을 확인할 수 있었습니다. 이런 부분을 종합하면 이 가설은 참이라고 볼 수 있습니다.

1. 가설 7. 각 종목마다 성과가 낮은 팀을 제외하고 나머지 팀들의 평균 예측 순위(투자 가중치)의 평균치를 사용하면, 대다수 팀의 결과보다 좋은 결과를 얻을 수 있다.

표 8. 성과 기준으로 팀 제출본들의 앙상블 결과를 RPS와 IR 기준으로 평가한 그래프. (성과 기준은 RPS, IR, OR)^[1]

이 가설은 집단 지성을 기반으로 설정한 이론입니다. 결과가 안 좋은 팀을 제외하고 대부분의 결과를 개별 종목마다 전부 평균을 내서 적용한 경우에 더 나은 결과를 얻을 수 있었습니다. 표 8에서 볼 수 있듯 RPS의 경우 벤치마크보다 좋은 성능을 나타냈으며 RPS 상위 20% 결과를 조합하는 경우 가장 좋았던 Best 결과보다 더 좋은 결과를 얻을 수 있었습니다. 오히려 두 부문을 모두 고려하는 OR 기준으로 상위권을 조합하는 경우에는 best와 근접하지만 더 나은 결과를 얻지는 못했습니다. IR의 경우에는 상위 80%의 조합부터 벤치마크 보다 좋은 수치를 보여주며 IR 상위 15%의 조합부터 best보다 거의 170%에 가까운 결과를 얻을 수 있었습니다. 반대로 OR 결과는 꾸준히 상승하다가 상위권에서는 오히려 하락하는 현상이 나타났습니다. 결과를 종합하면 집단 지성은 효과적인 것으로 나타났습니다.

주요 가설들에 대한 분석 결과 중에는 예상했던 결과도 있었지만 의외의 결과도 확인할 수 있었습니다. 대부분의 경우에 예측을 잘하는 것은 매우 어려운 일임을 다시 한번 확인할 수 있었습니다. 물론 벤치마크보다 더 잘하는 팀들이 있었지만 만점이 0이고 벤치마크가 0.16임을 감안하면 0.14-5 정도가 가장 좋은 수치인 것은 예측의 한계점을 잘 보여줍니다. 다시 말하면 RPS 0.1 이하가 나올 수 있는 방법을 찾는 것은 정말 도전적인 일이 될 것입니다. IR 측면에서는 전체의 약 60%가 보통 7%를 초과하였고, 최저는 -46%의 수익률도 나왔습니다. 또한, 팀들의 3분의 1 미만만이 벤치마크를 초과하는 성과를 낼 수 있었으며, 꾸준히 시장을 초과하는 성과를 낸 참가팀은 매우 소수에 불과했습니다. 경쟁하는 12개월 동안 벤치마크보다 높은 IR을 달성한 팀이 없었고, 8개월 이상 시장을 이긴 팀은 단 4팀에 불과했습니다. LG AI연구원의 LAIR팀은 이 4팀 중에 한 팀으로 전체 4등을 달성하는 성과를 냈습니다. 특히 결과를 분석해 보면 벤치마크가 하락할 때 좋은 성과를 얻을 수 있었는데, 이는 다른 팀들은 하락하는 시장에 대응하기 위해 공매도가 포함된 포트폴리오를 제대로 구성하지 못했음을 의미합니다. 그리고 예측과 투자 성과의 관계가 약한 것으로 나타나는 부분에 대해서도 LG AI연구원의 LAIR팀은 이 두 가지를 같이 고려할 수 있도록 예측 기반의 기술들을 연구 개발하였습니다. 추가적으로 발견된 부분은 집단 지성이 옳다는 것입니다. 하지만 실제로는 다른 투자자들의 포트폴리오를 알기 어렵기 때문에 이를 간접적으로 반영할 수 있다면 더 나은 결과를 얻을 것이라 추정할 수 있습니다.

마지막으로 꾸준히 하나의 전략을 고수하는 것보다는 시장의 변화에 대응할 수 있는 전략이 결국 더 좋은 성과로 이어졌다는 것입니다. AI 분야에서 많이 다뤄지고 있는 distribution shift, OOD detection, anomaly 등의 접근이 시장 변화에도 유효하게 작용했기 때문에 좋은 성과를 얻을 수 있었습니다. 대부분의 시장 참여자들은 전략을 노출하지 않기 때문에 이번 대회에서 공유된 결과는 그 가치가 높습니다. 약 200개의 팀이 시장을 대변할 수는 없겠지만 다른 사람들이 어떤 접근을 하고 있고, 어떤 결과들을 얻었는지를 알고 있는 것은 경쟁에서 매우 중요합니다. 저희는 이런 요소들을 AI에 반영해서 더 나은 예측과 설명, 최적화 문제를 풀어나가도록 하겠습니다.

2. The Future of Time Series Forecasting

사진 2. The future of forecasting and the M6 competition conference
ⓒhttps://mofc.unic.ac.cy/

다음으로는 학계와 산업계의 AI 기반 예측 문제에 대한 연구 동향 및 전망에 대해 논의되었던 이슈들을 공유드리겠습니다. 학교 외에도 예측 기술을 파는 회사, 메타(Meta), 구글(Google) 등의 빅테크 기업에서 각각 풀고 있는 예측 문제들에 어떻게 접근하고 있는지 알 수 있었습니다. 여기서는 가장 언급이 많았던 이슈들 위주로 말씀드리겠습니다.

먼저 Large Language Model (LLM, 거대 언어 모델) 이었습니다. 아직 LLM을 예측에 활용하고 있는 곳은 없었지만, 대부분 활용계획을 검토하고 있었습니다. 특히 비정형 텍스트 데이터를 예측에 반영할 수 있다는 점 덕분에 주로 뉴스를 기반으로 한 시도가 많았습니다. 단순히 감성을 분석하는 것뿐 아니라 instruction tuning 등을 통해서 다양한 상황에 활용이 가능했습니다. 조건이 변하는 것을 텍스트로 입력값을 받고, 결과인 예측값이 변할 수 있도록 시뮬레이션을 구성하고, 사용자 피드백을 통해서 점차 발전시킬 수도 있습니다. 예측 성능 자체를 개선하는 데에도 활용할 수 있지만, 예측 결과에 대한 설명도 충분히 가능한 영역이었습니다. 점차 예측 기술이 발전하면서, 참고하는 정도가 아니라 예측을 직접 사용하는 단계에서는 이 설명이 필요하다는 의견도 있었습니다. 단순히 값만 있다면 정확도가 100%라도 쉽게 이를 적용하기 어렵다는 부분이 공통된 고민이었습니다. 저희도 비슷한 고민들을 하고 있었기 때문에 매우 공감이 가는 부분이었습니다. 예측 정확도만 높으면 모든 것이 해결되는 것이 아님은 LG뿐 아니라 실제 현업에 AI를 적용하는 모든 사람들이 겪는 일임을 알게 되었습니다. 그래서 흥미롭게도 알고리즘에 대한 얘기뿐 아니라 사용자의 심리적인 부분도 고려되어야 하는 복합적인 문제라는 것을 깨달았습니다. 그래서 이런 부분을 극복하기 위해 LLM이 도움이 될 것으로 보았습니다.

LLM이 가져온 규모 경쟁은 시계열 예측에도 영향을 주고 있습니다. 대규모 예측에 대한 기대와 전망도 있었습니다. 기존 연구들이 대부분 하나의 시계열을 어떻게 하면 더 잘 예측할 수 있을까에 대한 것이었다면, 앞으로는 대량의 시계열 예측에 대한 연구도 필요하다는 것입니다. 이는 언어 분야처럼 초거대 모델과 많은 데이터를 활용했을 때 이전과는 다르게 여러 문제가 풀렸던 것과 비슷한 일이 시계열에서도 진행될 것이라고 보았습니다. 많은 시계열 데이터를 예측하기 시작하면 100개, 1,000개 정도의 시계열을 다루던 것과는 또 다른 결과와 새로운 연구주제들이 나올 수 있습니다. 이미 이런 시도를 하고 있는 빅테크 회사들이 있고, 그 가능성을 높게 평가하고 있는 것을 확인했습니다. LG AI연구원도 초거대 모델을 다루고 있는 만큼, 이런 흐름에 맞춰 시계열 분야에서도 글로벌 수준의 도전들을 이어 나갈 수 있는 가능성을 보았습니다.

그 밖에도 예측 문제를 풀기 위한 여러 가지 방향들이 공유되었습니다. 먼저 관찰된 데이터뿐 아니라 합성 데이터를 적극적으로 활용하려는 시도가 활발히 이뤄지고 있음을 확인했습니다. 최근에는 관련 학회에서도 원하는 특징이 반영될 수 있는 시계열 생성 AI 모델 대회를 열기도 했습니다. 이런 시도들이 이뤄지는 배경에는 시계열 데이터가 이미지와 언어와 비교해서 정보가 적기 때문입니다. 데이터의 크기도 상대적으로 크지 않을 뿐 아니라, 결과를 평가하는 데 있어서도 수치 외에는 다른 배경지식을 활용하기 어렵습니다. 이런 부분들을 채워줄 수 있는 대안으로 많은 예측 전문가들이 합성 데이터를 주요하게 고려하고 있습니다. 관찰해서 기록된 데이터가 아니더라도 예측 정확도를 높이는 데 도움이 될 수 있다면 합성 데이터의 활용은 정보량을 늘릴 수 있는 좋은 방법이라는 판단입니다. 또 리튬처럼 이전에 나오지 않았던 새로운 수치들이 계속해서 나오는 등의 경우는 단순히 과거 데이터만 활용해서는 예측할 수 없는 영역입니다. 여러 가지 시나리오를 반영하는 다양한 시계열이 같이 학습되어야 극단적인 OOD 이슈에도 대응할 수 있습니다.

같은 맥락으로 모두가 겪는 문제 중에 하나인 결측치 처리에 대한 논의도 있었습니다. 학교나 실험용이 아닌 현실의 데이터는 주기적으로 기록되는 기계의 기록이 아닌 이상 결측치가 발생하거나 기록 주기가 들쭉날쭉해서 전처리 없이는 학습이 안되는 경우가 많습니다. 그래서 imputation이나 interpolation 등의 방법을 활용해서 결측 문제를 해결하기도 합니다. 통계적인 모델을 활용해서 채우기도 하지만 AI로 이 부분을 잘 채울 수 있을 뿐만 아니라, 목적에 맞게 채워지도록 학습도 가능한 모델들이 논의되었습니다. 이 분야는 이전부터 꾸준히 연구가 이뤄지던 분야이지만 제대로 효과를 보기에는 많은 튜닝이 필요합니다. 이번에는 실제 현업에서 이런 시행착오들을 거치면서 어느 정도 일반화된 구조로 구성하는 것이 가능하며, 성능 향상에 있어서 필수로 적용되어야 하는 과정임을 배웠습니다.

예측 현황과 많은 팁들이 공유되었지만, 공통된 질문은 그래서 과연 ‘좋은 예측은 무엇일까’에 대한 것이었습니다. 보통 좋은 예측은 높은 예측 정확도를 의미합니다. 하지만 현실에서는 예측 정확도가 실무자들의 활용성과 비즈니스 의사결정 과정에서 그대로 반영되지 않습니다. AI 기술 발전으로 어느 정도 복잡한 데이터에서도 예측이 가능해졌지만 정확도만을 목적으로 하는 것은 부족함이 있다는 전문가들이 많았습니다. 수요 예측 분야를 생각해 보면 높은 정확도의 예측을 하려면 지역과 브랜드별 정확도도 고려해야 하고, 확률적 예측 (probabilistic forecasts), 안정성 (stability), 설명 가능성 (explainability)도 신경 써야 합니다. 모두 예측에 주요하게 작용하는 요소이지만 실무에서 놓치기 쉬운 요소가 바로 안정성입니다. 안정성은 꾸준히 높은 정확도를 유지하는 것보다는, 비용과 관련이 있습니다. 예를 들어 미래의 특정 시점에 대해서 6개월 전에 한번 예측하고 3개월 전에 한번 예측하는 경우를 생각해 봅시다. 6개월 전에 예측한 값이 100이고, 3개월 전에 예측한 110이라면 같은 시점에 대해서 예측값은 10의 차이가 납니다. 이 차이는 예측과 관련된 생산, 유통 계획을 변경하게 만들고 결국 이것이 비용으로 이어지게 됩니다. 이러한 비용 문제는 규모가 작은 경우에는 무시할 만한 수준일 수도 있지만 글로벌 물류와 관련된 큰 규모의 산업이라면 AI 예측값 사용을 망설이게 하는 원인이 됩니다. 이번 학회에서는 이런 문제를 풀기 위한 여러 가지 방안이 제시되었습니다. 그중의 하나는 loss에 stability term을 추가해서 학습하는 과정에서 안정성을 고려하도록 하는 것입니다. 이 개선된 loss는 모델과 상관없이 적용 가능한 형태로 목적은 이전에 이뤄진 예측들을 고려합니다. 그래서 장점은 갑자기 이전 예측 경향과 크게 차이 나는 결과가 나오지 않고, 모멘텀 효과를 누릴 수 있다는 것입니다. 반대로 급격한 변화가 나올 수 있는 경우에는 잘 반영하지 못할 것으로 예상했으나, 실제 적용 결과는 오히려 급격한 변화에도 일부 효과가 있는 것으로 나타났습니다. 특히 수요 데이터인 M3, M4에서 효과를 검증한 결과라서 설득력이 있었습니다. AI연구원도 계열사의 수요예측을 진행하고 있고, 다루는 문제 중에도 같은 문제가 있었기 때문에 문제 해결을 위한 실마리를 찾을 수 있었습니다.

이렇듯 예측은 단순히 예측 오차만으로는 평가하기 어려운 영역이 존재합니다. 그래서 예측 문제는 예측 자체뿐만 아니라 전부 의사결정의 한 과정으로 보아야 합니다. 좋은 예측에 대한 정의를 ‘오차’만으로 하는 것은 의사결정 측면에서 최적이 아닐 수 있습니다. 흥미롭게도 많은 빅테크 기업의 예측 전문가들의 인터뷰를 종합한 결론 또한 비슷했습니다. 이제는 단순 정확도를 논하는 것에서 벗어날 필요가 있다는 것입니다. 예측 과정의 목적은 정확한 예측을 하기 위함이 아니라 예측에 필요한 모든 요소를 고려했는지 실무자들이 논의할 수 있도록 하는 것이라는 의견도 있었습니다. 이런 과정들이 지나가고 미래에는 예측이 어떤 특수한 전문 기술이 아니라 모든 부분에서 자연스럽고 당연하게 포함되는 기능이 될 가능성이 높다는 것이 결론이었습니다. 그렇게 되려면 최종적으로 필요한 의사결정으로부터 거꾸로 모델과 좋은 예측이 무엇인지 고민해 볼 필요가 있습니다. 따라서 복잡한 데이터를 해석, 예측, 최적화하는 다양한 인공지능 연구를 진행하고 있는 LG AI연구원의 Data Intelligence랩에서도 기존 예측 모델 연구와 더불어 비즈니스 의사결정 측면에서도 효과적인 기술들을 더욱 고도화해 나가려고 합니다.