[IJCAI 2022] 참관 후기 및 Deep Graph Learning 연구 동향

ICJAI (International Joint Conference on Artificial Intelligence 2022)는 1969년 최초로 개최되어 유구한 역사를 자랑하는 인공지능 학회로 올해는 오스트리아 빈에서 7월 23일부터 7월 29일까지 개최되었습니다. 초대 학회 이후 2년마다 개최되다가 지난 2016년부터 1년에 한 번 개최되어 올해로 31번째를 맞이한 ICJAI는 인공지능의 광범위한 연구 주제를 다루면서도 최근 채 20%에 미치지 못하는 acceptance rate를 보이며 매우 높은 수준을 유지하고 있습니다.

학회에서 각국의 AI 연구원은 Invited talk, Workshops, Tutorials, Presentation, Poster session 등의 연구 관련 세션을 통해 학술적인 교류는 물론, 음악과 함께 즐기는 Banquet, Reception, Opening ceremony 등의 행사를 통해 문화적인 교류도 나누었습니다.

Figure 1. IJCAI 2022 현장

이번 IJCAI 2022는 온⋅오프라인을 아우르는 하이브리드 형식으로 진행되었지만, 그 간극이 느껴지지 않을 만큼 열띤 토론이 오가는 뜨거운 학술의 장이 되었습니다. 특히, Deep learning methodology, AI framework를 제안하는 연구를 비롯해 Application/System 연구, Robotic demo 등 다양한 연구 산출물이 소개되었습니다. 이처럼, IJCAI 2022에서 살펴본 최근 AI 연구 동향을 소개하겠습니다.

연구 동향

IJCAI는 실존하는 현실적인 문제를 해결하는 Deep learning methodology나 Framework에 특히 강세를 보이는 학회라고 생각합니다. 이에 이번 IJCAI 2022에서 발표된 Main track 연구, Workshop을 통해 관련 연구 동향을 파악해 보았습니다.

Main track 논문을 살펴보면 전반적으로 강화학습과 관련된 연구가 많았습니다. Agent/Multi-Agent Systems, Planning, Constraint satisfaction 관련 논문 발표가 많았고, 실제로 많은 청중이 참석한 것을 볼 수 있었습니다. 뿐만 아니라, Robotic과 Deep reinforcement learning 연구도 다수 발표되어 전반적으로 강화 학습 연구를 많이 접하고 관련된 정보를 얻을 수 있었습니다.

또한, Federated learning 연구도 이전에 비해 많아진 것을 볼 수 있었습니다. Knowledge base/graph 기반의 Reasoning 등 NLP 관련 연구도 상당히 눈에 띄었습니다. 다양한 Machine Learning Application 연구가 있었는데 그중에서도 Graph를 활용하여 해결하는 연구가 많이 보여 흥미로웠습니다. 특히 눈에 띄는 연구 분야는 강화 학습과 Federated learning이었지만, 꾸준히 연구되는 Representation learning 논문 중에도 흥미로운 주제가 많아 학회 기간 중 Discussion이 활발하게 이루어졌습니다.

이 밖에도 IJCAI 2022 기간 중 진행되었던 다수의 Workshop 키워드로도 연구 동향을 파악할 수 있었습니다. 컨퍼런스에서 진행된 약 30회의 Workshop 중 10회가 강화 학습과 관련되어 있었으며, 그중에는 Agent System, Safe RL 등 강화 학습을 직접 다루는 Workshop뿐 아니라, Agent나 강화 학습을 활용하는 Application 분야의 Workshop도 많았습니다.

그다음으로는 Reasoning 관련 Workshop이 약 6회 진행됐습니다. NLP에서의 Reasoning뿐만 아니라 Temporal reasoning, Qualitative reasoning 등 다양한 주제의 Workshop이 진행되는 등 점점 Deep learning model의 Reasoning 능력이 중시되고 있다는 점을 알 수 있었습니다. 이 밖에도 Timeseries 혹은 Spatio-temporal data 관련 Workshop도 3회가량 진행됐습니다. 이전부터 강조되어 온 Temporal 혹은 Dynamic 정보 학습의 중요성에 관한 연구가 더 많아지고 있다는 것을 실감했습니다. 또한, Scarce data 관련 Workshop이 두 번 진행됐습니다.

특히 Workshop의 키워드를 통해 이전에 자주 찾아볼 수 있었던 Big Data 키워드가 더 이상 IJCAI에서 찾아보기 어려워졌다는 것을 알 수 있었습니다. 대용량 데이터를 효율적으로 처리할 수 있는 방법론들을 제외하면, 최근에는 부족한 Data로부터 Big insight를 찾아내는 것이 더욱 중요한 기술로 대두되고 있다는 것을 느낄 수 있었습니다.

Invited Talk

비대면 학회와 달리 오프라인에서 진행되는 학회의 장점은 참가자들이 저명한 연구자를 직접 만나고, 현장에서 저자들과 연구에 관해 논의할 수 있다는 점입니다. 또한, Invited Talk 세션에서는 유명한 연구자가 연사로 나서 주요 연구와 각 연구 분야가 나아가야 할 방향을 주제로 하는 강연을 들을 수 있었습니다. 이번 IJCAI 2022에서 진행된 Invited Talk에서는 딥러닝 방법론은 물론이고, 의학/약학 분야에서의 AI, AI가 야기하는 부정적인 사회 변화를 해결하는 AI, AI-assisted Programming 등까지 풍부한 주제를 다루어 흥미로운 강연들이 많았습니다. 그중 특히 많은 인원이 참석한 Invited talk는 UCLA Judea Pearl 교수의 강연과 Microsoft Research Sumit Gulwani 박사의 강연이었습니다.

Figure 2. Microsoft Research Sumit Gulwani 박사의 강연 현장
AI-assisted Programming에 관한 강연으로 Transformer 모델과 강화 학습을 사용한 Code Generation 등의 내용을 다루었으며,
Code generation이 현실적으로 유용한 분야인 만큼 많은 인원이 참석했습니다.

여러 Invited talk 세션 중에서도 Applied AI Research Lab이 주력하는 Forecasting 연구에 도움이 될 것 같아 Judea Pearl 교수의 강연에 참석했습니다. 온라인으로 진행된 Judea Pearl 교수의 강연은 Machine learning에 대한 Causal inference의 필요성과 그 활용에 관한 내용으로 구성되었습니다.

관련 연구가 활발해지면서, 많은 연구자가 Machine learning에서 "Black-box" 모델이 Interpretation 되지 않고 모델에 일부 취약한 부분이 존재한다는 점을 지적하며, 데이터의 Knowledge extraction을 향상시키기 위해서 Causal inference를 응용하고 있습니다. Judea Pearl 교수는 해당 모델 학습을 통해 얻고자 하는 Knowledge는 Deep understanding과 같다고 말하며, Deep understanding을 ‘통제 가능하다고 느껴지는 지식 혹은 그 상태’로 설명합니다. 그래서 Deep understanding은 Prediction 문제, Interpretation 문제, Counterfactual 문제를 해결할 수 있다고 말합니다. 그리고 이 Deep understanding을 얻기 위한 수단이 바로 Causal inference입니다.

Causal inference는 Causal 정보를 Black-box를 활용하지 않고 가시적으로 인코딩합니다. 그렇기 때문에 Action과 Policy의 영향을 예측할 방안이 되기도 합니다. 또한 Causal inference는 Counterfactual을 계산하고 인과 관계를 찾을 수 있습니다. 이는 Explanation 문제에 활용될 수 있습니다. 이 밖에도 Causal inference는 Direct effect와 Indirect effect도 찾을 수 있는데, 이 부분은 Discrimination, Fairness 문제에 도움을 줄 수 있습니다. 이처럼 Causal inference는 인과 예측이나 계산에 유리하기 때문에, 다양한 Source나 Condition에서 나온 Data integration이나 Fusion에 도움을 줄 수 있습니다. 다른 도메인에서, 혹은 다른 Condition 정보를 가지는 Data를 합쳐서 보는 것이 쉬운 문제는 아니지만, Causal inference는 새로운 도메인이나 Condition에서의 Effect 정보를 잘 추정해 높은 수준의 Data integration 결과를 냅니다. 이는 Selection bias를 낮추는 문제 등에서 효과를 낼 수 있습니다.

Figure 3. 온라인으로 진행된 Judea Pearl 교수의 Invited talk 장면

[Graph Representation Learning: 단순한 Message Passing을 넘어 Topology, Geometry 활용으로 진화]

Graph Convolution Networks (GCNs) 발표 이후 꾸준하게 연구되어 온 Graph Representation Learning은 Message Passing scheme을 기반으로 주변 이웃 노드들의 메시지(feature)를 Aggregate하여 Update하는 방향으로 진행되었습니다. 하지만 IJCAI 2022를 비롯하여, 최근 Graph representation learning의 연구는 Topology 혹은 Geometry 특성을 활용하여 Graph 구조를 학습하는 것에 주목하고 있습니다. 또한, 이전의 연구는 고정된 Static graph, Node/Edge에 Hierarchy가 존재하지 않는 Homogeneous graph를 기준으로 연구가 진행되었으나 올해 IJCAI 2022에서는 시간에 따라 변화하는 Dynamic graph, Node/Edge에 Hierarchical 성질이 반영된 Heterogeneous graph 연구가 눈에 띄었습니다.

저희 LG AI연구원 Applied AI Research Lab에서는 Session-based 추천 시스템과 Graph-based 추천 시스템 연구를 진행하고 있습니다. 보편적인 User-Item 데이터는 Node 타입이 User와 Item 두 가지인 Heterogeneous graph로 볼 수 있고, Session-based 추천 데이터를 그래프로 표현하면 Dynamic/Temporal graph가 됩니다.

Figure 4. 추천 데이터를 Graph로 표현했을 때의 예시^[1]
Node 타입이 User와 Item (음식)인 Heterogeneous graph인 동시에 t=1,2,…,5 인 session 정보를 담은 Dynamic graph입니다. 추천은 Graph 데이터 상에서 Link Prediction task와 같습니다. 이 예시에서는 어떤 item node와 target user 사이에서 t₆이 발생할지 예측하는 것입니다.

Heterogeneous graph를 구성하는 Node의 Representation embedding 방법론은 대부분 두 Node 간의 Relation을 학습할 수 있도록 정해지는 Meta-path와 그것의 general한 버전인 Meta-graph를 필요로 합니다. 하지만 Meta-path와 Meta-graph는 empirical하게 정의한다는 단점이 존재합니다. 이번 IJCAI에서는 이러한 단점을 극복하기 위해 Meta-path나 Meta-graph 없이 Simplicial complex를 활용해 Heterogeneous graph를 학습하는 방법론을 제안하는 연구가 소개되었습니다^[2].

Simplex는 삼각형과 사면체의 개념을 임의의 k차원에 대해 일반화한 개념입니다. 다포체라고도 부르며, 삼각형, 정사면체 등의 higher-order structure를 표현할 수 있습니다. 이러한 Simplex들로 구성된 공간을 Simplicial complex라고 하며, higher-order structure이 모여 형성되는 공간으로 볼 수 있습니다. 즉, Heterogeneous graph를 Simplex로 본다는 것은 Heterogeneous information을 Homogeneous simplex로 바꿔서 보겠다는 것입니다. 여러 Node Type, Edge Type 등의 정보가 다른 hierarchy를 가지는 Heterogeneity를 고려하는 것은 어려운데, 이를 k-simplex로 변환하면 정보들이 동일한 k 차원의 공간에 존재하는 것으로 한정해서 표현하고 Heterogeneity을 고려하지 않고도 학습할 수 있게 됩니다.

Heterogeneous graph에 Simplex를 적용하는 것은 구체적인 방법은 다음과 같습니다. 아래 예시는 Actor, Movie, Director로 이루어진 영화 데이터 그래프입니다. Movie 타입의 Node를 기준으로 보면, Vertex인 0-Simplex는 m1, m2, m3입니다. 그리고 m1, m2 사이의 1-hop 이웃 노드에는 a1, d1, d2가 있고, m1, m3 사이에는 a3, d2가, m2, m3 사이에는 a2, d2가 존재합니다. 두 Movie Node 쌍을 이어주는 다른 type의 node는 Edge인 1-Simplex로 표현할 수 있습니다. 즉, 1-Simplex인 Edge에는 각각 해당되는 다른 Type의 Node 별 feature를 aggregate하여 lifting 해줄 수 있습니다. 삼각형을 표현하는 2-Simplex는 Movie Node인 m1, m2, m3 세 개의 노드와 연결되어 있는 다른 Type의 이웃 노드로 찾을 수 있습니다. D2 Node는 m1, m2, m3 세 개의 노드와 연결되어 있기 때문에 삼각형(triangle)인 2-Simplex에는 d2의 특성을 반영합니다. 정사면체(tetrahedron)인 3-Simplex는 Movie Node가 4개 이상일 때, 4개의 Movie Node와 연결되어 있는 다른 Type의 이웃 노드의 유무로 찾을 수 있을 것입니다.

Figure 5. Heterogeneous graph 데이터에 Simplex를 적용하는 예시^[2]
Node type이 3개인 상황에서 1-hop 이웃 노드에 대하여 Node Type이 m인 Node의 Embedding을 구하는 개괄적인 그림으로, 자세한 설명은 앞서 설명한 문단에 있습니다.

이렇게 찾은 K-Simplex를 모아서 각 k (k=0,1,…,K-1) 별로 Simplicial adjacency matrix로 만들 수 있습니다. 0부터 K-1까지의 Simplicial adjacency matrix를 Graph attention mechanism으로 학습시켜 0-simplex에 해당하는 Target type을 가지는 Node의 Embedding을 구합니다. 이렇게 Node embedding을 구하면, meta-path나 meta-graph를 정의하지 않고도 다른 층위의 Node Type 정보를 고려하여 각 Node의 Embedding을 학습할 수 있습니다. Meta-path, meta-graph를 사용하지 않아 empirical한 meta-path 선정 과정과 놓치는 higher-order 정보를 없앴다는 점에서 흥미로웠고 의미가 있었습니다.

이번 IJCAI 2022에서 저는 Large-scale dynamic graph를 Incremental learning을 통해 학습하는 연구^[3]를 발표했습니다. Session-based 추천 데이터를 그래프로 표현하면 Dynamic (Temporal) graph가 됩니다. Dynamic graph는 시간에 따라 Node, Edge가 추가되거나 사라지는 등 구조가 변하는 그래프입니다. Real world에서의 그래프 데이터는 구조가 Static한 경우보다 변화하는 Dynamic한 경우가 많습니다. 다시 말해, 그래프의 Node embedding은 변화한 그래프 구조에 따라 업데이트가 되어야 합니다. 반면, 그에 따른 리소스는 클 뿐만 아니라 증가하는 형태를 보입니다.

Figure 6. 파란색 Node와 굵은 Edge가 추가된 Structure^[3]
추가된 Structure에 따라 보라색 Node i의 Receptive Field가 이전 time step과 다르게 변화한 것을 볼 수 있습니다. 이는 Dynamic graph의 특징으로 볼 수 있는데, 이렇게 변화하는 Receptive field 정보를 기존의 Incremental learning 방법은 고려하지 못합니다. 이미지 도메인에서의 Incremental learning은 Data Instance (e.g., Image instances, Nodes) 간의 Independent함을 가정하기 때문입니다.

새롭게 변화한 그래프의 구조는 기존 그래프 Node에 영향을 미칩니다. Edge라는 Dependency가 있기 때문에 Propagation Matrix를 사용해 영향의 정도를 측정합니다. 그리고 새로운 구조에 대해서 영향을 크게 받는 Node의 Embedding에 바뀐 구조를 반영해 Embedding을 Update합니다. 반대로, Propagation matrix를 사용해서 전혀 영향을 받지 않은 기존 Node도 구분할 수 있습니다. 바뀐 그래프 구조에 대한 Loss의 변화량에 대한 기댓값을 구하여, 변화한 그래프 구조에 영향을 받지 않는 Node 중 Loss 변화량의 기댓값이 큰 Node를 Sampling합니다. 이렇게 Sampling된 Node는 Embedding이 변하지 않는 것이 바람직하지만 새롭게 바뀐 그래프 구조에 따른 Parameter update의 영향으로 바뀔 위험이 큰 Node로 해석할 수 있습니다. 따라서 Catastrophic Forgetting을 방지하는 방법을 함께 제안했습니다. 이 Node가 가지는 정보를 Knowledge Distillation으로 모델을 Penalize하는 것입니다. 이렇게 변화하는 Receptive Field와 Catastrophic Forgetting 문제를 해결하는 프레임워크를 통해 더 효율적으로 Dynamic graph를 학습할 수 있습니다. 다만, Incremental learning을 적용한 것이기 때문에 temporal 정보를 고려하여 Embedding 학습이 이루어지진 않습니다. 추후에는 Temporal 패턴도 함께 볼 수 있는 방법론을 찾고 싶습니다.

Figure 7. LG AI연구원 Applied AI Research Lab 김서윤 님 발표 현장

Conclusion

팬데믹으로 많은 학회가 장기간 버추얼 학회로 개최되던 중 오랜만에 이번 IJCAI2022는 오프라인으로 진행되어 많은 것을 얻을 수 있는 시간을 보냈습니다. 특히 서로 다른 백그라운드를 가지고 다양한 분야의 연구를 하는 각국의 연구자들을 직접 대면하고 장시간 교류할 수 있어 Q&A 세션, 포스터 세션 등이 더욱 풍성할 수 있었고 연구자로서 얻을 수 있는 정보도 많았던 것 같습니다.

또, 이번 학회를 통해 Graph 연구가 그동안 진행되어 왔던 틀에서 확장되고 있다는 것을 예측할 수 있었습니다. 지금까지는 Spatial GNN, Graph Attention 관련 연구가 한동안 많이 나왔고, 대부분 Node Classification task 해결을 중점으로 발전해 왔으나, 앞으로는 Graph 관련 다양한 task를 푸는 연구가 많이 진행될 것으로 예상됩니다. 또한, 기존의 GNN은 feature 정보에 상당 부분 의존해왔는데, 점차 Graph structure에 주목하는 연구로 나아가지 않을까 예측합니다.