[NeurIPS 2021] 3편: Neural Architecture Search Review

‘NeurIPS 2021(Conference and Workshop on Neural Information Processing Systems 2021, 신경정보처리시스템학회)’은 1987년에 처음 시작된 학회로, AI와 머신러닝 분야의 가장 권위 있는 학회 중 하나입니다. 약 20%의 논문 승인율을 바탕으로 매우 높은 수준을 유지하고 있으며, NeurIPS에서 산출되는 연구 결과가 갖는 기술적 영향도가 높아 최신 연구 트렌드를 살펴볼 수 있습니다. LG AI연구원 Applied AI Research lab 연구원들이 지난 2021년 12월 온라인으로 개최되었던 ‘NeurIPS 2021’에서 소개된 의미 있는 논문을 소개합니다. - 1편: Generative model - Diffusion model Review - Applied AI Research lab 정혜민님 - 2편: Variational Deep Embedding 기반의 Deep Clustering Review - Applied AI Research lab 양진석님 - 3편: Neural Architecture Search Review - Applied AI Research lab 안원빈님

Introduction

Neural Architecture Search (NAS)는 AutoML의 한 분야로 정해진 목표에 대해서 최적의 신경망 구조를 탐색하는 분야입니다. 대부분의 AI연구는 데이터마다 사람이 목적에 맞는 신경망 구조를 디자인합니다. 하지만 매번 데이터가 바뀔 때마다, 혹은 목적이 달라질 때마다 그에 적합한 구조를 찾는 것은 어려운 일입니다. 그래서 최적의 구조를 찾는 과정도 AI로 해결하려는 시도가 바로 NAS입니다. 아래 Figure 1은 일반적인 NAS를 도식화한 것입니다.

Figure 1. Overview of NAS

먼저 search space는 우리가 선택할 수 있는 activation function, layer 개수, node 개수 등을 정의한 것입니다. 더 많은 선택가능항을 space에 포함할수록 최적의 구조를 찾을 가능성은 높아지지만, 그만큼 더 많은 시간과 비용을 소요하게 됩니다. 그 다음 정의된 space 안에서 어떤 것을 선택하여 구조를 찾을지 결정하는 것이 search strategy로, 강화학습을 활용하기도 하고 진화적인 방법을 사용하기도 합니다. 그리고 이렇게 탐색된 구조는 그 성능을 측정한 후, 이 결과를 다시 다음 구조를 찾는데 활용합니다. NAS는 여러 변형이 존재하지만 대체로 이러한 구조를 가지고 있습니다. 단순하게 보면 탐색하고 측정하는 실험을 굉장히 여러 번 반복하면서 최적의 구조를 탐색하는 것으로 볼 수 있습니다.

How can we reduce search costs?

여러 실험을 반복하는 형태의 초기 NAS는 굉장히 오랜 시간을 들여 많은 비용을 사용해야 했습니다. 이 부분이 가장 큰 단점이었기 때문에, 비용감소는 NAS 분야에서 가장 큰 과제가 되었습니다. 이후로 비용감소를 위해서 많은 방법들이 연구되었고, Table 1은 목적에 따라 제안된 방법들을 정리한 것입니다.

Stabilizing Gradient-Based NAS and Training One-Shot Models	- Weights warm-up - Regularization and loss landscape smoothing - Normalization layers
Speeding up NAS	- Performance predictor - Proxy tasks - Speeding up the optimization process via sequential search - Pre-optimized search spaces
Improving the final performance	- Deriving optimal architectures from the search process - Hyperparameters, data augmentation and other tweaks for boosting Performance

Table 1. NAS의 비용감소 및 성능향상을 위한 테크닉들¹

NAS의 단계 중 가장 비용이 많이 드는 부분은 바로 성능 측정 부분입니다. 탐색된 구조에 데이터를 입력하고 학습하는 과정이기 때문입니다. 만약 space 전체를 대상으로 탐색하고 성능을 측정한다면 가능한 모든 경우의 수만큼의 학습과정이 필요합니다. 그래서 학습을 일부만 하거나 아예 하지 않고도 해당 구조의 성능을 예측할 수 있는 방법이 최근에 주목받고 있습니다. 사실 해당 구조의 최종 성능보다는 다른 구조보다 더 나은지 판별하는 것이 중요하기 때문입니다. 따라서 이는 랭킹 예측의 문제로도 볼 수 있습니다.

이번 NeurIPS 2021에서는 NAS와 관련된 accepted paper가 총 15건이었습니다. Table 2는 각 paper들을 접근 방식별로 분류한 표입니다. 이 글에서는 Table 2의 paper 중 예측기에 대한 paper를 리뷰하려고 합니다. 이번 리뷰를 통해서 어떤 예측기들이 있고, 각각의 성능은 어떤지 알아보겠습니다.

Quantization	•       Bai et al. “BatchQuant: Quantized-for-All Architecture Search with Robust Quantizer”
Meta Learning	•       Jeong et al. “Task-Adaptive Neural Network Search with Meta-Contrastive Learning” •       Lee et al. “Hardware-Adaptive Efficient Latency Prediction for NAS via Meta-Learning”
Graph Neural Network	•       Qin et al. “Graph Differentiable Architecture Search with Structure Learning”
Ensemble	•       Zaidi et al. “Neural Ensemble Search for Uncertainty Estimation and Dataset Shift”
Proxy task	•       Li et al. “Generic Neural Architecture Search via Regression”
Predictor	•       Lu et al. “TNASP: A Transformer-Based NAS Predictor with a Self-Evolution Framework”, •       Ning et al. “Evaluating Efficient Performance Estimators of Neural Architectures” •       Ru et al. “Speedy Performance Estimation for Neural Architecture Search” •       White et al. “How Powerful Are Performance Predictors in Neural Architecture Search?” •       Wu et al. “Stronger NAS with Weaker Predictors”
Others	•       Chen et al. “Searching the Search Space of Vision Transformer” •       Cui et al. “Differentiable Synthesis of Program Architectures” •       Gao et al. “Progressive Feature Interaction Search for Deep Sparse Network” •       Li et al. “Neural Architecture Dilation for Adversarial Robustness”

Table 2. NeurIPS 2021에서 NAS와 관련된 accepted papers

How powerful are performance predictor in NAS¹

처음 NAS가 제시되었을 때, 수없이 많은 신경망 구조를 학습하고 그 성능을 평가하여 최종 결과를 도출해내던 것과 비교하면 최근에는 일부분만 학습을 하거나 심지어 학습을 하지 않은 상태에서도 성능을 추정하는 효율적인 전략을 사용합니다. Figure 2는 이 연구에서 비교할 여러 방식의 성능 예측기를 나타낸 것입니다.

Figure 2. 성능 예측기의 종류들²

많은 성능 예측기들은 신경망 구조를 인코딩하여 입력으로 사용하고, 구조마다 최종 성능을 타겟으로 하는 모델을 학습하는 방식을 택하고 있습니다. 이와 같은 접근 방식은 단순하고 구현이 쉬운 편이라 인기가 많지만 최종 성능이 타겟으로 들어가는 만큼, 예측기를 만들기 위해서 완전히 학습된 모델이 여러 개 필요한 경우도 있습니다.

많은 예측기들은 단지 그 예측기를 만들기 위한 한정된 데이터에서만 평가가 되었기 때문에, 예측기들끼리 비교한 경우가 없어 어떤 예측기가 더 좋은 성능을 보이는지 알기가 어렵습니다. 그렇다고 단순 비교를 하기에는 실험환경이나 설정된 제한사항들이 전부 다르다는 문제가 있습니다. 그래서 저자들은 다음과 같은 두 가지 질문에 대해서 답을 얻고자 했습니다.

1) 어떻게 하면 다양한 방식의 예측기들을 비교할 수 있을까?
2) 여러 방식의 예측기들을 같이 사용하면 더 높은 예측 성능을 낼 수 있을까?

지금부터 각 질문에 대해서 어떻게 답을 구했는지 살펴보겠습니다. 먼저 1번 질문에 대한 답을 구하기 위해 저자들은 31개의 예측기를 잘 알려진 4개의 search space와 4개의 dataset에 적용하여 그 결과를 보았습니다. 사용된 search space와 dataset은 NAS-Bench-201 with CIFAR-10, CIFAR-100, ImageNet16-120, NAS-Bench-101, DARTS with CIFAR-10, 그리고 NAS-Bench-NLP with Penn TreeBank입니다. 공정한 비교를 위해서 모든 조합에 대해서 실험하였고, 예측기를 통해서 추출된 신경망들의 순위와 완전히 학습하고 추출한 실제 순위를 비교해서 예측기의 성능을 평가했습니다.

평가 metrics은 the Pearson correlation과 rank correlation metric (Spearman, Kendall Tau, and sparse Kendall Tau)을 사용했습니다. Train과 test에 사용된 구조들은 uniform하게 랜덤으로 생성하였고, 가장 높은 성능의 구조를 변형한 데이터도 실험에 같이 사용했습니다. 각 예측기가 얼마나 NAS 과정을 빠르게 진행시켜주는지, 그 성능을 보기위해서 실험 과정에서 bayesian optimization과 predictor-guided evolution 방법론을 적용하였습니다.

먼저 비교대상으로 선택된 예측기들에 대해서 알아보겠습니다. 각 예측기들은 설계 방식에 따라서 몇 가지 카테고리로 분류할 수 있습니다. 각 방식마다 특징이 있는데, 이 특징은 init time과 query time으로 평가합니다. init time은 initialization time으로 예측기의 초기화 시간을 의미합니다. 즉 오랫동안 미리 학습해야 하는 예측기는 학습이 필요 없는 예측기보다 높은 init time을 갖는다고 할 수 있습니다. query time은 탐색된 구조의 성능 예측 과정에 걸리는 시간으로, 즉 특정 구조를 탐색한 뒤 이 구조를 예측 과정의 입력으로 사용되는 시점부터 예측 성능이 출력되기까지의 시간을 의미합니다. 만약 어떤 구조의 성능을 알기 위해서 학습이 끝까지 진행되는 방식은 일부만 학습하는 방식에 비해 당연하게도 높은 query time을 갖게 됩니다. 다음은 5가지 예측기들의 방식과 각각의 방식이 가진 특성, 그리고 대표 예측기들을 알아보겠습니다.

Model-based predictors

모델 기반의 예측기는 대체로 supervised learning을 바탕으로 학습되며 크게는 회귀 문제로 접근하려는 예측기입니다. 입력이 되는 X는 구조를 인코딩한 결과로, 흔히 one-hot adjacency matrix를 주로 사용하고 목표값 Y는 학습된 구조의 최종 성능입니다. 이 사이에 회귀에 사용되는 방법은 여러가지가 있습니다. 대표적으로 Gaussian processes³, Boosted trees^4,5, GNNs^6,7, 특수 인코딩 적용^8,9 등의 방법들이 성능 예측에 사용됩니다. Figure 3은 신경망을 특정한 vector로 인코딩해서 예측기의 입력으로 사용하는 방식을 보여주고 있습니다. 이런 방식의 특징은 initialization time이 높고, query time이 낮은 것입니다. supervised learning으로 인해 학습을 위해서 실제로 최종 성능을 알아야 하기에 initialization time이 높기 때문인데요, 반면 예측기가 어느정도 학습된 후에는 단순히 입력이 이루어지면 순서에 따라 예측 성능이 출력되므로 query time은 낮습니다.

Figure 3. 신경망 구조를 인코딩하여 입력으로 사용²

Learning curve (LC) based predictors

learning curve를 기반으로 성능 예측을 하는 예측기는 초기 curve를 기반으로 extrapolation를 적용하는 방법^10,11과 training statistics를 이용하는 방법^12,13이 알려져 있습니다. Figure 4는 초기 학습 기록을 기반으로 앞으로 accuracy가 어떻게 될지 다양한 방식으로 예측한 것입니다. 기준을 정해서 early stopping을 하기도 하고, 미리 정한 임계치만큼 학습하고 그 동안의 loss를 전부 더한 값을 이용하기도 합니다. 이 연구에서는 학습 loss를 전부 더하는 방식을 SoTL-E로 표기하였습니다. 이 방식은 예측기를 학습하는 시간이 필요가 없고, 초기 학습 기록을 바탕으로 성능을 예측합니다. 반면 성능 예측을 위해서 구조마다 초기 학습이 필요하기 때문에 query time이 높습니다.

Figure 4. 초기학습만 진행한 후, 최종 성능 예측¹²

Hybrid model-based + LC predictors

이 예측기는 구조를 인코딩 하는 방식에 LC와 하이퍼 파라미터를 추가하여 같이 예측기를 학습합니다. 1-2차 파생변수를 포함하기도 하고, LC자체를 feature로 다루기도 합니다. 많은 정보를 다루는 만큼 성능이 나쁘지는 않지만 init time이 높고, LC때문에 query time 또한 높은 것이 단점입니다. model-based predictor의 그림과 비교하면 이 방식은 Figure 5처럼 LC를 구조와 함께 인코딩하는 방식으로 이해할 수 있습니다. 대표적인 예측기로는 파생 feature를 만들어서 적용한 SVR¹⁴과 LC 전체를 feature로 사용하는 Bayesian NN¹¹이 있습니다.

Figure 5. LC를 같이 활용하는 hybrid model²

Zero-shot predictor

Zero-shot 예측기는 구조의 통계정보를 대략 3-5 sec 내에 계산하여 최종 성능을 예측하는 방식으로 init time과 query time 둘 다 매우 낮기 때문에, 최근에 많이 연구되고 있는 방식입니다. Zero-shot이라는 말처럼 예측기를 학습하거나, 탐색된 신경망을 학습하지 않고 성능을 예측하려는 방식으로, 주로 입력데이터에 대한 신경망의 정보를 최대한 활용하는 방식입니다. 입력 데이터에 대한 신경망의 gradients의 차이를 활용하는 Jacobian Covariance(Jacob. Cov.)¹⁵, 입력이 각 node에서 활성화되는 상태를 이용하는 relu_logdet¹⁵ 등의 방법이 있습니다. Figure 6은 relu_logdet에서 각 node마다 ReLu를 이용해 활성화된 상태를 이진코드로 활용하는 방식을 설명한 그림입니다. 활성화된 영역을 1, 비활성화된 영역을 0으로 인코딩하여 이 정보를 활용합니다.

Figure 6. ReLU 기반 이진 활성화 시각화¹⁵

또 신경망 구조에서 중요하지 않은 부분을 잘라내기 위한 pruning으로부터 힌트를 얻어 제안된 방식도 있습니다. 이 방식은 미니배치를 이용해서 parameter의 민감도를 신경망 성능평가에 활용합니다. Synaptic Flow¹⁶, SNIP¹⁷이 여기에 속합니다.

Weight sharing

마지막으로는 search space의 모든 가능한 항목을 미리 만들어 놓고(supernetwork), 일부 경우들을 선택해서 구조를 탐색하고 각 구조마다 supernetwork의 weight를 전부 같이 공유하는 방식도 있습니다. 여기에 속하는 예측기는 One-shot¹⁸과 Random WS¹⁹가 있습니다. 이 경우에는 weight sharing으로 유명한 ENAS²⁰처럼 query time은 매우 짧지만 초기에 supernetwork을 구성하고, 일부는 학습을 해야 하기 때문에, 중간 정도의 init time을 갖습니다. Figure 7은 supernetwork의 예시로 선택가능한 모든 항목을 미리 정해 놓고, 그 중에서 일부만을 선택한 상태를 보여주고 있습니다.

Figure 7. One-shot model evaluation¹⁸

Figure 8은 NAS-Bench-201 on CIFAR-10를 기준으로 대상이 되는 예측기들의 성능을 측정한 결과입니다. Init time과 query time이 낮을 수록, Kendall Tau는 높을 수록 좋은 예측기입니다. 하지만 결과로 알 수 있듯이 예측기에 대한 학습이나 구조에 대한 학습이 진행되는 경우에 더 많은 정보를 활용할 수 있기 때문에 일반적으로는 더 높은 Tau 값을 나타냅니다. 그럼에도 불구하고 일부 Zero-shot 예측기들은 두 time 모두 낮으면서도 어느정도 성능을 나타내는 것을 볼 수 있습니다. 특히 Jacob. Cov. 방법이 trade-off를 감안했을 때, 추천할 만한 방법입니다.

Figure 8. 예측기들의 성능

Figure 9는 각 query time과 init time을 discrete하게 보았을 때, 해당 block에서 가장 좋았던 방식을 표기한 것입니다. Figure 9 왼쪽은 NAS-Bench-201 on CIFAR-10에서의 결과를 그린 것입니다. Query time이 100초에서 1000초 사이일 때는 전체 init time에 걸쳐서 SoTL-E 방법이 가장 높은 Tau를 보였습니다. 반면 더 낮은 query time과 init time에서는 파란색인 Jacob. Cov. 방법이 좋은 방법으로 나타났습니다. Figure 9 오른쪽은 다른 search space에 대한 결과를 나타낸 것으로, search space마다 결과의 양상이 다르게 나타난 것을 알 수 있습니다. 결과를 종합하면 대체로 SoTL-E 방법이 많이 나타나는 편이지만, space에 따라 상대적임을 주의해야 합니다.

Figure 9. Search space마다 가장 높은 Kendall Tau를 나타낸 예측기 분포

Figure 10은 Figure 9와 비슷하지만 region마다 기준이 되는 값이 Tau가 아닌 예측 순위와 실제 순위 사이의 Pearson correlation과 Spearman rank correlation인 결과입니다. 위의 Kendall Tau와 비슷하게 SoTL-E와 Jacob. Cov.가 많은 영역을 차지하는 것으로 나타났습니다.

Figure 10. 예측기의 Pearson correlation과 Spearman rank correlation

다음으로는 두번째 질문이었던 여러 방식의 예측기를 같이 사용하면 더 좋은 성능이 나올지에 대한 실험입니다. 저자들은 좋은 성능을 보였던 방법 중에서 LC 방법인 SoTL-E와 zero-cost method인 jacobian covariance의 결과를 모델 기반 예측기의 추가 feature로 사용하는 방식으로 여러 방식을 합친 모델인 OMNI를 제안했습니다. OMNI는 대체로 단일 예측기와 비교해서 가장 좋은 예측성능을 나타냈고, 바로 다음으로 좋은 예측기와는 큰 차이가 날 정도로 확실한 우위에 있음을 보였습니다. 이는 Figure 11에 잘 나타나 있습니다. 색이 밝을수록 성능 차이가 많이 난다는 것을 의미합니다.

Figure 11. 바로 다음 순위의 예측기와 비교한 OMNI의 Kendall Tau

전체적으로 정리하자면 어떤 예측기가 얼마나 강력한가에 대한 대답은 단답형은 아니었습니다. init time과 query time region에 따라서 뛰어난 성능을 나타내는 방식이 달랐고, search space와 dataset에 따라서도 달랐습니다. Figure 12는 실험에 사용했던 모든 search space에 대한 결과를 평균 낸 결과입니다. 모든 실험에 대해서 대체적으로 SoTL-E와 Jacob. Cov. 의 영역이 넓게 나타났습니다. 그리고 단일 예측기보다는 다양한 방식의 예측기를 섞어서 사용하는 것이 개별 예측보다 많게는 120% 이상의 높은 예측 성능을 낼 수 있었습니다.

Figure 12. 모든 search space에 대해 Kendall Tau 평균

Conclusion

지금까지 NeurIPS 2021에 나왔던 논문 리뷰를 통해 NAS에서의 성능 예측기에 대해서 살펴보았습니다. NAS는 예측기 외에도 다양한 방식으로 개선의 여지가 많은 분야이기 때문에 많은 연구가 진행될 수 있는 분야라고 할 수 있습니다. 그러나 기존의 연구들을 적용하는 측면에서는 주의해야 할 점이 있습니다. 성능은 유지하면서도 시간과 리소스를 절약하는 것은 굉장히 어려운 일이기 때문에 trade-off 관계에 유의해야 한다는 것입니다. 어떤 토끼를 잡을 것인지 미리 결정할 필요가 있습니다. 또한, NAS는 대체로 좋은 성능을 나타내지만 그래도 아직은 인프라가 어느정도 갖춰진 환경이 필요하다는 점과 이미지와 자연어 처리 중심으로 연구가 진행되고 있다는 점을 한계로 볼 수 있습니다. 특히 아직 시계열에 적용하는 연구는 비교적 적습니다. 시계열 데이터는 이미지와 비교하면 정보량이 적은 편에 속하기 때문에 좀 더 search space와 search strategy에 민감합니다. 그래서 robust하게 적용할 수 있는 NAS 방법론을 찾는 것은 굉장히 어렵습니다. 하지만 이 퍼즐을 풀 수 있다면, 다양한 시계열에 대해서 하나하나 고민하면서 신경망을 디자인하지 않아도, 적절한 예측 모델을 만들 수 있습니다. 빠르게 관련 연구들이 진행되고 있는 만큼 곧 그 방법을 찾게 될 수 있지 않을까 기대해봅니다.