『LG AI Talk Concert - The Best of 2021』으로 살펴본 LG AI연구원의 현재와 미래

12월 14일, LG AI연구원은 한 해의 성과를 공유하는 『LG AI Talk Concert - The Best of 2021』을 개최했습니다. LG AI연구원에서 진행한 프로젝트들의 진행 경과를 한눈에 살펴보고, LG AI연구원이 공개하는 초거대 AI에 대한 내용도 만나볼 수 있는 자리였습니다. 유튜브 채널을 통한 라이브 스트리밍이었지만, LG AI연구원의 최신 연구 현황과 더불어 새로운 도약이 펼쳐진 이 자리의 열기는 그 어떤 곳보다도 뜨거웠습니다.


Keynote: LG AI연구원의 2021년을 돌아보고, 새로운 초거대 AI를 공개하다

가장 먼저 LG AI연구원 배경훈 원장이 Keynote로 Talk Concert를 시작했습니다. 출범 1주년을 맞아 지난 1년간의 주요 성과, 처음 선보이게 된 국내 최대 규모의 초거대 AI를 소개한 것입니다.

LG AI연구원에서 개최한 LG AI Talk Concert에서 Keynote 발표중인 배경훈 원장

먼저 LG AI연구원의 주요 성과에 대한 이야기를 시작했습니다. 지난 1년간 LG AI연구원은 다양한 기초 연구 수행과 논문 발표를 수행했고, 그 결과 글로벌 top-tier 학회에서만 총 18건의 논문이 채택되는 성과를 거두었습니다. 국내 인공지능 연구조직 중 창립 첫 해부터 이렇게 우수한 성과를 낸 것은 LG AI연구원이 유일합니다. 또한 컴퓨터가 사람처럼 주어진 문서를 읽고 질문에 대한 정답을 찾아내는 MRC 분야에서도 작년에는 한국어 기계 독해 평가인 KorQuAD에서, 올해는 스탠포드 대학이 주최한 영어 기계 독해 평가인 SQuAD에서 1위를 차지했습니다.

현업에 적용된 AI 연구에 대한 소개도 이어졌습니다. 계열사의 AI 조직과 협력하여 산업 문제 해결에 인공지능을 활용한 것인데요. 올해 LG AI연구원은 개인 맞춤의학, 챗봇, 기업 수요 예측, 비전검사 등 LG 여러 계열사들의 전 산업 영역에 걸쳐 총 18건의 난제를 해결했으며, 내년에는 25건 이상의 난제 해결에 도전할 계획입니다.

이렇듯 우수한 성과에서 그치지 않고, LG AI연구원은 좀 더 수준 높은, 상위 1% 수준의 전문가 AI를 통해 고객의 삶에 더 큰 가치를 드리기를 바라고 있습니다. 그리고 이를 위해 끊임없이 개발해온, 올해 5월에 선포한 바 있던 초거대 AI를 바로 이 시간 세상에 공개했습니다. 바로 LG의 초거대 AI, EXAONE입니다.

LG AI연구원이 공개한 초거대 AI ‘EXAONE’

‘Expert AI For Everyone’, LG가 지향하는 모두를 위한 전문가 AI를 의미하는 EXAONE은 다양한 특징을 갖고 있습니다. 언어와 시각 정보를 모두 다를 수 있는 멀티모달 초거대 AI 모델이라는 점에서 지금까지의 모델과 차별화됩니다. 세계 최대 규모의 학습 데이터가 사용되었으며, 이 방대한 양의 데이터 학습을 통해 이미지와 텍스트 간 자유로운 양방향 생성이 가능해졌습니다. 또한 한국어와 영어 두 언어의 특징을 동시에 학습한 이중언어 인공지능이기도 하며, 지난 6월 개발 시작 이후 13억, 130억, 390억, 1,750억 파라미터 모델의 학습을 완료한 후 현재는 국내 최대 규모인 3천억 개의 파라미터 모델을 학습하는 중입니다. 이렇게 개발된 EXAONE은 비전 영역 이미지 재생성에서 SOTA 대비 FID 최상위 스코어 기록, 1024x1024 사이즈의 이미지 출력으로 활용 가능성이 높아졌으며, 언어 영역에서는 목적 대화, 감성 분류 영역에서 최고 수준의 성능을 보여주고 있습니다.

'EXAONE’이 제공 가능한 새로운 고객 경험에 대한 영상: 크리스마스 파티

배경훈 원장은 이렇게 개발된 초거대 AI, EXAONE의 활용 방안에 대해서도 언급했습니다. API를 준비하고 대규모 인프라 구축, 전략적 파트너사와의 협업 등 단계별로 EXAONE의 생태계를 구축해나간다는 계획을 밝혔습니다.


Fundamental Session: 기초 연구의 다양한 모습들

LG AI연구원의 강점 중 하나는 다양한 기초 연구가 활발하게 이루어지고 있다는 점일 것입니다. 이러한 연구들은 이번 한 해 동안 글로벌 top-tier 학회 내 18건의 논문 채택이라는 성과로 돌아왔습니다. Fundamental Session에서는 이렇게 주요 글로벌 학회에서 채택된 논문 중 3개의 논문을 소개했습니다.

Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks (ICML 2021) – 발표자 손성열님 
리워드가 드물게 주어질 때 강화학습 효율을 크게 높이는 방법, ‘Shortest-Path Constrained Reinforcement Learning’에 대해 알아본 논문입니다. 다양한 실험을 통해, 논문에서 제안한 SPRL이 문제를 간단화시키면서도 최적의 해를 보존한다는 것을 보였습니다. 기존의 방법들과 비교했을 때 더욱 좋은 성능을 달성해 강화학습 효율을 향상시킬 수 있는 새로운 방향을 제시했습니다. 

Composer AI with tap-to-pitch generator  (NeurIPS 2021 workshop accepted) – 발표자 임형래님

LG AI Talk Concert 중 임형래님의 발표 모습

본 논문에서는 자동으로 음악을 생성해주는 딥러닝 기반의 AI 모델을 소개했습니다. 여러 콘텐츠에서 중요한 역할을 하는 것이 음악이지만, 저작권 때문에 사용이 매우 제한적인 경우가 많은데요. 최근 이슈로 떠오르고 있는 음악 자동 생성을 AI로 구현한 것입니다. AI가 음악을 표현하는 방식, 음악의 프레이즈(음악을 구성하는 4~8마디의 단위)를 생성하는 Neural Network 모델과 구조, 그리고 이 프레이즈들을 조합해 한 곡을 생성하는 Composer AI에 대해 소개했습니다.

Rethinking Deep Image Prior for Denoising (ICCV 2021) – 발표자 조연식님 
노이즈가 섞인 이미지를 깨끗한 이미지로 만드는 ‘디노이징Denoising’에 대한 논문으로, Effective Degrees of Freedom이라는 개념으로 Deep Image Prior(DIP)를 분석했습니다. Stein Unbiased Risk Estimator라는 수식을 사용함과 동시에 그 수식을 보완하기 위한 방법론을 제시했으며, 또한 loss 기반 학습 종료 방법을 제시하며 기존 DIP의 문제점을 해결했습니다.


Applied AI Session: 현업의 다양한 난제를 AI로 풀어가다

LG AI연구원에서는 AI의 근본적인 개선을 위한 기초 연구뿐 아니라, 현업의 다양한 난제를 해결하기 위한 연구 또한 수행하고 있습니다. AI가 의미있게 활용될 수 있고 꼭 필요한 기술임을 증명할 수 있는 다양한 연구 중, 이번 Applied AI Session에서는 특히 유의미한 다섯 가지의 사례를 소개했습니다.

Materials AI 연구 진행 현황 및 성과 – 발표자 한세희 squad 리더
AI를 활용해 LG AI연구원이 진행중인 소재개발의 연구 현황과 성과를 공개했습니다. LG AI연구원에서는 데이터와 인공지능 기술을 활용하여 물질 개발을 가속화하고 있는데, 이날 소개된 것은 그중에서도 바이오와 전자재료 분야였습니다. 바이오 분야는 환자 개인 맞춤형의 면역 항암 치료제 개발에 대한 것으로, 무수히 많은 실험 데이터를 확보하여 AI 모델을 학습시키고 유력한 후보 물질을 찾은 결과 바이오 분자 간의 상호 결합을 예측할 수 있는 어텐션 기반의 AI 모델을 개발, 기존 모델을 상회하는 예측 정확도를 달성했습니다. 전자재료 분야는 OLED 디스플레이에 사용되는 발광재료 개발로, 발광 재료 탐색에 AI를 활용하여 이전보다 월등히 빠른 시간 안에 후보 물질을 탐색, 좋은 성능이 예상되는 후보 재료를 선별할 수 있었습니다.

차세대 비전 검사 연구 현황 및 성과 – 발표자 강병준 squad 리더

LG AI Talk Concert 중 강병준 Squad 리더의 발표 모습

제조 공정에서 제품 외관에 발생한 결함을 판정하는 비전 검사에 AI를 활용한 차세대 비전 검사 연구 현황과 성과에 대해서 발표하는 시간이었습니다. 딥러닝 기술을 비전 검사에 적용하는 사례는 꾸준히 증가하고 있으며, 이에 따라 검사 성능 또한 비약적으로 향상되고 있는데, LG AI연구원에서는 양품 데이터만으로 분량을 검출하는 Anomaly Detection을 통해 데이터 준비 기간을 획기적으로 단축하고 새로운 데이터가 주어질 때 모델의 판정 정확도를 유지하는 Continual Learning 기술을 개발했으며, 현장의 데이터로 유의미한 테스트 결과를 얻어서 상용화를 준비 중입니다.

AI 기반 Battery Anomaly Detection – 발표자 심예슬 squad 리더
AI를 기반으로 하여 배터리의 이상 거동을 감지하는 연구 또한 선을 보였습니다. 이상 감지는 데이터 내에 잘 정의된 정상적인 패턴을 따르지 않는 비정상 패턴인 Anomaly를 자동으로 판별할 수 있는 기술로, LG AI연구원에서는 전통적인 통계 기법으로 접근한 기존의 방법론과 달리 AI 생성 모델로 이상 감지 문제를 해결하는 방법을 제시했습니다.

AI 기반 제품/부품 Demand Forecasting – 발표자 양진석 squad 리더
과거에 대한 정보를 기반으로 미래 수요를 예측하여 회사의 이익 창출을 위한 원활한 의사결정을 지원하는 도구, Demand Forecasting에 관한 진행 과제도 소개했습니다. 제품의 생산과 판매까지 이어지는 모든 과정에서 다양한 의사결정에 도움을 주는 것이 바로 수요 예측으로, 일반적인 소매점과 달리 제품을 직접 생산하는 LG와 같은 기업의 수요 예측에 대해 물류 및 운영 비용을 감소할 수 있는 수요 예측 모델을 개발한 사례가 선을 보였습니다. 기존 수요 예측 방법론 대비 적은 Feature로 높은 성능을 달성했고, 제품별 최적의 성능을 보이는 AI 수요 예측 모델이 있어 이들을 조합하면 더 나은 결과를 도출할 수 있다는 점이 인상 깊었습니다.

Machine Reading Comprehension(MRC) 연구 진행 현황 및 성과 – 발표자 민경구 squad 리더
임의의 문서에 대해 자연어로 질문을 하면 문서로부터 직접 답을 찾아주는, 기계 독해를 뜻하는 MRC 연구에 관한 현황과 성과를 소개하는 시간도 가졌습니다. 전문 지식이 필요한 고객센터나 챗봇 검색 등의 응용 영역에서 유용하게 쓰이고 있는 MRC 기술은 LG AI연구원이 한국어, 영어 분야에서 우수한 성과를 거둔 분야이기도 합니다. LG AI연구원에서는 MRC 기술의 활용성을 높이기 위해 MRC 품질의 근간이 되는 pre-trained 언어 모델의 성능을 높이고, 검색 결과를 re-rank하는 기술에 주목했으며, 테이블 형식으로 기술된 콘텐츠 검색까지 용이한 기술을 만들고 있습니다.


초거대 AI Session: EXAONE, 세상에 선보이다

이번 LG AI Talk Concert에서 가장 주목을 받은 부분은 바로 LG AI연구원의 초거대 AI, EXAONE이었습니다. 인류의 방대한 지식을 학습하여 만든 전문가 AI, EXAONE은 언어와 시각 정보를 모두 다룰 수 있는 멀티모델 초거대 AI 모델이며, 이미 다양한 분야에서 SOTA 모델 이상의 성능을 보여주고 있습니다. 다양한 자랑거리 중에서도 이날은 비전 모델과 언어 모델에 대한 소개가 이어졌습니다.

EXAONE Multi-Modal – 발표자 이시행 Squad 리더

LG AI Talk Concert 중 이시행 Squad 리더의 발표 모습

LG AI연구원의 EXAONE 멀티 모달 모델에 대해 소개하는 시간을 가졌습니다. 프로젝트 시작 단계부터 지금까지의 과정, 이를 통해 LG AI연구원이 추구하는 지향점에 대해 알아보는 시간이었습니다. 언어와 비전이 결합한 초거대 AI를 구현하기 위해 프로젝트 초반에는 LG그룹 전체에 기여할 수 있는 제품 디자인, 패션 쪽으로 방향을 잡았습니다. 무수한 실험을 거치며 구성원들은 초거대 AI의 무궁무진한 가능성을 발견했고, 이를 바탕으로 이미지를 이해하여 텍스트를 생성하고, 텍스트로부터 영상을 생성하기도 하는 초거대 AI 모델을 개발할 수 있었습니다.

EXAONE의 Bi-directional Generation 알고리즘 – 발표자 김태훈님
EXAONE의 양방향적 이미지 텍스트 생성 알고리즘 L-Verse도 선을 보였습니다. L-Verse는 잠재 공간에서의 비전과 언어 간 상관관계를 찾고자 제안된 모델입니다. Text to image generation만 가능했던 기존의 모델을 넘어서 추가적인 Fine-Tuning 없이도 아주 자세한, 때로는 사람이 작성한 캡션보다 더 상세한 캡션을 생성할 수 있으며, 양방향 생성이 가능한 만큼 이미지 생성 영역에서도 뛰어난 성능을 보여주었습니다.

EXAONE-Tuning New way of Light-weight Tuning – 발표자 한장훈님

LG AI Talk Concert 중 한장훈님의 발표 모습

LG의 초거대 언어 모델인 EXAONE의 튜닝 기법에 대해 소개하는 시간이 이어졌습니다. 지금까지는 언어 모델을 태스크에 튜닝하기 위해서는 Fine-Tuning 혹은 In-Context Learning, Light-Weight Tuning과 그중 대표적 방법론인 P-Tuning 기법 등이 제안되어 왔습니다. LG AI연구원에서는 이러한 기법들의 문제점을 개선하는 새로운 Light-Weight Tuning 기법인 EXAONE Tuning을 제안합니다. 더 적은 파라미터를 학습하면서 성능을 더 높일 수 있는 효율적인 방법을 연구한 결과입니다.

EXAONE Inference Framework 추론 인프라 최적화 프레임워크 – 발표자 조현직님
초거대 언어 모델을 서비스하기 위해 개발한 EXAONE의 Inference Framework 또한 선을 보였습니다. Inference Framework란 학습된 모델을 서비스하는 것에 목적을 둔 프레임워크를 말하며, 초거대 모델을 효율적으로 서비스하기 위해 차별화된 Inference Framework가 바로 EXAONE Inference Framework입니다. 1,750억 개에 달하는 방대한 파라미터 구동과 로딩 등을 위해 다양한 고민을 했으며, 기존의 방식보다 더 빠르고 효율적인 서비스를 제공하기 위한 개선을 진행하고 있습니다. 분산 처리 알고리즘을 바탕으로 여러 GPU에 분산하여 초거대 AI를 구동하고, C++과 Custom CUDA Kernel로 최적화한 Transformer layer로 기존 대비 2.5배의 속도 향상을 이루었으며, 단계별 Loading 방식으로 통하여 메인 메모리 사용량을 1/8로 감소시켰습니다.

멋진 연구 성과들과 함께 놀라운 모습의 초거대 AI 또한 그 모습을 드러냈던 『LG AI Talk Concert - The Best of 2021』. AI 기술을 통해 더 나은 삶을 만들기 위한 LG AI연구원의 치열한 노력의 결과물을 만나볼 수 있는 자리였습니다. LG AI연구원이 수많은 어려운 문제에 대해 다양한 연구로 큰 성과를 내고, 또 다시 더 높은 수준의 문제에 도전하는 긍정적인 선순환을 만들어내기를 기대해 봅니다.

LG AI Talk Concert 다시 보기 (Link)