서울대학교 AI 인재들과 함께한 하루 at 2022 AIIS 가을 Retreat

'2022 서울대학교 AI연구원 Retreat'이 지난 11월 4일 서울대학교 교수회관에서 열렸습니다. 매년 봄, 가을에 개최되는 서울대학교 AI연구원 Retreat은 서울대학교의 우수한 연구진과 AI 산업을 선도하는 기업이 한자리에 모여 최신 연구 동향을 공유하고 교류하는 자리입니다. 가을을 맞아 열린 이번 행사에는 LG AI연구원과 더불어 LG이노텍, LG에너지솔루션이 참여해 AI 인재들과 소통했습니다. 이외에도 네이버, 카카오엔터프라이즈, CJ, 메가존클라우드, 녹십자 등 여러 기업이 행사에 참여했습니다.

이날 행사는 서울대학교 AI연구원과 협약을 맺어 AI 연구와 교육을 함께 진행하고 있는 회원사를 소개하는 것으로 시작해 서울대 AI연구원과 기업에서 진행한 최신 AI 연구 성과를 공유하는 구두 발표와 포스터 발표 등 여러 프로그램으로 구성되었습니다.

첫 순서로 진행된 개회사에서 서울대학교 AI연구원 장병탁 원장은 "우수한 기업들과 파트너십을 지속한다는 것은 매우 뜻깊은 일이다. 특히, 지금처럼 빠르게 변화하는 시대에서는 각자가 가진 장점과 경쟁력을 결합해 시너지를 발휘할 때 발전을 이루어낼 수 있다. 이곳 서울대학교 AI연구원 Retreat이 여러분을 위한 시너지의 장이 되었으면 한다"라며 참가자들에게 행사의 의미를 전했습니다.

이어서 서울대 AI연구원의 회원사들을 소개하는 자리가 마련되었습니다. 회원사 소개 발표에는 LG AI연구원과 함께 CJ, 카카오엔터프라이즈, 메가존클라우드, 네이버가 참여했습니다.

LG AI연구원에서는 Applied AI Research Lab을 이끄는 임우형 랩장이 발표에 나서 LG그룹 내 다양한 문제를 푸는 AI 과제들과 초거대 AI EXAONE, AI 연구 환경과 교육 제도 등을 소개했습니다.

임우형 랩장은 "LG AI연구원은 AI를 활용해 계열사들의 문제를 푸는 데 집중하고 있다. LG그룹 전반에 걸쳐 전기차 배터리 수명 예측, 신물질 개발, 제조 라인 비전 검사, 회로 설계, R&D에 필요한 문서 요약 등 광범위한 분야에 AI를 적용하고 있다. 그뿐만 아니라 강화 학습, 표현 학습, 전이 학습, 설명 가능한 AI 등 기초 연구도 함께 진행한다"라며 LG AI연구원의 연구 현황에 관해 설명했습니다.

더불어 "AI Business Strategy 조직을 만들어 AI로 해결할 난제를 발굴하고 이를 해결할 독창적인 방법을 마련한다. LG그룹의 계열사에 더해 외부 기업이 함께하는 Expert AI Alliance를 통해 파트너사와 연구 방향성을 고민한다. 이 밖에도 AI 인재 양성을 위해 LG AI대학원과 AI해커톤을 진행 중"이라고 전했습니다.

회원사 소개 이후 이어진 구두 발표에서는 LG AI연구원 Fundamental Research Lab의 김병집 연구원이 최근 연구한 논문을 소개했습니다.

[NeurIPS 2022] Transferring Pre-trained Multimodal Representations with Cross-modal Similarity Matching – Fundamental Research Lab 김병집 님 (Link)

논문에서는 사전 학습된 초거대 멀티모달 모델을 작은 타겟 모델로 transfer 하는 효율적인 방법인 BeamCLIP을 고안했습니다. 논문의 저자인 김병집 님은 "zero-shot transfer는 성능이 좋지만, 일반적으로 대규모 멀티모달 모델을 사전 학습시키는 데 데이터와 컴퓨팅 비용이 많이 든다. 이를 개선할 목적으로 unsupervised transfer를 위해 cross-modal similarity matching (CSM)을 도입함으로써 student 모델이 teacher 모델의 representation을 학습하도록 했다. 이 방법론을 활용할 경우, teacher 모델을 잘 따라 하면 작은 모델에서도 큰 모델만큼의 좋은 representation을 만들 수 있다"고 설명했습니다.

이어 "CLIP ResNet 50 같은 경우 zero-shot 성능이 59% 정도로 산출된다. 이런 결과를 얻으려면 4억 장 정도의 데이터가 필요한데 teacher 모델을 사용할 경우, 단 3% 데이터로 비슷한 성능을 낼 수 있다. 4억 장의 데이터를 학습하지 않고, 큰 모델이 학습한 representation을 가져오기만 하면 된다"고 강조했습니다.

 

사진 4. 포스터 발표가 진행된 서울대학교 교수회관 옆 잔디밭

실내에서 진행된 구두 발표가 끝나고, 서울대학교 교수회관 건물 밖 잔디밭에서 진행된 포스터 발표에서 LG AI연구원은 올해 ICLR과 NeurIPS에 채택된 논문을 소개했습니다.

[ICLR 2022] Towards Continual Knowledge Learning of Language Models – Fundamental Research Lab 장요엘 님 (Link)

LG AI연구원이 포스터 세션에서 소개한 첫 번째 논문은 초거대 언어 모델이 기존 지식을 잊어버리지 않으면서 새로운 지식을 학습하는 방법을 연구했습니다. Fundamental Research Lab 장요엘 님은 "초거대 언어 모델은 새로운 지식을 학습하면 이전 지식을 잊어버린다. 새로운 continual learning (CL) 기법인 continual knowledge learning (CKL)으로 이 문제를 해결했다. 실제로 CKL 기법을 적용했을 때, 초거대 언어 모델이 fine tuning 이후에도 성능을 유지하는 것을 확인했다. 새로운 벤치마크와 매트릭을 개발해 보존된 지식, 업데이트된 지식, 새로 얻은 지식 등 세 가지 세부 조건에 대한 성능 유지 역량을 측정하기도 했다"고 설명했습니다.

 

[NeurIPS 2022] Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost – Fundamental Research Lab 조성준 님 (Link)

 

사진 6. 포스터 세션에서 논문을 소개 중인 Fundamental Research Lab 조성준 님

 

포스터 세션에서 소개된 두 번째 논문은 트랜스포머를 개선하는 새로운 기술을 제시합니다. Fundamental Research Lab 조성준 님은 "sequence length가 길어지면 메모리 사용량이 커지기 때문에 언어 모델링 시 긴 문단이나 문서 전체를 모델링하기 힘들다. 이 문제를 해결하기 위해 많은 방법이 제시됐지만, 데이터에 따라 attention을 조절하는 데이터 adaptability가 굉장히 부족하다는 공통적인 문제가 있었다"라며 해당 주제를 연구하게 된 계기에 관해 설명했습니다.

이어 "논문에서 제시하는 새로운 attention 메커니즘을 활용하면 데이터에 따라 자율적으로 필요한 attention 양을 조절할 수 있고, 시간과 메모리 비용을 필요한 attention 양에 비례하게 만들 수 있다"고 강조했습니다.

 

사진 7. LG 부스를 방문한 서울대학교 학생들과 대화 중인 모습

 

또한, LG는 이번 서울대학교 AI연구원 Retreat이 진행되는 서울대학교 교수회관과 잔디밭에 총 두 개의 부스를 운영하며 현장에 참석한 연구원들과 교류했습니다. LG 부스에는 LG AI연구원, LG이노텍, LG에너지솔루션의 채용 담당자가 참석해 서울대학교 학생들에게 기업을 소개하고 채용과 관련된 상담을 진행했습니다. 

산뜻한 가을을 맞아 개최된 2022 서울대학교 AI연구원 Retreat은 LG AI연구원의 연구원과 LG그룹 계열사의 채용 담당자, 서울대학교에서 AI를 연구하는 우수한 학생들이 한 공간에서 긴밀하게 교류하며 보다 가까워질 수 있었던 자리였습니다. LG AI연구원은 이번 행사에서 회원사 소개 발표를 통해 기업을 알리고, 구두 발표와 포스터 발표에서 NeurIPS를 비롯해 세계 최고 수준의 AI 학회에 채택된 논문을 소개하며 연구 역량을 증명하고, 부스를 운영하며 AI 인재들과 소통했습니다. 앞으로도 LG AI연구원은 서울대학교 AI연구원 Retreat과 같은 산학 교류의 장에 꾸준히 참여해 우리나라를 이끌어갈 AI 인재들을 만날 계획입니다.