세상을 이해하는 AI, Vision Lab

‘몸이 천 냥이면 눈이 구백 냥’이라는 옛말이 있습니다. 그만큼 눈으로 들어오는 정보가 가장 많고, 중요하다는 뜻인데요. 컴퓨터 비전은 사람이 시각을 통해 대상과 공간을 인지하고 이해하는 것처럼 기계가 카메라 센서를 통해 들어온 이미지나 동영상 데이터를 통해 대상과 공간을 인식하는 AI 기술입니다. Vision Lab 김승환 랩장에게 컴퓨터 비전 연구와 Vision Lab에 대해 들어보았습니다. 


컴퓨터의 눈, 딥러닝을 만나다 

김승환 랩장은 25년 동안 이미지/영상 인식과 처리, 영상 클라우드 등을 연구해 온 컴퓨터 비전 전문가입니다. 연구 초기엔 사람이 직접 데이터의 특징을 수학적으로 해석한 핸드크래프트 피처(Handcraft Feature) 기반의 연구를 했지만, 딥러닝을 통해 비전 연구가 비약적으로 발전할 수 있음을 발견하고 무한한 가능성에 도전하게 되었습니다. LG유플러스에서 AI 기술 조직을 이끌다 지난해 LG AI연구원 출범에 맞춰 합류한 뒤 Vision Lab을 이끌고 있습니다.

Q. 다른 AI 분야와 비교하여 Vision 분야가 가진 특징이나 차별점은 무엇인가요? 

“비전 분야에서 다루는 이미지 데이터는 환경적인 요인에 따라 변위가 많이 발생해요. 인식하고자 하는 대상뿐만 아니라 배경도 데이터에 포함되며, 심지어 배경이 바뀌기도 하죠. 예를 들어 자동차를 인식할 때 터널 속에서 찍은 자동차와 낮에 도로에서 찍은 자동차는 같은 자동차라도 색이 달라 보이고, 배경도 각각 다릅니다. 따라서 모든 조건에서 높은 성능을 달성하기 어려워 특정 응용 분야에 적합한 기술을 개발해서 최적화해야 합니다. 

비전 분야는 연구 분야와 다루는 데이터, 활용 분야가 정말 다양합니다. 연구는 기본적인 태스크를 기준으로 이미지 생성과 변환, 사물/인물/행동/감정 인식, 움직임 감지와 추적으로 나눌 수 있고, 분석해야 할 데이터도 2D/3D 이미지, 영상 자료부터 생체 정보, 얼굴, 문서 등으로 다양하며 적용 분야도 자율주행차, 미디어 콘텐트 분석, 의료, 산업용 AI에 이르기까지 엄청나게 많은 분야가 존재해요. 이 모든 분야에 완벽하게 대응할 수 없겠지만 딥러닝이 도입되면서 예전보다 도메인에 특화된 지식이 없어도 어느 정도 대응할 수 있게 되었습니다.” 

Q. 다루는 데이터의 용량이 크기 때문에 연구 인프라 또한 굉장히 중요할 것 같습니다.

“맞습니다. 이미지나 영상 데이터의 크기가 크기 때문에 한 모델을 연산하는 데 메모리도 많이 들고 GPU 자원도 상당히 많이 필요합니다. 그런 점에서 LG AI연구원은 비전 연구자들이 마음 놓고 실험할 수 있는 연구 환경을 구축하고 있습니다. 기존의 AI 조직보다 비교적 최근에 연구 인프라를 구축했기 때문에 가장 최신의 GPU 환경에서 연구할 수 있습니다.” 

Q. 최근 비전 연구에서 가장 주목받고 있는 기술은 무엇인가요? 

“요즘 AI 분야에선 General AI가 화두가 되고 있어요. 오픈AI가 자연어 처리 분야에서 기존 모델과는 비교할 수 없는 거대한 데이터와 인프라를 통해 사람과 비슷한 수준의 성능을 내는 General AI, GPT3를 공개했는데 이런 추세가 비전 분야로 옮겨왔거든요. 오픈AI는 올해 1월 컴퓨터 비전과 자연어 처리 기술을 결합해 두 가지 새로운 모델 ‘CLIP(Contrastive Language-Image Pre-training)’과 ’DALL-E’를 공개했어요. CLIP은 대규모의 모델을 활용해 이미지 분류 문제를 푸는 것이고, DALL-E는 텍스트를 입력하면 이미지나 영상으로 결과물을 생성해 주는 모델이에요. 이에 따라 텍스트와 이미지 같은 서로 다른 요소를 어떻게 결합해서 표현할 것인가에 대한 멀티 모달(Multi-modal) 리프리젠테이션 연구도 많이 진행되고 있어요. 

저는 이 두 모델이 가능성과 한계를 동시에 보여줬다고 생각해요. 언어 분야와는 달리 비전 분야에서 대규모 모델을 활용하는 것은 이제 막 시작 단계라 성능 면에서 아직 많은 연구가 필요하지만, 트랜스포머를 기반으로 하면 다양한 Vision Task 문제를 풀 수 있는 강력한 Pre-trained 모델을 만들 수 있다는 가능성을 보여준 거죠.”

Q. 비전 분야에서 풀지 못한 기술적인 난제가 있다면 무엇인가요?

“비전 연구는 분류, 검출, 세분화, 영상 생성 등 특정 기술을 중심으로 발전해 왔고 일부 기술은 이상적인 환경에서 사람만큼의 성능을 보이기도 해요. 하지만 아직 전체적인 이미지를 파악하거나 시각 정보를 이해하고 추론하는 것에는 한계가 있어요. 가령 사람은 고양이와 사람이 함께 놀고 있는 사진을 보고 ‘아 이 사람이 이 고양이의 주인이구나’라고 추론할 수 있지만, 현재의 비전 기술은 대상의 관계를 그 정도로 상세하게 이해하지 못하죠. 이런 Visual reasoning 부분에선 아직 풀어야 할 과제들이 많이 남아있어요.”


인간 시각의 한계를 뛰어넘는 도전

지난해 LG AI연구원은 CVPR 2020 ‘연속학습 기술 경연대회’에서 1위를 차지했습니다. 토론토대학과 공동 연구를 통해 거둔 쾌거였습니다. CVPR은 컴퓨터 비전 분야에서 세계적인 권위를 지닌 국제 학회로, 여기서 우승을 거둔 것은 LG AI연구원보다 앞서 AI 연구를 시작한 세계적인 기업, 연구기관과 겨뤄 그 기술력을 인정받은 것입니다. 이 밖에도 LG AI연구원은 연속 학습, 설명하는 AI(XAI) 연구 등 다수의 논문을 세계 최고 권위의 AI 학회지에 게재하기도 했습니다. 

LG의 CVPR 2020 챌린지 우승 인증서(관련 포스팅 바로가기)

 

Q. Vision Lab에서 하고 있는 연구들을 소개해 주세요.

“크게 나눠 Visual Analytics, Visual Reasoning, Visual Generation 연구를 하고 있어요. Visual Analytics 분야에서는 AutoEncoder, Contrastive Learning, Active Learning, Continual Learning, Explainable AI 등 최신 머신러닝 알고리즘을 활용하여 분류(Classification), 탐지(Detection), 인식(Recognition) 등의 문제를 풀고 있어요. 이 기술은 비전 검사, 심층 문서 독해, 스포츠 액션 인식 등에 활용됩니다. 

Visual Reasoning 분야에선 Graph Neural Network, Transformer 기반의 Text-Image Pair를 통해 영상 씬을 이해하는 연구를 수행하고 있습니다. Visual Generation 분야에서는 AutoEncoder, GAN, Transformer 같은 기술을 통해 Data Augmentation, 3D Reconstruction & Synthesis, Image-to-Image Translation 같은 문제를 풀고 있고 이를 3D 가상 아바타, 디지털 사이니지, 비주얼 챗봇에 적용하는 연구를 하고 있습니다.” 

Q. 이 중 주력하고 있는 프로젝트는 무엇인가요? 

“비전 검사, 심층 문서 독해, 3D 합성, 대규모 비전 모델 이렇게 네 가지 연구에 집중하고 있어요. 비전 검사는 제조 공정에서 필요한 품질 검사를 컴퓨터 비전으로 자동화하는 과제로 기존에는 AI를 사용해도 불량 데이터의 양이 적어 학습이 어렵고 일일이 데이터를 레이블링해야 하는 문제점이 있었죠. 양품 데이터를 학습해 이와 다를 경우 불량으로 판정하는 방식으로 기존 방식의 문제점을 해결하고 있어요. 현재 LG이노텍, LG전자 생산기술원과 협업하고 있으며 올해 안에 생산 현장에 적용할 계획이고요. 

심층 문서 독해는 LG그룹의 디지털 트랜스포메이션 완성을 위한 중요한 과제인데요. 화학 계열 문서들을 디지털 DB화하는 것을 우선 진행하고 있습니다. 현재 비전 기술은 프린트된 문자에 대한 인식률은 상당히 높지만 아직 그래프나 표를 인식해서 구조화하는 데엔 어려움이 있어요. 화학식과 표를 구조화하는 연구를 중점적으로 진행하고 있습니다.

최근 릴 미켈라(Lil Miquela) 같은 가상 인플루언서가 많은 관심을 받고 있는데요. 오디오를 기반으로 가상 인물이 립싱크를 하는 입모양이나 표정을 만드는 3D 페이셜 애니메이션 연구도 수행하고 있습니다. 마지막으로 대규모 비전 모델을 통해 텍스트를 입력하면 이미지를 만드는 Text-to-Image Generation, Scene Understanding 연구도 시작했어요.” 

Q. 연구나 적용 과정에서 어려운 점은 없었나요? 

“사실 비전 연구는 보이는 결과물은 좋지만, 막상 현장에 적용하려고 하면 적용 대상이 명확하지 않은 부분들이 많아요. 그래서 사업화가 쉽지 않죠. 응용할 수 있는 분야는 많지만 계열사의 난제들이 대부분 수치나 언어 기반의 데이터 과제다 보니 비전 기술을 적용할 수 있는 부분이 적어요.

또한, 비전 연구는 주도성과 창의성이 많이 필요해요. 같은 것을 보아도 사람마다 제각기 다르게 해석하는 것처럼 카메라 센서가 인식한 아날로그 정보를 디지털로 해석하는 부분도 굉장히 어렵죠. 영상은 정해진 규칙이 없어서 문제를 풀 때 창의적인 방식이 필요한 부분들이 분명히 있어요. 그래서 엉뚱하고 창의적인 발상을 직접 실행에 옮기고 싶은 분들이 비전 연구를 하시면 더 재미있게 연구하실 수 있을 거예요.” 

“연구원에서 가장 시끄러운 조직을 만들고 싶어요” 

Vision Lab은 김승환 랩장을 포함해 모두 12명으로 구성되어 있습니다. 이 중 20대 후반에서 30대 초반 사이의 구성원이 8명으로 젊은 조직으로 알려진 LG AI연구원 내에서도 구성원들의 평균 연령대가 낮은 편입니다. 실력 있고 LG AI연구원의 인재상에 맞는 사람이라면 누구와도 함께 하겠다는 오픈 채용을 진행한 덕분에 외국인 연구원부터 대학원을 다니며 학업과 연구를 병행하는 연구원까지 다양한 배경을 가진 인재들이 모일 수 있었습니다. 

Q. Vision Lab의 비전은 무엇인가요?

“저희 랩의 비전은 ‘Beyond Human Eyes, Real to Virtual’로, 현실뿐만이 아니라 가상 공간까지 인간 시각의 한계에 도전하자는 의미예요. 비전은 인간의 눈을 모방하는 문제입니다. 인간의 눈보다 더 뛰어난 AI를 만들어 LG그룹의 사업적 난제를 해결하고 미래 사업 역량 강화하는 것이 저희의 목표고요. 기본적으로 현실의 데이터를 다루지만 아바타 등을 통해 가상 공간까지 연구 영역을 확장할 계획입니다.”

Q. 평소 랩장님께서 구성원들에게 가장 많이 강조하는 것은 무엇인가요?

“저희 구성원들에게 결과를 ‘눈’으로 직접 확인하는 것만큼 중요한 것은 없다고 자주 이야기해요. 결국 연구는 결과에 대한 해석, 디버깅의 문제라고 생각해요. 수치로 나온 결과에 의존하지 말고 왜 그런 결과가 나왔는지 분석하고, 분석을 제대로 해야 개선 포인트가 도출되고, 개선 포인트를 얼마나 창의적으로 풀어내느냐가 뛰어난 연구자를 만든다고 봐요. 

비전 연구는 눈으로 결과물을 확인할 수 있잖아요. 개선 포인트가 나올 때까지 시간과 공을 들여 일일이 확인하는 것이 중요해요. 눈으로 직접 확인하고 창의적으로 문제를 풀었던 경험이 쌓여야 실력이 된다고 생각합니다.”




Q. 앞으로 Vision Lab을 어떤 방향으로 이끌고 싶으신가요? 

“저는 저희 랩이 잡담을 많이 하는 조직이 되었으면 좋겠어요. 오히려 공식적인 회의나 토론보다 편한 스몰토크 속에서 아이디어가 나오는 경우가 많거든요. 각자 자기 연구만 하는 것이 아니라 삼삼오오 모여서 커피 한잔하면서, 일상적인 대화를 나누다가 ‘나 요즘 이게 안 풀리는데...’라고 연구에 대해서도 편히 이야기하고 서로 도움을 주고받을 수 있는 분위기가 되었으면 합니다.

다른 환경에 있다가 와서 처음엔 서로 데면데면하던 구성원들도 지금은 조금씩 나아지고 있어요. 엉뚱하고 기발한 상상력을 가진 친구들이 많이 합류해서 저희 랩이 좀 더 시끄러워지고 활기차졌으면 좋겠습니다.”

Q. 향후 Vision Lab에서 이루고 싶은 목표가 있다면 무엇인가요? 

“비전은 만국 공통이에요. 자연어 처리나 음성 분야는 아무래도 한국어에 특화되어 있다 보니 글로벌 인재들이 들어오기가 어려울 수 있지만 비전 분야엔 그런 진입장벽이 없죠. 저는 우리 랩을 다양한 글로벌 인재들이 함께 하는 세계적인 수준의 비전 연구 조직으로 만들고 싶어요. 그리고 이곳에서 함께하는 저희 구성원 모두가 최고의 글로벌 인재로 성장하길 바랍니다. 이와 함께 다소 늦은 감은 있지만, 더 늦기 전에 세계 무대에 내놓을 만한 수준의 라지 스케일 비전 모델을 만들 계획입니다. 

개인적으로는 연구자로서 비전 기술이 생각보다 제한적인 영역에서만 활용되고 있는 점이 늘 아쉬웠어요. 태스크별 특화 모델이 아닌 범용적으로 활용할 수 있는 모델을 만들어 비전 기술의 활용 영역을 넓히고 싶습니다.” 
 

MINI INTERVIEW

(왼쪽부터) Vision Lab Hu Y님, 최성하님 

Q. 간단한 소개를 부탁드립니다. 

최성하: LG전자 CTO 부문에 신입으로 입사해서 10여 년 동안 자동차 R&D 업무를 하다가 지난해 11월에 LG AI연구원에 합류했습니다. 현재는 비전 검사 문제 해결을 위해 Constructive Learning을 기반으로 이상 징후를 탐지하는 Anomaly Detection을 연구하고 있습니다. 

Hu Y: 중국에서 대학을 졸업하고 한국에서 석박사 과정을 하면서 컴퓨터 비전을 연구했습니다. LG AI연구원에서는 오디오 기반 3D 페이셜 애니메이션 모델을 연구하고 있어요. 인간의 감정은 형태가 없고 때로는 명확하게 지각할 수 없어서 모델링 하기 어렵지만, 인간처럼 자연스럽게 감정을 표현할 수 있는 디지털 아바타를 만드는 것을 목표로 하고 있습니다. 

Q. 내가 생각하는 Vision 연구의 매력은 무엇인가요?

최성하: 주어진 문제를 해결할 때 이미지가 언어보다 시각적으로 더 직관적이라는 점에서 컴퓨터 비전 분야에 매력을 느꼈습니다. 비전 기술 중에서 특히 자동차 분야에서 활용할 수 있는 딥러닝 기반의 비전 기술에 관심이 많아 박사 과정에서도 주로 자동차에 활용되는 Semantic Segmentation, Domain Generalization, GAN 기반의 Image Translation 연구 등을 수행했습니다.

Hu Y: 시각은 사람이 세상을 인식하고 이해하는 데 가장 중요한 방법입니다. 컴퓨터가 렌즈를 통해 세상을 잘 해석할 수 있다면 물체 감지나 자율 탐색 같은 다양한 자동화 작업에 분명 도움이 될 거예요. 또한 생성 모델로 만들어진 디지털 아바타 같은 시각 콘텐츠는 인간과의 자연스러운 상호작용으로 미래 AR/VR 산업의 혁명을 가져올 것입니다. 비전 AI 연구가 세상에 충분히 의미 있는 영향력과 가치를 가져다줄 거라고 생각합니다. 

Q. Vision Lab과 김승환 랩장은 이런 조직, 이런 리더다! 

최성하: 김승환 랩장님은 구성원들의 다양한 의견을 존중해 주시는 분입니다. 프로젝트가 커질수록 토론을 통해 구성원들의 합의를 끌어내는 것이 중요한데 이를 위해 항상 편안하게 이야기할 수 있는 분위기를 만들어 주세요. 자유로운 토론과 합의 속에서 저희 Vision Lab이 LG AI연구원뿐만 아니라 LG 계열사 전반에 좋은 영향을 미치는 조직이 될 것으로 생각합니다. 

Hu Y: 랩장님은 폭넓은 지식과 깊이 있는 전문성으로 의사소통을 효과적으로 하십니다. 유쾌한 언변으로 연구원들의 창의적인 아이디어를 장려하고 적절한 권한 위임으로 구성원들을 지원해 줍니다. 유연하고 균형 잡힌 업무량, 호의적이고 재능 있는 동료들, 랩장님의 뛰어난 리더십 덕분에 Vision Lab 안에서 연구에 대한 충분한 동기 부여를 얻고 있습니다. 


Q. Vision Lab에서 이루고자 하는 목표가 있다면 무엇인가요? 

최성하: Anomaly Detection 분야에서 현재 하고 있는 프로젝트를 성공시켜서 LG 계열사 전반의 제조공정 프로세스를 혁신하고 싶습니다. 더 나아가 제가 속한 Vision Lab, 그리고 LG AI연구원이 AI의 특정 분야에서 세계 최고의 역량을 확보하고 이를 통해 LG 계열사의 사업을 돕고 새로운 사업 영역도 창출하는 데에도 기여하고 싶습니다. 

Hu Y: 사람 수준으로 영상과 이미지를 이해하기 위한 보다 범용적인 방법을 찾고 있어요. 장기적으로 다단계의 의미, 구조화된 관계, 계층화된 레이아웃을 활용해 정보를 압축적으로 인코딩하는 일반적인 비주얼 표현 모델을 개발하고 싶습니다.