AI의 새로운 가능성을 열다, 멀티모달 랩 이순영 랩장과의 만남

인공지능 기술의 발전으로 우리는 거의 모든 분야에서 전에 없던 새로운 혁신을 경험하고 있습니다. 그중에서도 텍스트, 이미지, 영상, 음성 등 서로 다른 데이터를 함께 학습하고 사고하는 멀티모달(Multimodal) AI가 본격적으로 상용화된다면, 일상은 놀랍도록 풍요로워질 것으로 기대됩니다.

LG AI연구원 멀티모달 랩은 Visual Data와 Language Data 사이에 얽힌 정보를 풀어내고 모델링하여 새로운 사용자 경험을 현실화하는 것을 목표로 하는 팀입니다. 리더를 맡고 있는 이순영 랩장의 이야기를 통해 멀티모달 AI의 현 트렌드와 앞으로의 계획까지 들어봅니다. 멀티모달 랩의 이야기는 LG AI연구원 YouTube 채널에서도 확인할 수 있습니다.

비전 분야 전문가, AI의 중요성에 주목하다

컴퓨터 비전(Computer Vision) 분야를 공부한 이순영 랩장은 멀티뷰(Multi-view) 이미지에서 Correspondence Matching을 찾는 문제로 박사 학위를 취득했습니다. 비전 연구 분야에서 AI 기술과 AI 솔루션이 필수적이라고 판단하고, 최신 AI 기술을 배우고 연구하기 위해 2021년 2월 LG AI연구원에 합류했습니다. 특히 LG AI연구원에서의 연구를 ‘정말 만족한다’고 강조합니다. 다양한 분야에서 진행되는 AI 연구를 가까이에서 보며 함께 협업할 수 있다는 점을 장점으로 꼽았습니다.

Q. LG AI연구원에서 어떤 업무를 수행하고 계시나요?

“LG AI연구원에 입사 후 스캔 된 문서 이미지로부터 중요한 정보를 추출하는 심층 문서 이해(DDU, Deep Document Understanding) 기술에 관한 과제를 수행했습니다. 이미지를 기계가 활용할 수 있도록 하기 위해서는 필요한 정보를 추출하고 압축하는 등 복잡한 처리 과정이 필요한데요. 이를 원활하게 할 수 있는 비전 연구를 집중적으로 수행 중입니다.”

* DDU (Deep Document Understanding) : 논문, 특허 등 전문 문헌의 텍스트뿐만 아니라 수식, 표 등 시각적 요소까지 분석해 데이터를 빠르고 정확하게 분석하고 축적하는 기술

이순영 랩장이 말하는 생성형 멀티모달 AI 기술 트렌드

Q. 현업 종사자로서 멀티모달 기술의 트렌드를 알려주신다면?

“멀티모달 기술은 정말 빠른 속도로 발전해가고 있습니다. 첫 번째 트렌드는 이미지 생성 기술의 확장입니다. 기존에는 텍스트로부터 스틸 이미지를 생성하는 기술에 그쳤지만, 이제는 이를 시간축으로 확장해 숏폼이나 롱 컨텍스트(Long Context)를 가진 비디오 생성 기술로 발전할 것으로 예상됩니다. 또한 모달리티의 확장도 이루어지고 있습니다. 이미지, 비디오뿐만 아니라 3D, 음성 쪽으로도 생성이 가능한 멀티모달 생성형 모델로 발전할 것으로 기대됩니다.

두 번째 트렌드는 Translational Medicine 분야입니다. 이는 이미지뿐만 아니라 다양한 임상실험 데이터, 유전자 시퀀스 데이터를 결합하여 보다 정확한 진단을 가능하게 하고 효율적이고 저비용의 임상실험을 설계할 수 있는 기술입니다.

세 번째 트렌드는 Embodied AI입니다. 멀티모달 모델을 이용해서 이미지, 음성을 입력으로 받아 환경을 통합적으로 이해하고 주어진 태스크를 수행할 수 있도록 에이전트를 제어하는 기술이 앞으로 각광받을 것이라 예상됩니다.”

*롱 컨텍스트(Long Context) : 거대언어모델(LLM, Large Language Model)이 이해할 수 있는 문맥을 더 길게 제공해서 답변의 정확도를 높이는 기술

Q. 멀티모달 랩에서 수행하는 연구 분야는 무엇인가요?

“멀티모달 랩은 현재 두 가지 연구 분야에 집중하고 있습니다. 첫 번째는 Generation 분야로, 주어진 텍스트로부터 이미지를 생성하는 이미지 생성 AI(Image Generation AI) 기술입니다. 생성된 이미지를 사용자의 지시어에 따라서 콘텐츠를 바꾸거나 스타일을 바꾸는 Image Editing 분야의 연구도 함께 수행하고 있습니다.

예를 들어, 화장품 용기나 패키지를 디자인하기 위해서는 영감을 줄 수 있는 이미지가 필요합니다. 그래서 현재 LG생활건강과 협업하면서 LG AI연구원의 Image Generation 기술을 통해 이미지를 생성하는 데 도움을 주고 있습니다.

더불어 Image Understanding 연구도 진행 중인데요. 이는 이미지 캡셔닝(Image Captioning)이라고도 부르며, 입력된 이미지를 가장 잘 설명하는 텍스트를 생성하는 기술입니다. 저희는 Vision Feature와 LLM을 결합해서 사실이 아닌 정보를 그럴듯하게 만들어 내는 환각(Hallucination) 현상이 없는 모델을 만드는 것을 목표로 하고 있습니다.”

LG AI연구원은 글로벌 연구자들과 이미지 캡셔닝 기술을 공유하기 위해, 세계 최고의 비전 학회인 CVPR 2024에서 ‘NICE (New Frontiers for Zero-shot Image Captioning Evaluation)’ 워크숍을 개최합니다. LG AI연구원과 서울대학교, 그리고 AWS가 공동 주최하는 행사로, 작년에 이어 두 번째로 진행합니다.

이 워크숍에서는 두 가지 챌린지가 진행됩니다. 첫 번째는 이미지를 가장 잘 설명하는 캡션을 만들어내는 '이미지 캡셔닝 챌린지', 두 번째는 제시한 이미지를 가장 잘 설명하는 순으로 캡션을 나열하는 ‘캡셔닝 Re-ranking 챌린지’였습니다. 해당 워크숍은 Zero-shot Image Captioning 기술을 공유하는 동시에 LG AI연구원의 기술적 리더십을 확인할 수 있는 기회의 장이기도 했습니다.

▶ NICE Challenge & Workshop : (Link)

▶ AI Image Captioning : (Link)

“두 번째 연구 분야는 Medical Data Analysis입니다. 기존의 의료 데이터 연구는 영상 분야에 치중되어 있었는데요. 최근 멀티모달 기술을 이용하여 다양한 임상실험 데이터 혹은 유전자 시퀀스 데이터까지 함께 이용한 모델의 개발이 이루어지고 있습니다. LG AI연구원은 다양한 글로벌 제약회사, 임상실험 회사와 함께 바이오마커 발굴이나 피실험군 분류와 같은 과제로 협업하고 있습니다.”

멀티모달 랩의 팀워크 비결 및 최종 목표

이순영 랩장은 멀티모달 랩의 연구원들이 전문 역량을 주변 동료와 나누고, 함께 성장할 수 있는 문화를 만들기 위해 노력하고 있습니다.

“저희 멀티모달 랩은 개개인이 모두 각자의 전문성을 가지고 있습니다. 이 전문성을 서로에게 나눠줄 수 있도록 Pair Researcher 구조로 연구를 진행하고 있습니다. 하나의 업무에 두 명 이상이 참여해 연구를 진행하기 때문에, 서로의 전문성을 나누며 성장할 수 있고, 한 연구원이 다른 우선순위 업무를 수행하거나 부재 중일 때도 업무를 좀 더 안정적으로 연구를 진행할 수 있습니다.”

Q. 멀티모달 랩이 앞으로 이루어 나가고 싶은 목표는 무엇인가요?

“Generation 분야에서 체감 성능을 향상시켜 저희의 기술을 계열사, 외부 사업자에게 확산 전개하는 것입니다. 이를 위해서는 모델의 성능뿐 아니라 프롬프트 엔지니어링이나 데이터 정제와 같은 다른 기반 기술들도 함께 연구해야 될 것으로 생각하고 있습니다. 또한 메디컬 분야에서의 목표는 다양한 태스크에 적용할 수 있는 메디컬 파운데이션 이미지 모델을 만드는 것입니다. 이를 다양한 태스크에 적용하여 연구원을 메디컬 분야에서의 글로벌 강자로 만드는 것이 목표입니다.

궁극적으로는 이러한 기술적 리더십을 바탕으로 LG AI연구원이 멀티모달 연구에 대해 세계적으로 인정을 받고 유수한 인재들이 와서 함께 연구할 수 있는 그런 연구원이 되는 것이 저의 목표입니다.”