‘NICE 워크숍&챌린지’ 등 CVPR 2023에서 눈부신 성과 선보인 LG AI연구원

세계 최대 컴퓨터 비전 학회인 ‘CVPR(Computer Vision and Pattern Recognition) 2023’이 6월 18일부터 22일(현지 시각 기준)까지 캐나다 밴쿠버에서 진행됩니다. 이번 CVPR 2023에서 LG AI연구원은 ‘캡셔닝 AI(Captioning AI)’를 외부에 처음 공개하고, LG 부스에 방문한 전 세계 연구자들을 대상으로 캡셔닝 AI를 시연합니다. 또한 ‘제로 샷 이미지 캡셔닝(Zero-shot Image Captioning)’을 주제로 한 워크숍도 개최하는 등 다양한 활동을 펼칠 계획입니다.

이미지 검색 시장에 변화를 가져올 캡셔닝 AI란 무엇인지, 그리고 CVPR 2023에서 LG AI연구원은 어떤 기술과 비전을 선보이는지, CVPR 2023 현장에서 살펴보겠습니다.

인간처럼 이미지를 이해하고 설명하는 캡셔닝 AI

캡셔닝 AI는 사진이나 그림 등 이미지를 입력하면 그 내용을 문장이나 키워드로 출력하는 생성형 AI 모델입니다. 마치 인간처럼 기존에 학습한 데이터를 기반으로 이미지를 스스로 이해하고 유추해, 처음 본 이미지도 정확하게 설명할 수 있습니다.

Image Captioning 기술이 점차 고도화되어 대규모의 이미지와 텍스트 데이터 학습 후 이미지의 특성을 파악하고 분류해, 새로운 이미지를 입력했을 때 이미지 특성과 텍스트를 연결하여 캡션을 생성하는 것을 제로샷 이미지 캡셔닝 기술이라고 합니다. 인간의 시각 인지 능력처럼 객체를 분류하는 범주의 한계가 없고 상황과 문맥, 객체 간의 관계 등 이미지 전체를 이해한 결과를 텍스트로 설명할 수 있는 점이 강점입니다.

캡셔닝 AI를 활용하면 검색에 활용할 수 있는 이미지 속성 정보인 메타 데이터를 생성할 수 있습니다. 텍스트의 길이와 개수에 따라 다르지만, 평균적으로 5개의 문장과 10개의 키워드를 10초 내로 생성합니다. 이미지 범위를 1만 장으로 확장하면 2일 이내에 작업을 끝낼 수 있어 빠른 시간 내에 맞춤형 이미지 검색·관리 시스템 구축이 가능합니다. 대량의 이미지를 관리해야 하는 기업들의 업무 효율성 증대와 생산성 향상에 도움을 줄 것으로 기대됩니다.

셔터스톡과의 협업으로 기술적, 윤리적 완성도를 높이다

캡셔닝 AI의 개발은 LG AI연구원과 셔터스톡(Shutterstock)의 협업으로 이루어졌습니다. 셔터스톡은 이미지와 영상 등 시각 콘텐츠가 매일 수십만 개 이상 새롭게 추가되는 세계 최대 플랫폼 기업입니다. 콘텐츠 분석과 처리 경험이 풍부한 전문가들이 포진해 있으며 이미지 분류와 검색에 활용하기 적합한 문장 길이, 표현 방법 등 이미지 캡셔닝에 관한 방대한 노하우도 지녔습니다. 데이터 학습부터 서비스 개발까지 셔터스톡과의 긴밀한 협력을 통해 캡셔닝 AI의 완성도를 높일 수 있었습니다. 특히, 실용적이면서도 신뢰할 수 있는 AI 모델 개발을 위해 학습 데이터의 저작권 투명성을 확보하고 편향성·선정성 등 AI 윤리 검증도 진행했습니다.

세잘 아민(Sejal Amin) 셔터스톡 CTO는 “현재 글로벌 고객사 10곳을 대상으로 얼리 액세스 프로그램을 진행하며 캡셔닝 AI 기술을 점점 발전시켜 나가고 있다”며, “캡셔닝 AI는 고객들이 반복적인 작업보다 좀 더 본질적이고 창의적인 일에 집중할 수 있도록 돕는 AI가 될 것”이라고 강조했습니다.

제로샷 이미지 캡셔닝을 주제로 한 ‘NICE’ 워크숍 개최

CVPR 개최 첫 날인 6월 18일 오전(현지 시각 기준), LG AI연구원은 서울대 AI대학원, 셔터스톡과 함께 제로샷 이미지 캡셔닝을 주제로 한 ‘NICE : New Frontiers for Zero-shot Image Captioning Evaluation’ 워크숍을 진행했습니다.

이경무 서울대 석좌교수의 개회사로 시작한 워크숍에는 이미지 캡셔닝 분야의 세계적인 전문가들이 참여해 최신 연구 동향과 미래 전망, 그리고 AI 윤리 등 기술이 사회에 미치는 영향에 관해 심도 있는 논의를 진행했습니다. 이어서 LG AI연구원의 이홍락 CSAI는 캡셔닝 기술에 대한 기존의 연구를 포함하여 LG AI연구원에서 집중하고 있는 이미지 캡셔닝 연구에 대해 소개했습니다.

이번 워크숍에서는 상반기에 진행한 ‘LG 글로벌 AI 챌린지’의 시상식도 열렸습니다. 자체 개발한 AI 모델의 이미지 이해 능력을 평가하는 대회인 ‘LG 글로벌 AI 챌린지’에는 총 142개 연구팀이 참여했습니다. 챌린지 1, 2위를 차지한 난징과학기술대, 카이스트(KAIST) 소속 참가자들은 워크숍에서 연구 성과를 발표하기도 했습니다. 상위를 차지한 팀은 제공된 데이터셋을 분석 후, fine-tuning을 진행하여 높은 점수를 낼 수 있었습니다.

김승환 LG AI연구원 비전랩장은 “이번 워크숍은 첫 번째 상용화 서비스인 ‘캡셔닝 AI’ 발표와 연계되어 있어 더욱 의미가 깊다고 생각한다”며, “이미지 캡셔닝 분야의 글로벌 연구 리더십을 확보하기 위해 다양한 파트너들과 유기적인 협력체계를 구축해 새로운 평가 지표 개발과 신기술 연구를 계속 추진할 계획”이라고 말했습니다.

LG그룹의 최신 AI 기술을 선보이며 글로벌 AI 인재와 교류하다

LG AI연구원은 학회 기간 중 LG전자, LG이노텍, LG에너지솔루션, LG유플러스 등 LG의 주요 계열사와 함께 글로벌 AI 우수 인재 확보에 나섭니다. 이를 위해 19일에는 학회에 참가한 석·박사 학생들을 대상으로 네트워킹 행사인 ‘LG AI Day’를 개최하고, 20일부터 3일간 LG 통합 부스에서는 채용상담과 함께 각 계열사의 최신 AI 기술 시연도 진행됩니다.

LG전자는 비전 검사 기술 기반으로 운전자의 얼굴 및 시선을 인식해 졸음 등의 운전 부주의를 감지하는 운전자 모니터링 시스템, 냉장고 내 식품의 신선도 변화나 조리 과정에 따른 오븐 내 음식의 상태 변화 등을 시각적으로 구현하는 AI 기술 등을 소개합니다. LG이노텍은 실제 제품을 양산하기 전 디지털 공간에서 미리 테스트해 볼 수 있는 디지털 트윈 기술을, LG에너지솔루션은 하루에 수십만 개씩 생산되는 배터리 셀의 불량을 잡아내는 비전 기반의 검사 기술인 이상 탐지(Anomaly Detection)를, LG유플러스는 고객들이 미디어 콘텐츠에서 원하는 장면을 손쉽게 찾을 수 있도록 영상 장면의 인물·행동·장소·상황·문자 등 각종 정보를 표현하는 메타 데이터를 추출하는 AI 기술을 선보입니다.

캡셔닝 AI 공개, NICE 워크숍 개최 등 CVPR 2023은 LG AI연구원이 세계 수준의 AI 기술과 역량을 갖추었음을 증명하는 기회가 될 것입니다. 앞으로도 LG AI연구원은 글로벌 연구 네트워크를 통해 활발하게 교류하고 우수 AI 인재를 지속 영입해 글로벌 AI 기술을 선도하는 연구 기관으로 나아가겠습니다.

▶ CVPR 2023 NICE Workshop 공식 홈페이지 (Link)