음성 기반 AI의 무한한 발전을 위해, 음성인식 데이터셋

음성인식 데이터셋의 역할과 중요성

음성인식과 자연어처리, 그리고 음성합성을 포함한 음성 기반의 AI 서비스는 가장 상업적으로 성공한 AI 기술 중 하나입니다. 가장 자연스러운 인터페이스로서의 편리성을 지니고 있을 뿐만 아니라, 각 기업들이 가지고 있는 플랫폼의 확장을 실현할 수 있는 새로운 포털로서의 가능성 또한 가지고 있기 때문입니다. 아마존의 Alexa를 탑재한 Echo 스피커가 아마존의 음악 서비스는 물론, 상품 구매와 같은 아마존 본연의 서비스 이용까지 가능하게 하는 것이 그 사례입니다.

AI 기술이 발전함에 따라 음성 기술에 대한 중요성은 더욱 부각될 것이며, 플랫폼 선점 측면에서 구글, 페이스북, 아마존 등 주요 IT기업의 경쟁 또한 더욱 치열해질 것으로 전망됩니다. 그리고 이러한 기술 발전의 중심에는 벤치마크 데이터셋이 있습니다. 벤치마크 데이터셋은 공통된 기준으로 성능을 측정해 AI의 정확도를 평가하고 경쟁할 수 있는 기반이 되는 것으로, 다양한 AI 기술의 적용결과를 통해 많은 연구자들이 기술 방향성을 쉽게 알 수 있고, 또한 장기적인 운영을 통해 기술의 발전 단계를 알 수 있게 하는 중요한 역할을 합니다.

아래 그림^[1]은 2010년부터 2020년까지 음성 기반 AI 서비스 출시, 음성인식 기술 패러다임, 음성인식 분야에서 가장 널리 사용되고 있는 벤치마크 데이터셋인 LibriSpeech^[2]의 타임라인을 보여 주고 있습니다.

 

위 그림을 통해 Apple의 Siri를 시작으로 하여 속속 출시된 각 IT기업들의 음성 기반 AI 서비스 시점을 파악할 수 있습니다. 또한 End-to-End 음성인식이 나오기 전에 가장 많이 사용된 음성인식 오픈소스인 Kaldi^[3]와 이보다 개선된 Hybrid Neural Architecture^[4], 그리고 최근에 가장 많은 연구가 진행되고 있는 End-to-End 음성인식 모델인 DeepSpeech^[5], Encoder-decoder model^[6], Google의 Transducer^[7] 모델 등의 출현 시점, 가장 널리 사용되고 있는 LibriSpeech의 오픈 시점도 알 수 있습니다.

그런가 하면, 음성인식 분야의 대표적 벤치마크 데이터셋인 LibriSpeech와 Hub5’00의 연도별 음성인식의 오류율, 즉 Word Error Rate의 변화도 매우 유의미합니다. 아래 그림^[1]을 통해 확인해 보겠습니다.



각 그림에서 푸른색 점선은 Human Level, 즉 사람을 대상으로 성능을 테스트한 결과입니다. 벤치마크 데이터셋의 오류율을 살펴보면, 2017년 이후에는 오류율이 Human level보다 낮아지며 사람의 수준을 넘어선 것으로 나타납니다. 하지만 이는 어디까지나 벤치마크 데이터셋인 만큼 실제 사용환경에서는 이보다 성능이 낮아질 수 있습니다.

현재 end-to-end 음성인식 결과에 대한 방법론과 SOTA(State-Of-The-Art) 기술을 쉽게 파악할 수 있는 도표도 함께 살펴 보겠습니다. 아래 그림^[8]은 papers with code의 LibriSpeech 데이터셋에 대한 논문 실험 결과를 리더보드 형태로 보여준 것입니다.




국내 및 글로벌 음성 데이터셋 현황

글로벌 음성인식 데이터셋의 중요성의 인식에 따라 국내에서도 음성인식 데이터셋 구축에 많은 노력을 기울이고 있습니다. 아래 표는 글로벌 음성인식 데이터셋과 국내 음성인식 데이터셋에 대한 비교입니다.



위 표의 내용 중 국내에서는 한국지능정보사회진흥원(NIA)이 주관하고 있는 AI Hub에 주목할 필요가 있습니다. AI Hub가 보유한 음성인식 데이터의 다양성과 구축 용량이라면, 추후 다양한 분야에서 음성인식 벤치마크 데이터로 활용할 수 있을 것으로 보입니다. 특히 고객응대, 차량 명령어, 회의 음성, 강의, 방언 데이터 등은 실제 음성인식 기술을 활용하여 서비스를 개발하고자 하는 기관이나 기업의 요구사항을 반영한 것이기 때문에 기존의 글로벌 음성인식 데이터 대비 우수한 평가를 받을 만합니다.

다만 아쉬운 점을 찾는다면, 개인정보 등의 문제가 있어 실제 고객 응대 서비스에서 녹음된 데이터를 활용하는 것이 어렵다는 점입니다. 재녹음 등의 방법으로 음성인식 데이터를 수집해야 하기 때문에, 실제 데이터를 활용하지 못한다는 점은 음성인식 개발에 있어 지속적으로 해결책을 찾아야 하는 지점입니다. 또한, 최근 들어서는 Wav2Vec^[14]의 사례처럼 오디오 데이터의 비지도 학습을 통한 음향모델 성능의 개선 가능성이 대두되고 있습니다. 페이스북의 Libri-Light처럼 대용량의 비전사 오디오 데이터 구축 시스템 또한 개발이 이루어지기를 기대하는 부분입니다.


국내 음성 데이터셋 구축 사업에 거는 기대

지금까지 살펴본 것과 같이 그 다양성을 고려했을 때 음성인식 데이터셋은 앞으로도 그 활용분야가 매우 넓을 것으로 기대됩니다. 다만 아직 국내 연구분야에서 이를 활용한 논문이나 벤치마크 리더보드 등이 많이 활성화되지 않는다는 점을 아쉬워하는 이들이 많습니다.

다행히 이러한 아쉬움을 해소하고자 유의미한 관련 경진대회가 개최되기도 합니다. 한글날을 맞아 과학기술정보통신부와 한국지능정보사회진흥원이 주관하는 ‘2021 한국어 음성·자연어 인공지능 대회 - 인공지능, 훈민정음에 스며들다’가 그것입니다^[15]. 이러한 대회를 통해 다양한 음성인식 기술이 개발되고 관련 연구자가 배출된다면 한국어 음성인식 발전에 긍정적 영향을 미칠 것입니다. 앞서 언급했던 것처럼 장기적으로 실제 사용자들의 데이터를 꾸준히 수집할 수 있도록 개인정보 관련 문제를 해결하는 것 또한 음성인식 데이터 구축과 활용에 있어 큰 도움이 될 것입니다.