경량화 기법을 적용한 트랜스포머 기반의 한국어 음성인식 연구

국문 초록 (Abstract)

최근 Transformer 모델이 여러 도메인에 적용되어 기존의 성능을 뛰어넘는 결과를 보이고 있다. 음성인식 분야에도 Transformer 음향모델이 다른 모델 성능 대비 우수한 결과치를 보이고 있다. 하지만, Transformer의 고질적인 연산량 문제의 원인인 Feed Forward 연산을 사용하는 Self-attention 방식을 음성 인식 도메인에 적합하도록 개선하였다. 해당, Light-weight 기법을 적용한 Transformer 음향모델을 한국어 기반의 데이터 셋에 적용하여 연구를 진행하였고 최종적으로 17% 의 연산량 감소를 확인할 수 있었다.