스킵 연결과 데이터 증강을 통한 평생 언어 학습 성능 개선 = Improving the Performance of Lifelong Language Learning via Skip Connection and Data Augmentation

국문 초록 (Abstract)

평생 언어 학습은 이전 정보의 망각을 방지하며 연속적으로 태스크를 학습하는 학습법을 의미한다. 그러나 이때 발생하는 시간 지연은 지속적인자원 소모를 일으켜 업데이트 속도를 늦추며 모델의 적응성을 저하시킨다. 본 연구에서는 평생 언어 학습법의 한 종류인 LAMOL(LanguageModeling for LIfelong Language Learning)의 모조 샘플 생성 인코더에 스킵 연결과 데이터 증강을 적용한 SDAL(Skip connection and DataAugmentation beyond LAMOL)을 제안한다. SDAL은 스킵 연결을 통해 모조 샘플 생성 시간을 단축하고 데이터 증강을 통해 학습 정확도를높여, 학습 시간의 효율적 사용과 학습 품질의 향상을 도모한다. SDAL은 스킵 연결을 통해 각 레이어 간의 정보를 신속하게 전달하고 데이터증강으로 추가적인 입력 없이 더 많은 데이터셋을 학습하여 학습 품질을 개선한다. 실험을 통하여 SDAL이 LAMOL 대비 최대 2.3%, 평균 2.0%의학습 시간을 단축하며 최대 5.1%, 평균 2.7%의 정확도를 증가시키고, L2KD 대비 최대 9.1%, 평균 6.0%의 시간을 단축하며 최대 3.3%, 평균1.4%의 성능을 높임을 확인하였다.

다국어 초록 (Multilingual Abstract)

Lifelong language learning refers to a learning method that continuously learns tasks and maintains previous knowledge. But the timedelay that occurs can cause continuous resource consumption, which slows the update rate and reduces the adaptability of the model.
In this study, we propose SDAL(Skip connection and Data Augmentation beyond LAMOL), a model that applies skip connection and dataaugmentation to the pseudo-sample generation encoder in LAMOL(Language Modeling for Lifelong Language Learning), a type of lifelonglanguage learning method. SDAL aims to efficiently use learning time and improve learning quality by reducing pseudo-sample generationtime via skip connection and increasing learning accuracy via data augmentation. SDAL improves learning quality by quickly transferringinformation between layers through skip connections and learning more data sets without additional input with data augmentation.
Experimental results showed that SDAL reduced learning time by up to 2.3% and average by 2.0%, and increased accuracy by up to 5.1%and average by 2.7% compared to LAMOL. Additionally, SDAL reduced time by up to 9.1% and average by 6.0%, and improved performanceby up to 3.3% and average by 1.4% over L2KD.