RISS 검색 - 국내학술지논문 상세보기

국문 초록 (Abstract)

자연어 생성은 시스템의 계산 결과를 사람의 언어로 표현하는 작업을 의미한다. 이와 같은 자연어 생성 모델은 정량 평가만으로 생성된 문장의 품질을 대변할 수 없기 때문에 사람이 주관적...

자연어 생성은 시스템의 계산 결과를 사람의 언어로 표현하는 작업을 의미한다. 이와 같은 자연어 생성 모델은 정량 평가만으로 생성된 문장의 품질을 대변할 수 없기 때문에 사람이 주관적인 기준에 따라 문장의 의미나 문법 점수를 매기는 정성 평가도 같이 사용하여 생성된 문장의 품질을 평가한다. 기존의 정성 평가는 주로 문법 적합도, 의미 적합도를 지표로 사용했으나, 평가자의 기준에 따라 큰 점수 편차가 발생하는 문제점이 존재했다. 따라서 본 논문에서는 구체적인 점수 기준을 제공해 줄 수 있는 문법 정확도 평가(Grammar Accuracy Evaluation, GAE) 방법을 제안한다. 본 논문에서는 기계 번역 모델의 번역 품질을 BLEU와 GAE를 통해 분석하였다. 분석 결과 BLEU 지표로 측정된 점수가 모델의 절대적인 성능을 대변하지 않음을 확인하였으며, GAE 지표를 통해 동의어로 대체된 어휘 및 문장 구조의 변화를 오답으로 평가한 BLEU 지표의 단점이 보완됨을 확인하였다.

다국어 초록 (Multilingual Abstract)

Natural Language Generation (NLG) refers to the operation of expressing the calculation results of a system in human language. Since the quality of generated sentences from an NLG model cannot be fully represented using only quantitative evaluation, they are evaluated using qualitative evaluation by humans in which the meaning or grammar of a sentence is scored according to a subjective criterion. Nevertheless, the existing evaluation methods have a problem as a large score deviation occurs depending on the criteria of evaluators. In this paper, we propose Grammar Accuracy Evaluation (GAE) that can provide the specific evaluating criteria. As a result of analyzing the quality of machine translation by BLEU and GAE, it was confirmed that the BLEU score does not represent the absolute performance of machine translation models and GAE compensates for the shortcomings of BLEU with flexible evaluation of alternative synonyms and changes in sentence structure.

참고문헌 (Reference)

1 Guillaume Klein, "OpenNMT: Open-Source Toolkit for Neural Machine Translation"

2 Rico Sennrich, "Neural Machine Translation of Rare Words with Subword Units" 1 : 1715-1725, 2016

3 Philipp Koehn, "Manual and Automatic Evaluation of Machine Translation between European Languages" 102-121, 2006

4 Ayush Garg, "MIPE: A Metric Independent Pipeline for Effective Code-Mixed NLG Evaluation" 123-132, 2021

5 Kishore Papineni, "BLEU: a Method for Automatic Evaluation of Machine Translation" 311-318, 2002

6 Tianyi Zhang, "BERTScore: Evaluating Text Generation with BERT" 2019

7 Jacob Devlin, Chang, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" 1 : 4171-4186, 2019

8 Ashish Vaswani, "Attention Is All You Need" 30 : 5998-6008, 2017

9 Chris Callison-Burch, "(Meta-) Evaluation of Machine Translation" 136-158, 2007