CBCA 준거 분류에서의 BERT 기반 모델 성능 비교 = Comparison of BERT-based Model Performance in CBCA Criteria Classification

다국어 초록 (Multilingual Abstract)

In the case of child sex crimes, the victim's statement plays a critical role in determining the existence or innocence of the case, so the Supreme Prosecutors' Office classifies the statement into a total of 19 criteria according to Criteria-Based Content Analysis (CBCA), a victim's statement analysis technique. However, this may differ in criteria classification according to the subjective opinion of the statement analyst. Thus, in this paper, two major classification methods were applied and analyzed to present an criteria classification model using BERT and RoBERTa. The two methods comprise of a method of classifying the entire criterion at the same time, as well as method of dividing it into four groups, and then classifying the criteria within the group secondarily. The experiment classified statements into 16 criteria of CBCA and performed comparative analysis using several pre-trained models. As a result of the classification, the former classification method performed better than the latter classification method in 13 of the total 16 criteria, and the latter method was effective in three criteria with a relatively insufficient number of training data. Additionally, the RoBERTa-based model performed better than the BERT-based model in 15 of the 16 criteria, and the BERT model, which was pre-trained using only Korean conversational colloquial language, classified the remaining one criterion uniquely. This paper shows that the proposed model, which was pre-trained using interactive colloquial data is effective in classifying children's statement sentences.

국문 초록 (Abstract)

아동 성범죄의 경우 피해자의 진술은 사건의 유, 무죄를 판별함에 있어서 매우 중요하게 작용하기 때문에, 대검찰청에서는 피해자 진술 분석 기법인 Criteria-Based Content Analysis (CBCA)에 따라, 진술 내용을 총 19개의 준거로 분류하여 진술 전체의 신빙성을 판단한다. 그러나 이는 진술분석관의 주관적 의견에 따라 준거 분류가 상이할 수 있다. 따라서 본 논문에서는 BERT와 RoBERTa를 사용하여 객관적 분류 모델을 제시하기 위하여 크게 두가지 분류 방식을 적용하여 비교 분석하였다. 두 가지 방법은 전체 준거를 동시에 분류하는 방식과 4개의 그룹으로 나누어 1차 분류 후 해당 그룹 내에서 어떠한 준거인지 2차 분류하는 방식으로 구성하였다. 진술 문장을 CBCA의 중복 분류되는 준거를 제외한 16개 준거로 분류하고, 여러 사전 학습 모델을 사용한 비교 분석을 수행하였다. 분류 결과, 전자의 분류 방식이 총 16개의 준거 중 13개의 준거에서 후자의 분류 방식보다 성능이 높았으며, 학습 데이터의 수가 상대적으로 부족한 3개의 준거에서 후자의 방식이 효과적임을 확인하였다. 또한 RoBERTa 기반 모델이 16개의 준거 중 15개의 준거에서 BERT 기반 모델보다 성능이 높았으며, 나머지 1개의 준거에서는 한국어 대화형 구어체만으로 사전학습한 BERT 모델만이 유일하게 분류하였다. 이는 대화형 구어체 데이터로 사전 학습된 모델이 아동의 진술 문장을 분류함에 있어서 효과적임을 알 수 있다.

참고문헌 (Reference)

1 최용석 ; 이공주, "트랜스포머와 BERT로 구현한 한국어 형태소 분석기의 성능 분석" 한국정보과학회 47 (47): 730-741, 2020

2 이상아 ; 장한솔 ; 백연미 ; 박수지 ; 신효필, "소규모 데이터 기반 한국어 버트 모델" 한국정보과학회 47 (47): 682-692, 2020

3 Conneau, Alexis, "Unsupervised cross-lingual representation learning at scale"

4 Y Liu, "Roberta : A robustly optimized bert pretraining approach"

5 최윤수 ; 이혜우 ; 김태형 ; 장두성 ; 이영훈 ; 나승훈, "RoBERTa를 이용한 한국어 기계독해" 한국정보과학회 27 (27): 198-203, 2021

6 SKT-Brain, "Korean BERT pre-trained cased (Ko BERT)"

7 Junbum Lee, "KcBERT: Korean Comments BERT" 437-440, 2020

8 Sungjoon Park, "KLUE : Korean Language Understanding Evaluation"

9 Wang, Alex, "GLUE : A multi-task benchmark and analysis platform for natural language understanding"

10 Parker, "Detection of deception : Statement Validity Analysis as a means of determining truthfulness or falsity of rape allegations" 5 (5): 237-259, 2000

11 Boychuk, "Criteria-based content analysis of children's statements about sexual abuse: A fieldbased validation study" Arizona State University 1991

12 M Steller, "Credibility assessment" Springer 135-154, 1989

13 U Undeutsch, "Credibility assessment" Springer 101-119, 1989

14 김현정, "CBCA와 RM을 이용한 성폭력 피해 아동의 진술 신빙성 평가" 한국여성심리학회 15 (15): 355-379, 2010

15 Google-Research, "Bert multilingual model"

16 J. Devlin, "BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding"

17 Vaswani, Ashish, "Attention is all you need" 30 : 2017

18 Y. Orbach, "Assessing the value of structured protocols for forensic interviews of alleged child abuse victims" 24 (24): 733-752, 2000

19 Esplin, "A field validity study of criteria-based content analysis of children's statements in sexual abuse cases" NATO advanced study institute on credibility assessment 1988