KoBERT를 이용한 기업관련 신문기사 감성 분류 연구7) = Sentiment Analysis of News on Corporation Using KoBERT

다국어 초록 (Multilingual Abstract)

This study explores the accuracy level of the sentiment analysis of news article sentences from Korean newspaper, using KoBERT which is a modified version of BERT developed by Google. For comparison, we use MBERT which is the multilingual version of BERT, Google Sentiment Analysis provided through Google API, and dictionary based approach. This paper finds that the accuracy level of the sentiment classification based on KoBERT is the highest at 85.7%, achieving a significantly higher level of accuracy compared to the other three models. MBERT shows the next highest accuracy level at 77.5% and the other two models provide even lower accuracy rate. We further investigate whether the sentiment classification results obtained from these four models could predict future stock return. Using cumulative future stock returns for 3 or 5 days after the news on corporation publishes, we find that the sentiment score based on the sentiment classification from the KoBERT model predicts future return better than the other three models. Overall, these findings would serve as a reference for conducting further studies related to sentiment analysis on accounting and financial text.

국문 초록 (Abstract)

이 연구에서는 Google에서 개발한 BERT에 기반한 KoBERT 모형을 사용하여 한국 신문기사의 감성분석 정확도를 테스트하였다. 비교를 위해, Google에서 다국어용으로 제시한 MBERT, Google에서 API를 통해 제공하는 Google Sentiment Analysis, 그리고 사전적 접근법 을 통한 감성분석 결과를 사용하였다. 감성분석 학습 결과, KoBERT를 사용한 경우가 85.7%의 정확도를 보여, 여타 모형의 정확도에 비해 상당히 높은 수준의 정확도를 달성하는 것을 확인하였다. 다른 모형의 경우, MBERT가 77.3%의 정확도로 KoBERT에 비해 상당히 낮은 결과를 보였으며 Google Sentiment Analysis와 사전적 접근법은 더욱 낮은 정확도를 보였다. 감성분석 결과가 실질적으로 의미있는 유용한 정보를 제공하는지 확인하기 위하여 뉴스가 나온 날짜를 기준으로 3일 후, 그리고 5일 후까지 주가수익률을 종속변수로 하여 회귀분석한 결과, KoBERT를 사용한 결과가 다른 결과에 비해 미래 수익률을 더욱 잘 예측하는 것을 발견하였다. 이와 같은 결과는 추후 회계⋅재무 분야의 텍스트에 대한 감성분석을 이용한 다양한 연구를 수행하는 데 참고가 될 것으로 기대한다.

참고문헌 (Reference)

1 최준영 ; 임희석, "자연어처리 모델을 이용한 이커머스 데이터 기반 감성 분석 모델 구축" 한국융합학회 11 (11): 33-39, 2020

2 정지선 ; 김동성 ; 김종우, "온라인 언급이 기업 성과에 미치는 영향 분석 : 뉴스 감성분석을 통한 기업별 주가 예측" 한국지능정보시스템학회 21 (21): 37-51, 2015

3 조현권 ; 이준일 ; 최가영, "딥러닝 방법론을 사용한 주가예측에 대한 탐색적 연구" 한국공인회계사회 63 (63): 195-223, 2021

4 최가영 ; 이준일 ; 조현권, "경영진단의견서(MD&A)의 전기와 당기 유사성과 정보유용성" 한국회계학회 46 (46): 73-105, 2021

5 김은미, "감성분석을 이용한 뉴스정보와 딥러닝 기반의 암호화폐 수익률 변동 예측을 위한 통합모형" 한국지식경영학회 22 (22): 19-32, 2021

6 Loughran, T., "When is a liability not a liability? Textual analysis, dictionaries, and 10-Ks" 66 (66): 35-65, 2011

7 Kim, T. H., "Sentiment analysis system by using BERT language model" 27 (27): 975-977, 2020

8 Beltagy, I., "Scibert: Pretrained contextualized embeddings for scientific text" 2019

9 Alsentzer, E., "Publicly available clinical Bert embeddings" 2019

10 Cho, K, "Natural language understanding with distributed representation. Lecture Note"

11 Feldman, R., "Management’s tone change, post earnings annoucement drift and accruals" 15 (15): 915-953, 2010

12 Tetlock, P. C, "Giving content to investor sentiment : The role of media in the stock market" 62 (62): 1139-1168, 2007

13 Huang, A., "FinBERT_A deep learning approach to extracting textual information" 2020

14 Kim, Y. H., "Can big data forecast North Korean Military Aggression?" 29 (29): 666-683, 2018

15 Lee, J., "Biobert : A pre-trained biomedical language representation model for biomedical text mining" 36 (36): 1234-1240, 2019

16 장은아 ; 최회련 ; 이홍철, "BERT를 활용한 뉴스 감성분석과 거시경제지표 조합을 이용한 주가지수 예측" 한국컴퓨터정보학회 25 (25): 47-56, 2020

17 Lee, H. B., "A study on emotion analysis on sentence using BERT" 27 (27): 909-911, 2020