휴리스틱 클러스터링을 활용한 다중 문서 요약 시스템 : 반도체 산업 사례 = A Multi-Document Summarization System using Heuristic Clustering: The Case of Semiconductor Industry

다국어 초록 (Multilingual Abstract)

In modern society, the plethora of digitalization has encouraged to produce and collect vast amounts of textual data. As such, there has been a keen interest in document summarization, which efficiently extracts and provides information in a couple of sentences. To this end, there have been numerous approaches to single-document summarization in the leading research stream, while relatively few studies on a multi-document summarization. In this paper, we propose a multi-document summarization method with heuristic clustering. More in specific, this paper suggests a method of deriving optimal clusters with similar topics among heterogeneous documents, finding a representative document for each cluster, and then summarizing the selected representative. This paper introduces a data analysis result using the collected news articles in the semiconductor industry and the multi-document summarization system. This research has a contribution both from academia and industry in suggesting a new approach for multi-document summarization and being used for numerous domains requiring document summarization.

국문 초록 (Abstract)

방대한 양의 텍스트 데이터가 축적되고 있는 현대 사회에서 정보를 효율적으로 추출 및 제공하기 위한 문서 요약 연구가 활발히 이루어지고 있다. 하지만 이는 주로 단일 문서 요약에 관한 연구로 다중 문서 요약에 관한 연구는 비교적 적다. 본 논문에서는 휴리스틱 군집화를 통해 다중 문서 요약을 수행하는 방법을 제시한다. 구체적으로, 본 논문은 다양한 주제의 문서 중 유사한 주제를 갖는 최적의 클러스터들을 도출하고 해당 클러스터 내의 대표 문서를 찾고, 그 후 선택된 대표 문서를 요약하는 방법을 제시한다. 본 논문에서는 반도체 산업 관련 기사 데이터를 통한 데이터 분석 결과 및 반도체 산업 다중 문서 요약 시스템을 소개한다. 본 연구는 다중 문서 요약에 관한 새로운 접근 방법을 제시하였다는 것 뿐만 아니라 문서 요약이 필요한 다양한 서비스에 이용 가능하다는 측면에서, 학계와 산업계 모두 기여점을 갖는다.

참고문헌 (Reference)

1 Yonhap News, "Yonhap News launches artificial intelligence article summary service"

2 Dávid Bajusz, "Why is Tanimoto index an appropriate choice for fingerprint-based similarity calculations?" 2015

3 Naver, "What is a summary bot service?"

4 S. K. Kwon, "The Study on Korean Single Document Summarization Using Pre-trained Language Models" Jeju International Convention Center 1-3, 2021

5 손지영 ; 신용태, "TextRank 알고리즘을 이용한 음악 가사 요약 기법" 한국멀티미디어학회 21 (21): 45-50, 2018

6 T. H. F. Khan, "Text Document Clustering using K-Means and Dbscan by using Machine Learning" 9 (9): 6327-6330, 2019

7 P. Y. D. Silva, "Recursive Hierarchical Clustering Algorithm" 8 (8): 1-7, 2018

8 H. N. Cho, "Multi-Document Summarization Based on Graph Clustering" 912-914, 2014

9 SKT, "Korean BART"

10 Children’s Chosun Ilbo, "Isn't reading web novels and webtoons also reading? Student reading amount 'tuck'... The use of e-books is increasing"

11 R. Khan, "Extractive based Text Summarization Using KMeans and TF-IDF" 11 (11): 33-44, 2019

12 Y. Y. Yoon, "Document embedding and classification using BERT" Pusan National University 2022

13 W. M. Song, "Document Summarization System Using Dynamic Connection Graph" 112-113, 2008

14 김동성, "Doc2Vec 단어 임베딩 언어 모델을 활용한 텍스트 장르 구분" 한국언어정보학회 23 (23): 23-43, 2019

15 Swamy L N, "Concept of TF-IDF, Common Bag of Word and Word Embedding for Effective Sentiment Classification" 9 (9): 2198-2201, 2020