정의 질의 응답을 위한 확률 모형 = Probabilistic model for definitional question answering

국문 초록 (Abstract)

컴퓨터와 인터넷의 발달로 일반 대중이 접근할 수 있는 정보의 량이 폭발적으로 증가하고 있다. 정보과다 현상 속에서 사람들은 자신이 원하는 정보를 찾아내는데 점점 더 어려움을 느낀다. 이런 상황에서 질의 응답은 사용자가 원하는 정보를 찾기 위한 간편하고도 효과적인 수단을 제공한다. 한편, 사회가 전문화되면서 자신이 속한 특정 분야 밖의 정보를 이해하기에는 어려움이 많다. 따라서 어떤 대상에 대한 개념, 정체성, 역사나 이력 등을 묻는 정의형 질문에 대한 처리가 필요하다.
본 논문은 정의형 질문의 특성을 반영한 정의 질의 응답을 위한 확률 모형을 제안한다. 정의형 질문의 의도는 ``질문 대상에 대한 정의''를 알고 싶어 하는 것이다. 따라서 정의형 질문에 대한 정답은 질문 대상에 대한 주제를 담고 있으면서 정의형 표현이어야 한다. 본 논문은 정의형 질의 응답을 주제와 정의 두 가지 관점에서 모델링하여 주제 언어 모형, 정의 언어 모형, 일반 언어 모형 등 세 가지 언어 모형에 대한 추정 문제로 재정의하였다.
기존 연구에서는 정의 질의 응답만을 위한 모형 없이 외부 지식 리소스와 정의 패턴 등을 경험적으로 결합하였다. 번역 모형이 질의 응답에 적용 가능하긴 하지만, 질문이 극히 짧고 단순하게 주어지는 정의형 질문에는 부적합하다. 이에 본 논문은 언어 모형을 추정하는 과정에서 여러 정보를 이론적인 하나의 모형 아래 체계적으로 이용할 수 있는 정의 질의 응답을 위한 확률 모형을 제안한다.
주제 언어 모형을 위해 외부 리소스에 존재하는 질문 대상의 정의, 답변 추출 대상 문서 집합에서 질문 대상으로 검색된 상위 문서, 웹 검색 엔진을 이용하여 질문 대상으로 검색된 상위 웹 문서 등을 이용하였고, 정의 언어 모형을 위해 사람, 조직, 용어 등 유형별로 정의 코퍼스를 수집한 후 이용하였다.
실험 결과, 제안한 확률 모형에 기반을 둔 정의 질의 응답 시스템은 현재 최고 수준의 시스템들과 견줄만한 성능을 보였다. 주제와 정의로 분리하여 모델링함으로써 질의 응답 시스템이 각 모형을 효과적으로 추정할 수 있었다. 이 모형은 일반적인 서술형 질의 응답으로 확장이 가능하여 다양한 방식으로 활용이 기대된다.

다국어 초록 (Multilingual Abstract)

With the development of computer and Internet, the amount of information in public domain is increasing steeply. Under the information overload, people have a difficulty in searching the information they want to see more and more. Question Answering (QA) provides them with easy and effective method for finding the information relevant to their information need. Moreover, as the society gets highly specialized, it is hard to understand the information outside ones specialty. Therefore, it is necessary for QA system to answer definitional questions asking about the definition which consists of the meaning, identity, history, and so on.
This paper proposes a probabilistic model for definitional QA reflecting the characteristics of the definitional questions. The intention of the definitional questions is the request for the definition about the question target. Therefore the answer for the definitional questions should contain the content relevant to the topic of the target, and have a representation of the definition style. Modeling the definitional QA from the two points, topic and definition, the proposed probability model converts answering the definitional questions into estimating the three probability models: topic language model, definition language model, and generic language model.
Related works combined the external resources and definition patterns heuristically without a model customized for the definitional QA. Although translation model can be applied to QA, it is not suitable for definitional questions which is very short and simple. The proposed model combines those information in the probabilistic framework for the definitional QA. Topic language model is estimated by using definitions for the question target from external resources, top retrieved document with question target, and top retrieved Web pages with question target. Definition language model is estimated by using definition corpus pre-compiled according to the target types (person, organization, and term).
Experimental results show that a definitional QA system based on the proposed probabilistic model is comparable to the state of the art. With the division of the topic model and the definition model, the definition QA system can estimate each model effectively. The probabilistic model is expected to be expanded to other question types.