문서 클러스터링에 의한 효율적인 병렬 정보검색 시스템 = An Efficient Parallel Information Retrieval System using Document Clustering

국문 초록 (Abstract)

본 논문은 고품질의 정보를 신속하게 제공할 수 있으면서 가격대 성능비가 우수한 병렬 정보검색 시스템을 제시하고 있다. 본 검색 시스템은 문서 라이브러리를 여러 개의 클러스터로 세분화하고 검색 시 클러스터 단위로 프로세서에 할당함으로써 작업 단위를 적절한 규모로 하였을 뿐만 아니라, 문서의 점수 계산 시 프로세서 간 통신이 전혀 필요치 않게 하였다. 검색은 1차로 클러스터 레벨에서 관련 클러스터들을 찾는 것으로 시작하여 2차로 관련 클러스터 내에서 실제 문서를 찾는 방식으로 이루어진다. 이러한 계층적인 검색 구조로 인하여 1차 검색 후 여과가 가능하므로 전체적인 검색의 부하를 줄일 수 있다. 또한 문서의 클러스터가 가능한 한 유사한 문서군이 되도록 함으로써 불필요한 클러스터가 검색될 가능성을 최소화하여 성능을 높였다. 본 검색 시스템은 분산메모리 MIMD 구조의 다중 트랜스퓨터 시스템에서 구현되었으며, 실험 결과 무작위적으로 클러스터링한 경우에 비해 유사 문서군으로 클러스터링한 접근 방법이 우수함을 확인하였다.

다국어 초록 (Multilingual Abstract)

This paper presents a fast and cost-effective parallel information retrieval system. In this system, the document library is divided into many clusters so that retrieval tasks are assigned to each processor on cluster-by-cluster basis. To minimize the number of clusters relevant to a user's query, each cluster is made to consist of similar documents. The size of the clusters are determined in such a way that the balancing of loads among the working processors is easily achievable. The retrieval is done in two stages. In the first stage, all the clusters relevant to the user's query are retrieved and those with low scores are screened out to lessen the load of the second stage. The qualified clusters are then distributed to the processors. In the second stage, relevant documents are retrieved from the assigned clusters and those documents are scored. There is no need for inter-processor communication during document scoring because all the necessary information is self-contained in the respective cluster. The system has been implemented on a multi-transputer system which is a distributed memory MIMD machine. Experimental results show that our similarity-based document clustering scheme gives better performance than a random clustering scheme.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 문서 클러스터링을 이용한 병렬 정보검색
• 4. 클러스터링 기법의 적용
• 5. 실험 결과
• 6. 결론 및 향후 과제
• 참고문헌
• 저자소개