유즈넷 검색시스템 구현과 검색효율 향상 = Implementation of an usenet retrieval system and improvement of retrieval efficiency

다국어 초록 (Multilingual Abstract)

This paper presents an Usenet retrieval system. Two new methods are used to reflect specific characteristics of an Usenet in the system : an improved term weight method and a document re-ranking method reflecting the domain specific knowledge.
The term weight method combines the tf*idf and the icf (inverted category frequency). The icf, which relfects the information of group distributions of the term, is applied to improve the accuracy of document retrieval. The icf can improve the retrieval accuracy as it can reflect the domain specific knowledge while the tf*idf reflects the domain independent knowledge. The approach can be applied to the retrieval of documents that the classified by the categories of the documents.
The document re-ranking method uses the domain specific knowledge such as a newsthread and duplicated documents. By the TE(NewsThread Effect), a semantic information indirectly can be obtained without a semantic analysis. Removing duplicated documents gives a opportunity to retrieve other relevant documents and serves for a spam filter.
Our experiment shows that the adjustment of two weight values, that of the idf and that of the icf, has an influence on retrieval efficiency. The method of combining tf*(idf+icf) and the domain-specific knowledge is 13.5% of more efficient than tf*idf method.

목차 (Table of Contents)

• 차례
• Ⅰ. 서론 = 1
• Ⅱ. 관련 연구 = 3
• 2.1 유즈넷(USENET) = 3
• 2.2 유즈넷 관련 검색 시스템 = 6
• 2.3 검색 효율 향상 = 7
• 2.3.1 질의문 확장 = 7
• 2.3.2 문서 재순위화 = 8
• 2.3.3 응용 영역 특성 반영 = 9
• 2.4 정보검색 시스템의 단어 가중치 적용 = 9
• Ⅲ. 유즈넷 검색 시스템의 구현 = 12
• 3.1 유즈넷 검색 시스템의 구현 = 12
• 3.2 유즈넷 문서 수집 로봇 = 13
• 3.2.1 문서 수집 절차 = 13
• 3.2.2 NNTP(Network News Transfer Protocol) = 14
• 3.2.3 문서 관리자 = 16
• 3.3 단어의 역카테고리빈도를 고려한 가중치 적용 = 17
• 3.4 응용 영역 특성 반영한 문서 재순위화 = 20
• 3.4.1 Newsthread를 구조 고려 = 20
• 3.4.2 중복문서 고려 = 22
• Ⅳ. 실험 및 결과 = 23
• 4.1 실험 방법 = 23
• 4.2 실험 결과 = 24
• 4.2.1 단어의 역카테고리빈도를 고려한 가중치 적용 = 24
• 4.2.2 응용 영역 특성을 반영한 문서 재순위화 = 25
• 4.2.3 단어의 역카테고리빈도와 응용영역의 특성을 고려 = 26
• Ⅴ. 결론 = 27
• [참고문헌] = 28