큐를 이용한 다중스레드 방식의 웹 크롤링 설계

국문 초록 (Abstract)

본 연구의 목적은 광역 네트워크로 연결된 다수의 봇을 활용하여 단일처리 방식의 시간 지연의 문제점과 병렬처리 방식의 비용증가, 인력낭비에 대한 문제점을 해결할 수 있는 큐를 이용한 다중스레드 방식의 웹 크롤링을 연구한다. 본 연구는 큐를 이용한 다중스레드 방식의 시스템 구성을 바탕으로 독립된 시스템에서 실행하는 어플리케이션을 설계하고 분석한다. 큐를 이용하여 다중 스레드 방식의 웹 크롤러 설계를 제안한다. 또한, 웹 문서의 처리량을 수식에 따라 클라이언트와 스레드 별로 나누어 분석하고, 각각 효율성 비교를 통해 최적의 클라이언트의 개수와 스레드의 개수를 확인 할 수 있다. 제안하는 시스템의 설계 방식은 분산처리를 기반으로 각각의 독립된 환경에서의 클라이언트는 큐와 스레드를 이용하여 빠르고 신뢰성이 높은 웹 문서를 제공한다. 특정 사이트를 대상으로 하는 웹 크롤러 설계가 아닌 범용 웹 크롤러에 큐와 다중 스레드를 적용하여 다양한 웹 사이트를 빠르고 효율적으로 탐색 및 수집하는 시스템이 필요하다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to propose a multi-threaded web crawl using queues that can solve the problem of time delay of single processing method, cost increase of parallel processing method, and waste of manpower by utilizing multiple bots connected by wide area network Design and implement. This study designs and analyzes applications that run on independent systems based on multi-threaded system configuration using queues. We propose a multi-threaded web crawler design using queues. In addition, the throughput of web documents can be analyzed by dividing by client and thread according to the formula, and the efficiency and the number of optimal clients can be confirmed by checking efficiency of each thread. The proposed system is based on distributed processing. Clients in each independent environment provide fast and reliable web documents using queues and threads. There is a need for a system that quickly and efficiently navigates and collects various web sites by applying queues and multiple threads to a general purpose web crawler, rather than a web crawler design that targets a particular site.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련연구
• 2.1 웹 검색 시스템
• 2.2 웹 크롤러
• 3. 다중스레드 방식의 웹 크럴링 설계
• 3.1 시스템 설계
• 3.2 시스템 구현
• 4. 시스템 분석
• 5. 결론
• REFERENCES

참고문헌 (Reference)

1 김대유, "자바스크립트 함수 처리 기능을 포함한 분산처리 방식의 웹 수집 로봇의 설계" 한국정보통신학회 13 (13): 2595-2602, 2009

2 조완섭, "웹크롤러의 수집주기 최적화" 한국콘텐츠학회 13 (13): 30-39, 2013

3 김광영, "웹 자원 아카이빙을 위한 웹 크롤러 연구 개발" 한국콘텐츠학회 11 (11): 9-16, 2011

4 김광현, "웹 로봇의 성능 평가를 위한 방법론" 한국정보처리학회 11 (11): 563-570, 2004

5 서동민, "빅데이터 분석 서비스 지원을 위한 지능형 웹 크롤러" 한국콘텐츠학회 13 (13): 575-584, 2013

6 H. W. Kim, "Web Crawler Design for the ARANES Search Engine" 2 (2): 294-299, 2001

7 H. Garcia-Molina, "Parallel Crawler" 124-135, 2002

8 Allan Heydon, "Mercator：A Scalable：Extensible Web Crawler" Springer Nature 2 (2): 219-229, 1999

9 M. Najork, "High-Performance Web Crawling" Compaq Systems Research Center 2001

10 고석범, "FDC-TCT를 이용한 웹 문서 클러스터링 성능 개선 기법" 한국정보처리학회 12 (12): 637-646, 2005

11 H. C. Kim, "Design and Implementation of a High Performance Web Crawler" 4 (4): 127-137, 2003

12 D. K. Jung, "A study of Client Response Time Collection Method by changing the Dynamic HTML in the Web Application Server System" 39 (39): 305-307, 2012

13 H. H. Kim, "A Method of GridIR System Configuration over Distributed Experiment of Web Crawler" 8 (8): 281-286, 2007