웹 로봇의 성능 평가를 위한 방법론
A Methodology for Performance Evaluation of Web Robots
0
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
인터넷의 이용이 활발해짐에 따라 수 많은 정보들이 웹을 통하여 공개되고 있으며, 이용자는 웹 검색 서비스를 이용하여 이러한 정보들에 효과적으로 접근할 수 있다. 웹 검색 서비스의 구축을 위해서는 웹 로봇을 사용한 웹 문서 수집이 선행되어야 하며, 웹 문서들의 수가 급격히 증가하면서 양질의 웹 문서들을 효과적으로 수집할 수 있는 웹 로봇에 대한 필요성이 증가하고 있다. 본 연구에서는 웹 로봇들을 체계적으로 평가하기 위한 기준으로서 효율성, 지속성, 신선성, 포괄성, 정숙성, 유일성, 안전성을 제시하고, 이러한 평가 기준의 향상에 도움이 되는 기능들을 기술하였다. 또한, 본 연구에서는 네이버, 구글, 알타비스타 등에서 사용되고 있는 기존의 웹 로봇들에 구현된 기능들을 조사하였다. 본 연구의 결과는 보다 효과적인 웹 로봇의 개발에 기여할 것으로 기대된다.
Abstract
As the use of the Internet becomes more popular, a huge amount of information is published on the Web, and users can access the information effectively with Web search services. Since Web search services retrieve relevant documents from those collected by Web robots, we need to improve the crawling quality of Web robots. In this paper, we suggest evaluation criteria for Web robots such as efficiency, continuity, freshness, coverage, silence, uniqueness and safety, and present various functions to improve the performance of Web robots. We also investigate the functions implemented in the conventional Web robots of NAVER, Google, AltaVista etc. It is expected that this study could contribute the development of more effective Web robots.
참고문헌 (10)
- M. Gray, "Internet Growth and Statistics Credits and Background"
- M. Koster, "A Method for Web Robots Control Network Working Group, Internet Draft, Dec." (1996)
- A. Heydon, "InRecordings of the 8th World Wide Web Conference" (1999)
- M. Najork, "High-Performance Web Crawling" (2001), Compaq Systems Research Center
- S. Brin, "The Anatomy of a Large-Scale Hypertextual Web Search Engine" (1998)
- J. Cho, "Parallel Crawler" (2002)
- J. Cho, "Finding Replicated Web Collections" (2000)
- S. Raghavan, "Crawling the Hidden Web", rome (2001)
- J. Cho, "The Evolution of the Web and Implications for an Incremental Crawler" (2000)
- V. Shkapenyukn, "Design and Implementation of a High-performance Distributed Web Crawler" (2002)