균등한 웹 문서 샘플링을 이용한 웹 검색 서비스들의 커버리지 측정
Estimating Coverage of the Web Search Services Using Near-Uniform Sampling of Web Documents
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
인터넷에는 유익한 정보들이 포함된 웹 문서들이 공개되고 있으며, 이러한 웹 문서들은 웹 검색 서비스를 통하여 접근할 수 있다. 따라서 웹 검색 서비스들은 보다 많은 웹 문서들을 수집하기 위하여 노력하고 있으나, 이들은 수집된 웹 문서들의 커버리지를 파악하는데 많은 어려움을 겪고 있다. 따라서 본 논문에서는 기존의 커버리지 측정 방법들을 분석하고, 효과적인 커버리지 측정 방법을 제안한다. 즉, 인터넷에서 웹 문서를 균등하게 샘플링하고, 이 웹 문서들이 웹 검색 서비스에 색인되어 있는지를 조사함으로써 웹 검색 서비스들의 절대 및 상대 커버리지를 측정한다. 그리고 본 논문에서는 제안한 방법으로 국내 웹 검색 서비스들의 커버리지를 측정하여 비교하였으며, 그 결과 구글, 네이버, 엠파스 순으로 절대 및 상대 커버리지가 높게 나타났다. 이러한 본 논문의 결과는 웹 검색 서비스들의 커버리지를 측정하는데 도움이 될 것으로 기대된다.
Abstract
Web documents with useful information are widely available on the internet and they are accessible with web search service. For this reason, web search services study better ways to collect more web documents, but have a difficulty figuring out the coverage of these web pages. This paper is intended to find ways to evaluate the current coverage assessment methods and suggest more effective coverage assessment technique that is, sampling internet web documents equally, monitoring how they are classified on web search services, in an attempt to assess both absolute and relative coverage of the web search engines. The paper also presents the comparison among Korean web search services using the suggested methodsthe absolute and relative coverage was highest in Google followed by Naver and Empas. The result is expected to help estimating coverage of web search services.
참고문헌 (16)
- S. Lawrence, "Searching the World Wide Web", pp.98~100 (1998), in Science 280
- K. Bharat, "A Technique for Measuring the Relative Size and Overlap of Public Web Search Engines", In Proceedings of the 7th International World Wide Web Conference, pp.379~388 (1998), Elsevier Science
- K. Bharat, "The Connectivity Server: fast access to linkage information on the Web", In Proceedings of the 7th International World Wide Web Conference, pp.469~477 (1998), Elsevier Science
- S. Lawrence, "Accessibility of information on the web", in Nature, 400, pp.107~107 (1999)
- M. R. Henzinger, "On Near-Uniform Url Sampling", in Computer Networks: The International Journal of Computer and Telecommunications Networking, pp.295~308 (2000)
- 김광현, "웹 로봇의 성능 평가를 위한 방법론", 정보처리학회논문지D, 11(3), pp.563~570 (2004), 한국정보처리학회
- M. R. Henzinger, "Measuring Index Quality Using Random Walks on the Web", in Proceedings of the Eighth International World Wide Web Conference, pp.213~225 (1999)
- S. Brin, "The Anatomy of a Large-Scale Hypertextual Web Search Engine", In Proceedings of the 7th International World Wide Web Conference, pp.107~117 (1998), Elsevier Science
- J. Carriere, "Web query: Searching and visualizing the web through connectivity", In Proceedings of the Sixth International World Wide Web Conference, pp.701~711 (1997)
- J. Cho, "Efficient Crawling Through URL Ordering", In Proceedings of the 7th International World Wide Web Conference, pp.161~172 (1998), Elsevier Science
- L. Page, "The PageRank citation ranking: bringing order to the Web" (1993), Manuscript in Progress
- 배희진, "국내 웹 디렉토리의 커버리지 및 커버리지 중복성 분석", 정보관리학회지, 21(1), pp.173~186 (2004)
- 김성진, "웹 로봇 구현 및 한국 웹 통계보고", 정보처리학회논문지C, 10(4), pp.509~518 (2003), 한국정보처리학회
- 이준호, "다양한 한글 문서 색인 방법들에 대한 평가", 제5회 한국 과학기술 정보인프라 워크삽 학술발표논문집 (2002)
- 이준호, "문자 인식에 의해 구축된 한글 문서 데이터베이스에 대한 정보 검색", 한국정보처리학회논문지, 6(4), pp.833~840 (1999)
- 김광현, "웹 문서 분석에 근거한 유해 웹 문서 검출", 정보처리학회논문지D, 12(5), pp.683~688 (2005), 한국정보처리학회