주변정보 분할을 이용한 주제 중심 웹 문서 수집기
A Focused Crawler by Segmentation of Context Information
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
주제 중심 웹 문서 수집기는 검색엔진에서 최신의 웹 문서 색인을 유지하는 대안방안으로 부상하고 있다. 그러나 주제 중심 웹 문서 수집기는 비 관심문서에서 연결된 관심문서들을 수집할 수 없는 문제점을 가지고 있다. 이러한 문제점은 문서의 구조적 특징을 고려하지 않아서 발생한다. 특히 문서분석 방법인 문서의 발생 횟수 및 역문헌 발생빈도는 이러한 문제를 야기하는 주요 원인이 된다. 주제 중심 웹 문서 수집기의 성능을 향상하기 위해서 본 논문에서는 국소정보기반의 문서 분할법을 제안한다. 본 논문에서는 문서를 하이퍼링크 주변의 문맥을 고려한 특징 정보들을 사용하여 여러 조각의 문서로 나눈다. 본 논문에서 제안하는 주제 중심 웹 문서 수집기는 나누어진 문서들을 이용하여 하이퍼링크가 관심문서를 가리키는 것인지를 판단하여 문서를 수집할 것인지를 판단한다.
Abstract
The focused crawler is a topic-driven document-collecting crawler that was suggested as a promising alternative of maintaining up-to-date web document indices in search engines. A major problem inherent in previous focused crawlers is the liability of missing highly relevant documents that are linked from off-topic documents. This problem mainly originated from the lack of consideration of structural information in a document. Traditional weighting method such as TFIDF employed in document classification can lead to this problem.In order to improve the performance of focused crawlers, this paper proposes a scheme of locality-based document segmentation to determine the relevance of a document to a specific topic. We segment a document into a set of sub-documents using contextual features around the hyperlinks. This information is used to determine whether the crawler would fetch the documents that are linked from hyperlinks in an off-topic document.
참고문헌 (10)
- "Measuring the Growth of the Web June 1993 to June 1995"
- "Focused Crawling: A New Approach to Topic-Specific Web Resource Discovery" (1999)
- "Information Retrieval in Distributed Hypertexts" (1994)
- "The SharkSearch Algorithm-An Application: Tailored Web Site Mapping", pp.213~225 (1998)
- "Efficient Crawling through URL ordering", 30, pp.161~172 (1998)
- "Focused Crawling Using Context Graphs", pp.527~534 (2000)
- "Building Domain-Specific Search Engines with Machine Learning Techniques", pp.28~39 (1999)
- "A System for Collecting and Analyzing Topic-Specific WEB Information", 33(1-6), pp.457~471 (2000)
- "A Comparative Study on Feature Selection in Text Categorization", pp.412~420 (1997)
- "Machine Learning", pp.154~199 (1998), McGraw Hill