링크의 의미 중요성을 이용하는 문단 기반 집중 웹 크롤러 설계 및 구현
A Design and Implementation of Paragraph-based Focused Web Crawler Using Semantic Priority of Link
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
검색 엔진과 전체 웹의 일치성 유지는 정보를 정확하고 효과적으로 검색하는데 아주 중요하다. 하지만 웹의 크기가 빠르게 성장하고 그 내용이 또한 동적으로 변하기 때문에, 검색 엔진이 하드웨어, 네트워크 그리고 컴퓨팅 시간과 같은 제한된 자원을 이용해서 그와 같은 목표를 달성하는 것은 불가능하다. 이런 문제를 해결하기 위해, 제한된 자원하에서도 효율적으로 주제와 관련성이 높은 링크를 발견 및 방문하고 관련성이 없는 문서의 검색을 회피하는 집중 웹 크롤러가 소개되었다. 본 연구에서 우리는 링크의 의미적 중요도를 이용하는 문단 기반 집중 웹 크롤러를 제안한다. 제안된 시스템은 주제와 링크의 앵커 텍스트 및 링크를 포함하는 문단과 같은 링크 데이터 간의 유사도 측정을 이용해서 획득한 웹 페이지로부터 가능성 있는 링크들을 선별한다. 본 연구는 다음의 점이 기존의 연구 방법과 차이가 있다. 우리는 링크 중요도 계산을 위해 WordNetd을 사용하는 새로운 유사도 함수를 제안했다. 그리고 높은 중요도를 가지는 링크를 우선 방문하는 방법을 제시했다. 제안된 시스템의 성능을 증명하기 위해 몇몇 주제와 시작 URL을 이용해서 실험을 수행했다. 실험의 결과는 본 논문에서 제안하는 링크의 의미 중요도를 사용하는 문단 기반 웹 집중 크롤러가 검색에 있어서 단어 빈도수의 향상을 보였다.
Abstract
A search engine maintaining whole Web consistency is very important to retrieve information correctly and efficiently. However, as the size of Web is rapidly growing and content is also dynamically changing, it is impossible for the search engine to achieve the goal by using limited resources such as hardware, network and computing time. In order to solve this problem, a focused web crawler has been introduced which can identify and visit the most promising links related to a specific topic and avoid downloading off-topic documents efficiently under limited resources. In this research, we propose a paragraph-based focused web crawler using semantic priority of link. The proposed system selects promising links from a downloaded web page by measuring similarity between a topic and link's data such as anchor text and a paragraph containing the link. In this paper, different from existing methods, we proposed a novel similarity function for calculating a link priority by using WordNet. And we introduced a method to visit high-priority link first. We conducted experiments to prove the performance of the proposed paragraph-based web focused crawler by using some topics. The experimental result showed the paragraph-based web focused crawler using semantic priority of link improves the term frequency of document retrieval.
참고문헌 (17)
- "Total number of websites" (2020)[URL]
- "How search organizes information" (2020)[URL]
- S. W. Kim, "Focused crawler for efficient web gathering", pp.2007
- S. Chakrabarti, "Focused crawling: a new approach to topic-specific web resource discovery", proceedings of 8th International World Wide Web Conference, pp.545~562 (1999)
- H. Lu, "An improved focused crawler : using web page classification and link priority evaluation", Mathematical Problems in Engineering, 2016, pp.1~10 (2016)
- S. Shah, "Focused and deep web crawling-A review", International Journal of Computer Science and Information Technologies, 5(6), pp.7488~7492 (2014)
- D. Bhatt, "Focused web crawler", Advanced in Computer Science and Information Technology, 2(11), pp.1~6 (2015)
- N. W. Min, "Ranking hyperlinks approach for focused web crawler", International Conference on Advances in Engineering and Technology, pp.233~235 (2014)
- T. Peng, "Focused crawling enhanced by CBP-SLC", Knowledge-Based Systems, 51, pp.15~26 (2013)
- N. Luo, "A new method for focused crawler cross tunnel", First International Conference, RSKT, 4062, pp.632~637 (2006), Lecture Notes in Computer Science
- T. Peng, "Tunneling enhanced by web page content block partition for focused crawling", Concurrency Computation Practice and Experience, 20(1), pp.61~74 (2008)
- 박사준, "의미 기반 문단 분할을 활용한 문단 기반 K-Means 클러스터링", 한국지식정보기술학회 논문지, 12(1), pp.157~164 (2017), 한국지식정보기술학회[DOI]
- "WordNet" (2020)[URL]
- B. Ganguly, "A review of focused web crawling strategies", International Journal of Advanced Computer Research, 2(4), pp.261~267 (2012)
- "Ontology" (2020)[URL]
- G. Subbiah, "SrinivasaMurthy, and G. Aghila, Ontology-based web crawler", Proc. ITCC:Coding Comupt, pp.334~341 (2004)
- 이재무, "교수 전문 지식 온토로지 구축", 한국지식정보기술학회 논문지, 11(1), pp.57~63 (2016), 한국지식정보기술학회