대규모 웹 기록물의 원격수집을 위한 콘텐츠 중복 필터링 개선 연구
A study on the enhanced filtering method of the deduplication for bulk harvest of web records
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
네트워크 및 정보통신기기가 발전함에 따라 웹이 우리 일상에 미치는 영향력은 점점 더 증가하고 있다. 또한 웹 공간에서 생성되는 정보도 각 시대를 반영하는 중요한 기록물로서 그 중요성이 나날이 커지고 있다. 이에 따라 웹 정보들을 아카이빙 할 수 있는 표준화된 방법이 요구되고 있으며, 그중 한 가지가 자동화된 수집도구를 사용하여 주기적으로 수집하는 스냅샷 전략이다. 하지만 스냅샷 전략은 주기적으로 웹 콘텐츠를 수집하기 때문에 동일한 웹 콘텐츠가 중복 수집되는 문제가 있다. 또한 웹 환경에서 구현되는 복잡한 기술로 인하여 의미 없는 웹 콘텐츠가 수집될 가능성도 배제할 수 없는 실정이다. 본 논문에서는 공공기관 홈페이지 웹 콘텐츠를 스냅샷 전략으로 수집한 사례 분석을 통해서 원격 수집할 때 발생할 수 있는 콘텐츠 중복 문제들을 살펴보고, 기술 측면에 해결책을 제시하고자 한다.
Abstract
As the network and electronic devices have been developed rapidly, the influences the web exerts on our daily lives have been increasing. Information created on the web has been playing more and more essential role as the important records which reflect each era. So there is a strong demand to archive information on the web by a standardized method. One of the methods is the snapshot strategy, which is crawling the web contents periodically using automatic software. But there are two problems in this strategy. First, it can harvest the same and duplicate contents and it is also possible that meaningless and useless contents can be crawled due to complex IT skills implemented on the web. In this paper, we will categorize the problems which can emerge when crawling web contents using snapshot strategy and present the possible solutions to settle the problems through the technical aspects by crawling the web contents in the public institutions.
참고문헌 (15)
- 이연수, "공공기관 웹 사이트 기록물 수집 사례분석" (2010), 2010년도 한국멀티미디어학회 추계학술발표논문집
- Arvidson, A, "Kulturarw3" (2001), Proc, Preserving the Present for the Future
- Brewington, B.E., "How dynamic is the web?", Computer Networks, 33(1) (2000)
- Gomes, D., "Design and selection criteria for a national web archive", Research and Advanced Technology for Digital Libraries, ~ (2006)
- Hodges, D., "The National Library of Canada’s digital library initiatives", Library hi tech, 17(2) (1999)
- ISO, "Information and documentation-WARC fileformat(ISO 28500: 2009)", ~ (2011)
- Koerbin, P, "The PANDORA Digital Archiving System (PANDAS) and managing Web archiving in Australia: A case study", 4th International Web Archiving Workshop (2004)
- K. Sigurosson, "Incremental crawling with Heritrix", Proceedings of the 5th International Web Archiving Workshop (2005)
- Leach, P., "A Universally Unique IDentifier (UUID) URN Namespace", RFC 4122, ~ (2005)
- Mohr, G., "Introduction to Heritrix", 4th International Web Archiving Workshop (2004)
- Masanès, J, "Web archiving methods and approaches: A comparative study", Library trends, 54(1) (2006)
- Phillips, M. E, "What should we preserve? The question for heritage libraries in a digital world", Library trends, 54(1) (2006)
- Rauber, A., "Uncovering information hidden in Web archives", D-Lib magazine, 8(12) (2002)
- Sigurðsson, K, "Managing duplicates across sequential crawls", proceedings of the 6 International Web Archiving Workshop (2006)