신뢰성 유지를 위한 이벤트 기반 실시간 웹크롤러의 설계 및 구현
Design and Implementation of Event-driven Real-time Web Crawler to Maintain Reliability
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
웹 크롤링 데이터를 이용한 실시간 시스템은 원격지의 데이터와 동일한 데이터베이스의 데이터를 사용자에게 제공해야 하며, 이를 위해서 웹 크롤러는 원격지 데이터의 변경 여부를 확인하기 위해 원격 서버에 반복적인 HTTP(HyperText Transfer Protocol) 요청을 수행해야 한다. 이 과정은 크롤링 서버와 원격 서버의 네트워크 부하를 일으키며 과도한 트래픽 발생 등의 문제의 원인이 된다. 이러한 문제점을 해결하기 위해 본 논문에서는 사용자 이벤트를 기반으로 크롤링 서버의 데이터와 다중 원격지 데이터와의 동일성을 유지하는 신뢰성을 확보함과 동시에 네트워크의 과부하를 줄일 수 있는 실시간 웹 크롤링 기법을 제안한다. 제안된 방법은 단위 데이터와 목록 데이터를 요청하는 이벤트를 기반으로 크롤링 프로세스를 수행한다. 실험 결과, 제안된 방법은 기존 웹 크롤러에서의 네크워크 트래픽 과부하를 줄이면서 데이터의 신뢰성을 확보할 수 있음을 확인하였다. 향후에는 이벤트 기반 크롤링과 시간 기반 크롤링에 대한 융합에 대한 연구가 필요하다.
Abstract
Real-time systems using web cralwing data must provide users with data from the same database as remote data. To do this, the web crawler repeatedly sends HTTP(HtypeText Transfer Protocol) requests to the remote server to see if the remote data has changed. This process causes network load on the crawling server and remote server, causing problems such as excessive traffic generation. To solve this problem, in this paper, based on user events, we propose a real-time web crawling technique that can reduce the overload of the network while securing the reliability of maintaining the sameness between the data of the crawling server and data from multiple remote locations. The proposed method performs a crawling process based on an event that requests unit data and list data. The results show that the proposed method can reduce the overhead of network traffic in existing web crawlers and secure data reliability. In the future, research on the convergence of event-based crawling and time-based crawling is required.
참고문헌 (15)
- 문송철, "품질기반 웹 애플리케이션 개발을 위한 소프트웨어아키텍쳐 설계절차 예제 정립", 융합보안 논문지, 12(4), pp.115~122 (2012), 한국융합보안학회
- 추승용, "웹 크롤링을 이용한 유해사이트 수집 방법", 디지털포렌식연구, 15(3), pp.127~138 (2021), 한국디지털포렌식학회[DOI]
- 김진환, "태그 경로 및 텍스트 출현 빈도를 이용한 HTML 본문 추출", 한국정보통신학회논문지, 25(12), pp.1709~1715 (2021), 한국정보통신학회[DOI]
- 박은미, "A Study on Leadership Typology in Sports Leaders Based on Big Data Analysis", 한국융합학회논문지, 10(7), pp.191~198 (2019), 한국융합학회[DOI]
- 백주련, "웹 검색엔진 분류 및 하이브리드 검색엔진의 필요성", 디지털콘텐츠학회논문지, 19(4), pp.719~729 (2018), 한국디지털콘텐츠학회[DOI]
- 최순영, "한국어-영어 법률 말뭉치의 로컬 이중 언어 임베딩", 한국융합학회논문지, 9(10), pp.45~53 (2018), 한국융합학회[DOI]
- 전병진, "외부 충격 감도에 따른 실시간으로 탐지하고 전송하는 Door-Lock 시스템", 한국융합학회논문지, 9(7), pp.9~16 (2018), 한국융합학회[DOI]
- 최지혁, "시그니쳐 계층 구조에 기반한 HTTP 트래픽 분석시스템의 처리 속도 향상", 한국통신학회논문지B, 39(4), pp.191~199 (2014), 한국통신학회
- 김영아, "실시간 웹 크롤링 분산 모니터링 시스템 설계 및 구현", 융합정보논문지, 9(1), pp.45~53 (2019), 중소기업융합학회[DOI]
- 김효종, "큐를 이용한 다중스레드 방식의 웹 크롤링 설계", 융합정보논문지, 7(2), pp.43~51 (2017), 중소기업융합학회[DOI]
- 한동희, "다중 웹사이트 관리를 위한 동작 기반 웹 크롤러 설정 구조 설계", 정보과학회 컴퓨팅의 실제 논문지, 27(2), pp.98~103 (2021), 한국정보과학회[DOI]
- M. Y. Park, "Performance comparison of Spring Framework and Node.js Framework(NestJS) in microservice", Proceedings of The Korean Institute of Information Scientists and Engineers Conference, pp.287~289 (2019)
- J. Y. Kim, "Implementation of Web-based Project Management System", Proceeding of Korean Institute of Information Technoloy Conference, pp.556~559 (2021)
- 권순정, "멀티 플랫폼 시뮬레이션 네트워크 게임을 위한 서버프레임워크 연구", 한국게임학회 논문지, 17(6), pp.165~172 (2017), 한국게임학회
- "3rd Party Promise module"[URL]