빅데이터의 효율적 활용을 위한 웹 크롤링 프로그램 구현
Implementation Of Web Crawling Program For Efficient Use Of Big Data
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
빅데이터 시대의 도래에 따라 블로그, SNS 데이터 등 다양한 데이터가 생성되고, 축적되고, 활용되고 있다. 또한 이러한 데이터를 의사결정이나 미래예측에 반형하는 추세이다. 데이터를 의사결정에 반영하고, 효율적으로 활용하기 위해서는 웹, SNS상에서의 정확인 데이터 수집, 데이터 수집 속도가 일정 수준 보장되야 하고 보안적인 요소도 고려해야만 한다. 본 연구에서는 웹 기반하에서의 크롤링 기법을 활용하여 빅데이터 자료를 수집할 때 기존 수집 모형과 다른 본 연구의 차별성을 제시하고자 한다.
Abstract
With the advent of the big data era, various data such as blogs and SNS data are created, accumulated, and utilized. In addition, there is a trend of using these data against decision making and future predictions. In order to reflect data in decision making and use it efficiently, accurate data collection and data collection speed on the web and SNS must be guaranteed to a certain level, and security factors must also be considered. In this study, when collecting big data data using a web-based crawling technique, the differentiation of this study is presented, which is different from the existing collection model.
참고문헌 (6)
- 한신갑, "빅데이터와 사회과학하기: 자료기반의 변화와 분석전략의 재구상", 한국사회학, 49(2), pp.161~192 (2015), 한국사회학회
- 정예림, "기후변화 정책 수립 지원을 위한 소셜 빅데이터 분석", 환경정책, 27(4), pp.211~239 (2019), 한국환경정책학회[DOI]
- "데이터 실무가이드"[URL]
- Shirley D. Moraga, "e-Reklamo:An e-Government Portal for Citizens’ Complaints in Government Services using Web Crawling", Asia Pacific Journal of Multidisciplinary Research, 6(4), pp.58~66 (2018)
- "C-STORY, 제8권", 한국저작권보호원, 42~43 (2018)