효율적인 웹 크롤링, 데이터 분석 및 시각화 서비스 연구
Study on Effective Web Services for Data Acquisition, Analysis, and Visualization
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
생활과 밀접한 서비스, 산업들뿐만 아니라 정보통신 산업을 비롯하여 기술과 거리가 멀다고 느껴졌던 농업까지 모든 산업에서 정보의 중요성은 점점 더 커지고 있다. 인터넷으로 정보를 검색하여 양질의데이터를 얻고 싶어 하지만, 다양한 사이트들을 방문해야 하고, 많은 양의 정보들을 일일이 재검색하거나 언어를 해독하여 그 관련성을 확인해야 하는 번거로움이 있기 때문에 정보를 검색하는데 그치지 않고, 관련성에 따라 이를 시각화까지 수행해주는 서비스가 필요하다. 본 연구에서는 크롤링한 데이터를가공하고, 자연어 처리를 통해 의미 있는 데이터로 추출한 후, 딥러닝 기반의 군집화 및 분류 과정을 수행한 후 그 결과를 다양한 시각화 기법을 적용하여 여러 가지 정보들을 한눈에 볼 수 있도록 하는 원스톱 서비스를 설계하고 구현한다.
Abstract
The importance of information is increasing in all industries, from services and industries closely related to life, to the information and communication industry and agriculture, which seemed far from technology. A service that not only searches for information but also performs visualization according to relevance is needed, since there is a hassle of having to visit various sites, re-searching a large amount of information one by one or checking the relevance among data. In this study, we design and implement a one-stop service that enables various information can be viewed at a glance. After processing crawled data, we extract meaningful data through natural language processing, and conduct deep learning-based clustering and classification algorithm. Also, various visualization techniques are applied to the results.
참고문헌 (13)
- 강나영, "시공간 데이터를 위한 클러스터링 기법 성능 비교", 지능정보연구, 10(2), pp.15~37 (2004), 한국지능정보시스템학회
- 김효관, "파이썬 활용한 데이터 처리 성능 향상방법 제안", 한국정보전자통신기술학회 논문지, 13(4), pp.306~311 (2020), 한국정보전자통신기술학회
- 문희정, "빅데이터를 위한 데이터 시각화 방법과 표현 연구(광주 대중버스노선 이용 실태를 적용한 태블루를 활용한 시각화 표현)", 스마트미디어저널, 8(1), pp.59~66 (2019), (사)한국스마트미디어학회[DOI]
- 박지훈, "빅데이터 시스템의 데이터 수집 및 저장에 관한 연구", 한국정보처리학회:학술대회논문집, pp.48~51 (2017)
- 서동민, "RMI와 NIO 기반 분산형 웹 크롤러", 한국정보과학회학술발표논문집, pp.220~222 (2013)
- 서동민, "빅데이터 분석 서비스 지원을 위한 지능형 웹 크롤러", 한국콘텐츠학회 논문지, 13(12), pp.575~584 (2013), 한국콘텐츠학회[DOI]
- 서미란, "데이터 시각화 유형 및 툴의 기능 분석", 한국정보처리학회 : 학술대회논문집 (2018)
- 이용희, "빅데이터의 효율적 활용을 위한 웹 크롤링 프로그램 구현", 한국IT정책경영학회 논문지, 12(5), pp.1983~1989 (2020), 한국IT정책경영학회
- 이인묵, "k-means 클러스터링을 활용한 교통카드데이터 기반의 대중교통 이용자 통행패턴 생성", 한국철도학회논문집, 23(3), pp.204~215 (2020), 한국철도학회[DOI]
- Freytag, S, "Comparison of clustering tools in R for medium-sized 10x Genomics single-cell RNA-sequencing data", F1000Research, 7, pp.1297~ (2018)
- Grohe, M, "word2vec, node2vec, graph2vec, X2vec: Towards a Theory of Vector Embeddings of Structured Data", Proceedings of the 39th ACM SIGMOD-SIGACT-SIGAI Symposium on Principles of Database Systems (2020)
- mir Estivill-Castro, "Why so many clustering algorithms: a position paper", SIGKDD Explor. Newsl, 4(1), pp.65~75 (2002)
- Zappia, L, "Clustering trees: a visualization for evaluating clusterings at multiple resolutions", GigaScience, 7(7), pp.giy083~ (2018)