빅데이터 분석을 위한 비용효과적 오픈 소스 시스템 설계
Designing Cost Effective Open Source System for Bigdata Analysis
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
Many advanced products and services are emerging in the market thanks to data-based technologies such as Internet (IoT), Big Data, and AI. The construction of a system for data processing under the IoT network environment is not simple in configuration, and has a lot of restrictions due to a high cost for constructing a high performance server environment. Therefore, in this paper, we will design a development environment for large d ata a nalysis c omputing platform u sing open s ource w ith low cost and practicality. Therefore, this study intends to implement a big data processing system using Raspberry Pi, an ultra-small PC environment, and open source API. This big data processing system includes building a portable server system, building a web server for web mining, developing Python IDE classes for crawling, and developing R Libraries for NLP and visualization. Through this research, we will develop a web environment that can control real-time data collection and analysis of web media in a mobile environment and present it as a curriculum for non-IT specialists.
Abstract
Many advanced products and services are emerging in the market thanks to data-based technologies such as Internet (IoT), Big Data, and AI. The construction of a system for data processing under the IoT network environment is not simple in configuration, and has a lot of restrictions due to a high cost for constructing a high performance server environment. Therefore, in this paper, we will design a development environment for large d ata a nalysis c omputing platform u sing open s ource w ith low cost and practicality. Therefore, this study intends to implement a big data processing system using Raspberry Pi, an ultra-small PC environment, and open source API. This big data processing system includes building a portable server system, building a web server for web mining, developing Python IDE classes for crawling, and developing R Libraries for NLP and visualization. Through this research, we will develop a web environment that can control real-time data collection and analysis of web media in a mobile environment and present it as a curriculum for non-IT specialists.
참고문헌 (26)
- 김세민, "공업계 특성화 고등학생을 위한 라즈베리파이를 활용한 프로그래밍 수업 방안", 한국정보통신학회논문지, 21(1), pp.165~172 (2017), 한국정보통신학회[DOI]
- 김영근, "학습 시스템을 위한 빅데이터 처리 환경 구축", 한국전자통신학회 논문지, 9(7), pp.791~797 (2014), 한국전자통신학회
- 김영근, "라즈베리파이 보드 기반의 빅데이터 분석을 위한 학습 시스템", 한국전자통신학회 논문지, 11(4), pp.433~439 (2016), 한국전자통신학회
- 김은우, "빅데이터 분석: Social BigDate 서비스 분석플랫폼 구축기술 소개", 정보처리학회지, 21(3), pp.35~42 (2014)
- 김윤경, "제 4 차 산업혁명 시대의 국내환경 점검과 정책 방향", pp.1~16 (2017), 한국경제연구원
- 김정선, "분석지의 확장을 위한 소셜 빅데이터 활용연구 - 국내 ‘빅데이터’ 수요공급 예측 -", 지식경영연구, 15(3), pp.169~188 (2014), 한국지식경영학회[DOI]
- 박성원, "새로운 과학기술이 일하는 방식에 미치는 영향", 과학기술정책, 27(7), pp.26~31 (2017)
- 서병조, "지능정보화 시대에 대비한 네트워크 발전전략 연구", 한국통신학회지(정보와 통신), 34(8), pp.30~37 (2017), 한국통신학회지(정보와 통신
- 서새남, "4차 산업혁명 주요기술에 대한 법적 고찰- 한국 및 중국을 중심으로 -", 문화미디어엔터테인먼트법, 11(1), pp.139~172 (2017), 법학연구원 문화.미디어.엔터테인먼트법연구소[DOI]
- 조성룡, "데이터 환경의 변화와 분산 데이터베이스 시스템", 정보과학회지, 30(5), pp.21~28 (2012)
- 안정국, "집단지성을 이용한 한글 감성어 사전 구축", 지능정보연구, 21(2), pp.49~67 (2015), 한국지능정보시스템학회
- 이종화, "해시태그를 이용한 실시간 연관 규칙 분석 연구", 인터넷전자상거래연구, 17(4), pp.105~117 (2017), 한국인터넷전자상거래학회
- 이철성, "한글 마이크로블로그 텍스트의 감정 분류 및 분석", 정보과학회논문지 : 데이타베이스, 40(3), pp.159~167 (2013), 한국정보과학회
- 임좌상, "한국어 트위터의 감정 분류를 위한 기계학습의 실증적 비교", 멀티미디어학회논문지, 17(2), pp.232~239 (2014), 한국멀티미디어학회[DOI]
- 정민영, "포털사이트 실시간 검색키워드의 주간 핵심 이슈 선정 및 차이 분석", 디지털융복합연구, 14(12), pp.237~243 (2016), 한국디지털정책학회[DOI]
- 조재희, "OLAP과 데이터마이닝을 이용한 조직내 분석지 생성에 관한 사례연구", 지식경영연구, 5(1), pp.69~82 (2004), 한국지식경영학회
- 황보람, "라즈베리파이를 이용한 빅 데이터 처리 학습 환경 구축", 디지털융복합연구, 14(4), pp.251~258 (2016), 한국디지털정책학회[DOI]
- 이종화, "Data Dictionary 기반의 R Programming을 통한 비정형 Text Mining Algorithm 연구", 한국산업정보학회논문지, 20(2), pp.113~124 (2015), 한국산업정보학회
- 이종화, "소셜네트워크서비스에 활용할 비표준어 한글 처리 방법 연구", 한국산업정보학회논문지, 21(3), pp.35~46 (2016), 한국산업정보학회
- Chen, H, "Business intelligence and analytics: from big data to big impact", MIS quarterly, pp.1165~1188 (2012)
- Fayyad, U, "From data mining to knowledge discovery in databases", AI magazine, 17(3), pp.37~54 (1996)
- Liu, B, "Web Data Mining" (2013), Springer
- Sivakumar, P, "Effectual Web Content Mining using Noise Removal from Web Pages", Wireless Personal Communications, 84(1), pp.99~121 (2015)
- Witten, I. H, "Data Mining: Practical machine learning tools and techniques" (2016), Morgan Kaufmann
- Wu, X, "Data mining with big data", IEEE transactions on knowledge and data engineering, 26(1), pp.97~107 (2014)
- Zhang, Q, "Web mining: a sur vey of current research, techniques, and software", International Journal of Information Technology & Decision Making, 7(4), pp.683~720 (2008)