Key-value 데이터베이스를 활용한 빅데이터 처리 플랫폼의 동향 분석
A Recent Trend of Database for Big Data Handling using Key-value database
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
최근의 데이터베이스 시스템은 전통적인 데이터베이스 처리 시스템과 다른 방법을 사용한다. 기존보다 많고 다양한 종류의 데이터를 저장해야 하기 때문에 최근의 데이터베이스 시스템은 분산 처리와 시스템의 확장성을 통해 빅데이터를 효율적으로 처리하는 것이 가장 중요해졌고, 이 중요성은 앞으로도 계속될 전망이다. 이 때문에 최근 검색엔진, SNS 서비스와 같이 지속적으로 빅데이터를 다뤄야 하는 서비스에서 빅데이터 처리를 위한 데이터베이스들을 개발, 연구 되고 있다. 특히 key-value 데이터베이스 모델은 빠른 입출력과 확장성이 용이하다는 장점이 있어 빅데이터 처리에 알맞아 여러 어플리케이션의 시스템으로 사용 되고 있다. 다른 빅데이터 데이터베이스 모델들도 key-value 데이터베이스 모델의 특징을 공유하고, key-value 데이터베이스 모델에서 쓰이는 많은 기법들을 차용하고 있기 때문에 빅데이터 연구에 있어서 key-value 데이터베이스에 관한 연구가 활발히 이루어지고 있다. 하지만 아직 최적화 관련 연구, 차세대 저장 장치를 적용한 연구 등 key-value 데이터베이스를 더욱 향상 시킬 수 있는 부분들이 있어 관련 내용에 대한 연구가 필요한 상황이다. 본 논문은 빅데이터 플랫폼 분야의 화두로 떠오른 key-value 데이터베이스에 대한 정의와 관련 기술들 및 연구되고 있는 플랫폼들을 열거하고, 기존 플랫폼들을 보완할 수 있는 방법론에 대해 제시한다.
Abstract
Modern database systems use different methods from traditional database processing systems. Since more and more different types of data need to be stored, modern database systems have become more important to efficiently process big data through distributed processing and system scalability. This importance will continue to grow. For this reason, databases for big data processing are being studied and developed in a service that continuously deals with big data such as search engines and SNS services. In particular, the key-value database model has advantages of fast I / O and scalability. Therefore, it is suitable for big data processing and it is used as a system of various applications. Also, studies on key-value databases have been actively conducted in big data researches, because other big data database models also share the characteristics of the key-value database model and borrow many of the techniques used in the key-value database model. However, there are some areas that can further improve the key-value database such as optimization research, next-generation storage. In this paper, we define the key-value database that emerged as a hot topic in the big data platform field, list the related technologies and platforms being studied, and present a methodology to complement existing platforms.
참고문헌 (23)
- "Big data" (2016)[URL]
- H. Lim, "SILT: A memory-efficient, high-performance key-value store", Proceedings of the Twenty-Third ACM Symposium on Operating Systems Principles, pp.1~13 (2011)
- Y. Mao, "Cache craftiness for fast multicore key-value storage", Proceedings of the 7th ACM european conference on Computer Systems, pp.183~196 (2012)
- B. Debnath, "SkimpyStash: RAM space skimpy key-value store on flash-based storage", Proceedings of the 2011 ACM SIGMOD International Conference on Management of data, pp.25~36 (2011)
- "Redis" (2016)[URL]
- "Rocksdb" (2016)[URL]
- F. Chang, "Bigtable: A distributed storage system for structured data", ACM Transactions on Computer Systems (TOCS), 26(2) (2008)
- P. O’Neil, "The log-structured merge-tree (LSM-tree)", Acta Informatica, 33(4), pp.351~385 (1996)
- "Hbase" (2016)[URL]
- Eric A. Brewer, "Towards robust distributed systems", PODC Keynote (2000)
- S. Gilbert, "Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web services", ACM SIGACT News, 33(2), pp.51~59 (2002)
- E. Brewe, "CAP twelve years later: How the rules have changed", IEEE Computer, pp.23~29 (2012)
- "IEEE Computer issue on the CAP Theorem" (2016)[URL]
- "Memcached" (2016)[URL]
- D. Ongaro, "Fast crash recovery in RAMCloud", Proceedings of the Twenty-Third ACM Symposium on Operating Systems Principles, pp.29~41 (2011)
- H. Lim, "MICA: a holistic approach to fast in-memory key-value storage", 11th USENIX Symposium on Networked Systems Design and Implementation, pp.429~444 (2014)
- "Data Plane Development Kit" (2016)[URL]
- S. Ghemawat, "The google file system", ACM SIGOPS operating systems review, 37(5), pp.29~43 (2003)
- X. Wu, "LSM-trie: An LSM-tree-based ultra-large key-value store for small data items", 2015 USENIX Annual Technical Conference (USENIX ATC 15), pp.71~82 (2015)
- L. Lu, "WiscKey:separating keys from values in SSD-conscious storage", 14th USENIX Conference on File and Storage Technologies (FAST 16), pp.133~148 (2016)
- M. Burrows, "The chubby lock service for loosely-coupled distributed systems", Proceedings of the 7th symposium on Operating systems design and implementation, pp.335~350 (2006)
- "Zookeeper" (2016)[URL]