쿠쿠 필터 유사도를 적용한 다중 필터 분산 중복 제거 시스템 설계 및 구현
Design and Implementation of Multiple Filter Distributed Deduplication System Applying Cuckoo Filter Similarity
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
최근 몇 년 동안 기업이 수행하는 비즈니스 활동에서 생성된 데이터를 기반으로 하는 기술이 비즈니스 성공의 열쇠로 부상함에 따라 대체 데이터에 대한 저장, 관리 및 검색 기술에 대한 필요성이 대두되었다. 기존 빅 데이터 플랫폼 시스템은 대체 데이터인 비정형 데이터를 처리하기 위해 실시간으로 생성된 대량의 데이터를 지체 없이 로드하고 중복 데이터 발생 시 서로 다른 스토리지의 중복 제거 시스템을 활용하여 스토리지 공간을 효율적으로 관리해야 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 쿠쿠 해싱 필터 기법의 유사도를 이용한 다중 계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 가상 머신 간의 유사성을 쿠쿠 해시로 적용함으로써 개별 스토리지 노드는 중복 제거 효율성으로 성능을 향상시키고 다중 레이어 쿠쿠 필터를 적용하여 처리 시간을 줄일 수 있다. 실험 결과 제안한 방법은 기존 블룸 필터를 이용한 중복 제거 기법에 의해 8.9%의 처리 시간 단축과 중복 제거율이 10.3% 높아짐을 확인하였다.
Abstract
The need for storage, management, and retrieval techniques for alternative data has emerged as technologies based on data generated from business activities conducted by enterprises have emerged as the key to business success in recent years. Existing big data platform systems must load a large amount of data generated in real time without delay to process unstructured data, which is an alternative data, and efficiently manage storage space by utilizing a deduplication system of different storages when redundant data occurs. In this paper, we propose a multi-layer distributed data deduplication process system using the similarity of the Cuckoo hashing filter technique considering the characteristics of big data. Similarity between virtual machines is applied as Cuckoo hash, individual storage nodes can improve performance with deduplication efficiency, and multi-layer Cuckoo filter is applied to reduce processing time. Experimental results show that the proposed method shortens the processing time by 8.9% and increases the deduplication rate by 10.3%.
참고문헌 (17)
- "Emerging Tech and Modern IT: The Key to Unlocking Your Data Capital" (2008)[URL]
- "OpenStack Object Storage"[URL]
- A. Sage, "Ceph: A Scalable, High-Performance Distributed File System", pp.307~320 (2006), OSDI
- "The Lion of Sorage Systems" (2014)[URL]
- P. Raj, "Software-defined cloud centers", pp.35~64 (2018), Springer
- "EMC Atoms Cloud Storage" (2018)[URL]
- "Himaraya"[URL]
- "Amazon simple storage service (am azon s3)"[URL]
- "Google cloud storage"[URL]
- X. Zhao, "A scalable deduplication file system for virtual machine images. Parallel and Distributed Systems", IEEE Transactions, 25(5), pp.1257~1266 (2014)[DOI]
- R. Kutzelnigg, "An improved version of cuckoo hashing : Average case analysis of construction cost and search operations, Math", Comput. Sci, 3(1), pp.47~60 (2010)
- 윤다빈, "SDS 환경의 유사도 기반 클러스터링 및 다중 계층 블룸필터를 활용한 분산 중복제거 기법", 한국차세대컴퓨팅학회 논문지, 14(5), pp.60~70 (2018), 한국차세대컴퓨팅학회
- 남승수, "프라이버시 보존형 소스기반 중복제거 방법", 디지털융복합연구, 14(2), pp.175~181 (2016), 한국디지털정책학회[DOI]
- 정소원, "해시를 활용한 사이버킬체인 기반의 사물인터넷 보안 정책", 디지털융복합연구, 16(9), pp.179~185 (2018), 한국디지털정책학회[DOI]
- 정윤수, "이중 해쉬체인을 이용한 계층적 다중 처리를 위한 효율적인 데이터 관리 기법", 디지털융복합연구, 13(10), pp.271~278 (2015), 한국디지털정책학회[DOI]
- 정윤수, "빅 데이터 환경에서 다중 속성 기반의 데이터 관리 기법", 디지털융복합연구, 13(1), pp.263~268 (2015), 한국디지털정책학회[DOI]
- R. Rivest, "The MD5 Message-Digest Algorithm，1992RFC" (1992), IETF Network Working Group