논문KCI 등재
빅데이터에서 중복 데이터 검출 알고리즘
Detection of redundant data in big data environment
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
주제분류기술정책
초록
빅데이터는 이제 더 이상 미래 혁신의 아이콘이 아니라 인류가 당면한 과제를 해결하기 위한 하나의 수단으로써 공고히 자리매김해 가고 있다. 빅데이터 분석에는 다양한 분석 기술이 있지만, 분석 결과에 대한 정확도와 신뢰도가 높아야 한다. 본 논문에서는 빅데이터에 대해 중복 데이터를 고속으로 검출하는 기술로 기존의 방법에 대해 성능을 개선하는 효과를 보인 알고리즘을 제안한다.
Abstract
Big Data is strictly positioning one of method to deal with problems faced with mankind, not an icon of revolution in future anymore. Big data analysis has various analytical techniques, but the accuracy and reliability of analytical results should be high. In this paper, big data with high speed redundant data for detecting technology to improve the performance of existing methods for the effects seen algorithm.
참고문헌 (12)
- Big data:The next frontier for innovation, competition, and productivity, "James Manyika", McKinsey Global Institute, ~ (2011)
- John Gantz, "Extracting Value from Chaos", IDC IVIEW, ~ (2011)
- Big Data Analytics Report, "TDWI Research", ~ (2011)
- Gartner Group, "‘Big Data’ Is Only the Beginning of Extreme Information Management", ~ (2011)
- Eric A. Brewer, "Towards robust distributed systems", Proceedings of the nineteenth annual ACM symposium on Principles of distributed computing, pp.4~ (2000)
- A. Broder, "Syntactic clustering of the web", Computer Networks, 29(8-13), pp.1157~1166 (1997)
- T. C. Hoad, "Methods for identifying versioned and plagiarised documents", Journal of the American Society for Information Science and Technology, 54(3), pp.203~215 (2003)
- A. Mittelbach, "Automatic detection of local reuse. In EC-TEL", Lecture Notes in Computer Science, 6383, pp.229~244 (2010), Springer
- O. Chum, "Near duplicate image detection: min-hash and tf-idf weighting", British Machine Vision Conference (2008)
- M. Charikar, "Similarity estimation techniques from rounding algorithms", Proc. 34th Annual Symposium on Theory of Computing (STOC 2002), pp.380~388 (2002)
- A. Chowdhury, "Collection statistics for fast duplicate document detection", ACM Transactions on Information Systems, 20(2), pp.171~191 (2002)
- S. Uddin, "On the Effectiveness of Simhash for Detecting Near-Miss Clones in Large Scale Software Systems", Proc. WCRE, pp.13~22 (2011)
관련 논문AI추천
병렬 해쉬함수를 이용한 최소 해쉬 충돌 알고리즘강상길, 김정혁, 송주형, 황재민한국엔터프라이즈아키텍처학회 · 정보화연구2015 · 제12권 제4호쿠쿠 필터 유사도를 적용한 다중 필터 분산 중복 제거 시스템 설계 및 구현김계희, 김영아, 김창근, 김현주중소기업융합학회 · 융합정보논문지2020 · 제10권 제10호저장 시스템의 논리 파티션을 이용한 파일 중복 제거유혁, 고영웅, 공진산대한임베디드공학회 · 대한임베디드공학회논문지2012 · 제7권 제6호빅데이터 분석 도구 개발기술 동향임철수한국차세대컴퓨팅학회 · 한국차세대컴퓨팅학회 논문지2014 · 제10권 제5호빅데이터 품질향상 방안에 관한 고찰이용희한국IT정책경영학회 · 한국IT정책경영학회 논문지2018 · 제10권 제5호빅데이터의 효율적 활용을 위한 웹 크롤링 프로그램 구현이용희한국IT정책경영학회 · 한국IT정책경영학회 논문지2020 · 제12권 제5호