효율적인 k-평균 군집화를 위한 그리드 기반의 k 추정 기법
Grid-based k Estimation Method for Efficient k-Means Clustering
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
데이터의 수가 폭발적으로 증가하고 그 종류가 다양해짐에 따라, 이를 분석하기 위한 다양한 종류의 기법들이 연구되어 왔다. 군집화 분석은대표적인 비지도학습 기법으로, 주어진 다수의 데이터들을 보다 유사한 군집들로 나누는 작업을 수행한다. 군집의 수 k는 군집 수행 전 추정하기어렵기 때문에 기존의 연구들은 일정 범위의 k에 대해 군집화를 모두 수행한 이후 점수 기반 평가를 통해 최적의 k를 도출해 왔다. 이는 데이터의수가 크게 증가하는 상황에서 대규모 계산이 필요하다는 문제가 있다. 본 연구에서는 이러한 문제를 경감하기 위해 데이터의 차원을 압축한 후그리드 기반의 근사 군집을 생성하고, 근사 군집을 사용한 평가로부터 원본 데이터 집합에서 최적의 k를 추정하는 기법을 제안한다. 제안 기법은다수의 생성 데이터 집합 및 실제 데이터 집합을 기반으로 최신 군집 분석 최적화 기법인 Mini Batch 기반의 방법과 성능 비교 평가를 수행했으며,평가 점수의 유사성 및 수행 시간의 절감 측면에서 효과적임을 보였다.
Abstract
As the number of data rapidly increases and its types become more diverse, various types of techniques have been studied to analyzethem. Clustering analysis is a representative unsupervised learning technique that partitions a given data into more similar clusters. Sinceit is difficult to estimate the number of clusters k before performing clustering, previous studies have performed clustering for a certainrange of k and then derived the optimal k through score-based evaluation. This has the problem that large-scale calculations are requiredin a situation where the number of data increases significantly. In this study, to alleviate this problem, we propose a method that reducesthe dimension of data, generates grid-based approximate clusters, and estimates the optimal k from the original data set through evaluationusing the approximate clusters. The proposed technique was evaluated for performance comparison with the Mini Batch-based method,which is the latest clustering analysis optimization technique, based on a number of synthetic data sets and real data sets, and wedemonstrate efficiency in terms of similarity of silhouette scores and reduction of execution time.