클러스터링 기반 앙상블 모델 구성을 이용한 이상치 탐지
Outlier Detection By Clustering-Based Ensemble Model Construction
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
이상치 탐지는 정상 데이터 분포를 크게 벗어나는 데이터 샘플을 탐지하는 것을 의미한다. 대부분의 이상치 탐지 방법은 데이터 샘플이 정상 상태를 벗어나는 정도를 나타내는 이상치 지수(outlier score)를 계산하여 주어진 임계값 이상일 때 이상치로 판정한다. 그러나, 데이터마다 이상치 지수의 범위가 다양하고 정상 데이터에 비해 이상치 데이터는 적은 비율로 존재하기 때문에 이상치 지수에 대한 임계값을 결정하기는 매우 어렵다. 또한, 실제 상황에서는 학습에 이용할 수 있는 충분한 양의 이상치를 포함하는 데이터의 획득이 용이하지 않다. 본 논문에서는 정상 데이터가 주어졌을 때 이를 이용하여 정상 데이터 영역을 나타내는 모델을 구성하고 새로운 데이터 샘플에 대해 이상치와 정상치의 이진 분류를 수행하는 방법으로 군집화 기반 이상치 탐지 방법을 제안한다. 그리고, 주어진 정상 데이터를 청크로 나누고 각 청크에 대해 클러스터링 모델을 구성한 후 모델들에 의한 이상치 판정 결과를 결합하는 앙상블 방법과 동적 변화가 있는 스트리밍 데이터에서의 적용 방법으로 확장한다. 실제 데이터와 인공 데이터를 이용한 실험결과는 제안 방법의 높은 성능을 보여준다.
Abstract
Outlier detection means to detect data samples that deviate significantly from the distribution of normal data. Most outlier detection methods calculate an outlier score that indicates the extent to which a data sample is out of normal state and determine it to be an outlier when its outlier score is above a given threshold. However, since the range of an outlier score is different for each data and the outliers exist at a smaller ratio than the normal data, it is very difficult to determine the threshold value for an outlier score. Further, in an actual situation, it is not easy to acquire data including a sufficient amount of outliers available for learning. In this paper, we propose a clustering-based outlier detection method by constructing a model representing a normal data region using only normal data and performing binary classification of outliers and normal data for new data samples. Then, by dividing the given normal data into chunks, and constructing a clustering model for each chunk, we expand it to the ensemble method combining the decision by the models and apply it to the streaming data with dynamic changes. Experimental results using real data and artificial data show high performance of the proposed method.
참고문헌 (18)
- E. M. Knorr, "Finding intensional knowledge of distance-based outliers", Proceedings of 25th International Conference on Very Large Databases (1999)
- M. Markou, "Novelty detection: a review-part 1: statistical approaches", Signal Processing, 83(12), pp.2481~2497 (2003)
- M. Markou, "Novelty detection: a review - part 2: neural network based approaches", Signal Processing, 83(12), pp.2499~2521 (2003)
- R. Domingues, "A comparative evaluation of outlier detection algorithms : Experiments and analyses", Pattern Recognition, 74, pp.406~421 (2018)
- C. Aggarwal, "Outlier analysis" (2017), Springer
- K. Wu, "RSForest : A rapid density estimator for streaming anomaly detection", Proceedings of the 14th International Conference on Data Mining (2014)
- F. Angiulli, "Detecting distance-based outlies in streams of data", Proceedings of CIKM (2007)
- M. M. Breunig, "LOF:Identifying density-based local outliers", Proceedings of the 2000 ACM Sigmod International Conference on Management of Data (2000)
- K. Ting, "Isolation forest", Proceedings of the 8th International Conference on Data Mining (2008)
- S. Zhai, "Deep structured energy based models for anomaly detection", Proceedings of the ICML (2016)
- X. Xu, "Discovering cluster-based local outliers", Pattern Recognition Letters, 24, pp.1641~1650 (2003)
- E. Spinosa, "Olindda: A clusterbased approach for detecting novelty and concept drift in data streams", Proceedings of the SAC (2007)
- "Creditcard/Kaggle"[URL]
- S. Hawkins, "Outlier detection using replicator neural networks", Proceedings of the International Conference on Data Warehousing and Knowledge Discovery (2002)
- A. Bifet, "MOA:Massive online analysis", Journal of Machine Learning Research, 11, pp.1601~1604 (2010)
- M. Steinbach, "Introduction to Data Mining" (2006), Addison Wesley
- B. Scholkopf, "Estimating the support of a high-dimensional distribution", Neural Computation, 13(7), pp.1443~1471 (2001)
- F. Pedregosa, "Scikit-learn : Machine Learning in Python", Journal of Machine Learning Research, 12, pp.2825~2830 (2011)