수온 관측 자료의 효율적인 이상 자료 탐지
Efficient Outlier Detection of the Water Temperature Monitoring Data
1
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
연안의 수온 모니터링 자료는 이상자료 및 결측을 포함하고 있기 때문에 통계정보를 왜곡할 수 있다. 다양한 이상자료 감지 기법이 제안되고 있으나 결측이 없고 이상자료에 대한 사전정보를 가정하고, 어떤 적용기법은 과도한 계산시간이 소요되기 때문에 적용에 제한이 따른다. 본 연구에서는 방대한 자료에서도 효과적으로 이상자료를감지할 수 있는 실용적인 Robust 모형을 제안하였다. 이 모형은 계산시간을 크게 저감하는 부분자료 추출기법을 이용한 어림성분 추정과정 및 어림성분으로부터 계산되는 잔차성분으로부터 이상자료를 반복적으로 진단하여 제거하는 부분으로 구성되어 있다. 이 모형의 성능평가는 새만금호에서 5분 간격으로 관측한 2년 동안의 수온 자료를 이용하여 수행하였다. 모형 적용결과, 이상자료가 전체자료에서 차지하는 비율은 1.6-3.7% 정도로 파악되었으며, 전체적으로 대부분의 이상자료가 제거되는 것으로 파악되었다. 또한 어림성분 추정과정의 반복적용은 Long-span 조건을먼저 적용하는 것이 효과적인 것으로 파악되었다.
Abstract
The statistical information of the coastal water temperature monitoring data can be biased because ofoutliers and missing intervals. Though a number of outlier detection methods have been developed, theirapplications are very limited to the in-situ monitoring data because of the assumptions of the a prior information ofthe outliers and no-missing condition, and the excessive computational time for some methods. In this study, thepractical robust method is developed that can be efficiently and effectively detect the outliers in case of the big-data. This model is composed of these two parts, one part is the construction part of the approximate components of themonitoring data using the robust smoothing and data re-sampling method, and the other part is the main iterativeoutlier detection part using the detailed components of the data estimated by the approximate components. Thismodel is tested using the two-years 5-minute interval water temperature data in Lake Saemangeum. It can beestimated that the outlier proportion of the data is about 1.6-3.7%. It shows that most of the outliers in the data aredetected and removed with satisfaction by the model. In order to effectively detect and remove the outliers, theoutlier detection using the long-span smoothing should be applied earlier than that using the short-span smoothing.
참고문헌 (12)
- Agresti, A., "Statistics, The Art and Science of Learning from Data" (2007), Pearson Education Inc
- Barnett, V., "Outliers in Statistical Data" (1994), John Wiley & Sons
- Basu, S., "Automatic outlier detection for time series: an application to sensor data", Knowledge and Information Systems, 11(2), pp.137~154 (2007)
- Ben-Gal, I., "Outlier detection, Data Mining and Knowledge Discovery Handbook: A Complete Guide for Practitioners and Researcher Chapter 1", pp.1~16 (2005), Kluwer Academic Publishers
- Chiang, J-T., "The algorithm for multiple outliers detection against masking and swamping effects", International J. of Contemporary Mathematical Sciences, 3(17), pp.839~859 (2008)
- Cho, H.Y., "Outlier detection and missing data filling methods for coastal water temperature data", Journal of Coastal Research, (65), pp.1898~1903 (2013)
- 조홍연, "어림과 나머지 성분을 이용한 연안 수온자료의 이상자료 감지", 한국해양환경•에너지학회지, 15(2), pp.156~162 (2012), 한국해양환경·에너지학회[DOI]
- Cleveland, W. S., "Robust locally weighted regression and smoothing scatterplots", J. of the American Statistical Association, 74(368), pp.829~836 (1979)
- Hubert, M., "Outlier detection for skewed data", J. of Chemometrics, 22(Special), pp.235~246 (2008)
- Silverman, B. W., "Density Estimation for Statistics and Data Analysis, Chap.3", pp.1998, Chapman & Hall
- Storch, H.v., "Statistical Analysis in Climate Research, Sec. 5.3" (1999), Cambridge Univ. Press
- Tsay, R. S., "Outliers, level shifts, and variance changes in time-series", J. of Forecasting, 7, pp.1~20 (1988)