해양 이상 자료 탐지를 위한 오토인코더 활용 기법 최적화 연구
An Outlier Detection Using Autoencoder for Ocean Observation Data
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
해양 이상 자료 탐지의 연구는 이전부터 활발하게 이루어지고 있으며, 통계 및 거리 기반의 기계 학습 알고리즘을 활용하는 기법들이 개발되었다. 최근에는 AI 기반의 해양 자료 이상 탐지 기법이 많은 관심을 받고 있으며, AI를 활용한 해양 이상 자료 탐지 기법은 정답이 주어지는 지도학습 기법이 주를 이루고 있다. 이러한 방법은학습에 필요한 모든 자료에 수작업으로 분류 정보(라벨)를 지정해야 한다는 점에서 많은 시간과 비용이 요구된다. 본 연구에서는 이러한 문제를 극복하기 위해 비지도학습 기반의 오토인코더를 이상 자료 탐지 기법에 사용하였다. 실험으로는 오토인코더의 평가를 위해 단변수·다변수학습 두가지 실험을 구성하였고, 단변수 학습은 기상청에서 제공하는 덕적도 부이 정점 관측 자료 중 수온만 사용하였으며, 다변수 학습은 수온과 기온, 풍향, 풍속, 기압, 습도 등을 사용하였다. 사용기간은 1996~2020년의 25년간이며 학습 자료에 해양-기상 자료의 특성을 고려한 전처리 기법을적용하였다. 학습된 다변수와 단변수 오토인코더를 활용하여 실제 표층 수온에 대한 이상 탐지를 시도하였다. 모델성능 비교를 위해 오차를 삽입한 합성 자료에 다변수와 단변수 오토인코더를 포함한 여러 이상 탐지 기법을 적용하여 정량적으로 평가하였으며, 다변수/단변수의 정확도가 각각 약 96%/91%로써 다변수 오토인코더가 더 나은 이상자료 탐지 성능을 보였다. 오토인코더를 이용한 비지도학습 기반 이상 탐지 기법은 주관적 판단에 의한 오류와 자료라벨링에 필요한 시간과 비용을 줄일 수 있다는 점에서 다양하게 활용될 것으로 판단된다.
Abstract
Outlier detection research in ocean data has traditionally been performed using statistical and distancebased machine learning algorithms. Recently, AI-based methods have received a lot of attention and so-called supervised learning methods that require classification information for data are mainly used. This supervised learning method requires a lot of time and costs because classification information (label) must be manually designated for all data required for learning. In this study, an autoencoder based on unsupervised learning was applied as an outlier detection to overcome this problem. For the experiment, two experiments were designed: one is univariate learning, in which only SST data was used among the observation data of Deokjeok Island and the other is multivariate learning, in which SST, air temperature, wind direction, wind speed, air pressure, and humidity were used. Period of data is 25 years from 1996 to 2020, and a pre-processing considering the characteristics of ocean data was applied to the data. An outlier detection of actual SST data was tried with a learned univariate and multivariate autoencoder. We tried to detect outliers in real SST data using trained univariate and multivariate autoencoders. To compare model performance, various outlier detection methods were applied to synthetic data with artificially inserted errors. As a result of quantitatively evaluating the performance of these methods, the multivariate/ univariate accuracy was about 96%/91%, respectively, indicating that the multivariate autoencoder had better outlier detection performance. Outlier detection using an unsupervised learning-based autoencoder is expected to be used in various ways in that it can reduce subjective classification errors and cost and time required for data labeling.
참고문헌 (20)
- Arribas, A., "The GloSea4 ensemble prediction system for seasonal forecasting", Monthly Weather Review, 139(6), pp.1891~1910 (2011)
- Balmaseda, M. A., "The ECMWF ocean analysis system : ORA-S3", Monthly Weather Review, 136(8), pp.3018~3034 (2008)
- Boyer, T. P., "Linear trends in salinity for the World Ocean, 1955-1998", Geophysical Research Letters, 32(1) (2005)
- Charte, D., "A practical tutorial on autoencoders for nonlinear feature fusion: Taxonomy, models, software and guidelines", Information Fusion, pp.78~96 (2018)
- Cho, H. Y., "Outlier detection and missing data filling methods for coastal water temperature data", Journal of Coastal Research, 165(65), pp.1898~1903 (2013)
- Cummings, J.A., "Operational oceanography in the 21st Century", pp.91~121 (2011), Springer
- Doong, D. J., "Data quality check procedures of an operational coastal ocean monitoring network", Ocean Engineering, 34(2), pp.234~246 (2007)
- Durack, P. J., "Fifty-Year trends in global ocean salinities and their relationship to broad-scale warming", Journal of Climate, 23(16), pp.4342~4362 (2010)
- Giannoni, F., "Anomaly Detection Models for IoT Time Series Data", arXiv preprint arXiv:1812.00890, ~ (2018)
- Good, S. A., "EN4 : Quality controlled ocean temperature and salinity profiles and monthly objective analyses with uncertainty estimates", Journal of Geophysical Research : Oceans, 118(12), pp.6704~6716 (2013)
- Ingleby, B., "Quality control of ocean temperature and salinity profiles - Historical and real-time data", Journal of Marine Systems, 65(1-4 SPEC. ISS), pp.158~175 (2007)
- Jingang, J., "Outlier detection and sequence reconstruction in continuous time series of ocean observation data based on difference analysis and the Dixon criterion", Limnology and Oceanography : Methods, 15(11), pp.916~927 (2017)
- Kim, T. Y., "Web traffic anomaly detection using C-LSTM neural networks", Expert Systems with Applications, 106, pp.66~76 (2018)
- Levitus, S., "World ocean heat content and thermosteric sea level change (0-2000m), 1955-2010", Geophysical Research Letters, 39(10) (2012)
- Palmer, M. D., "Isolating the signal of ocean global warming", Geophysical Research Letters, 34(23) (2007)
- Rumelhart, D. E., "Learning Representations by Back-Propagating Errors", Nature, 323(6088), pp.533~536 (1986)
- Smith, D. M., "Improved surface temperature prediction for the coming decade from a Global Climate Model", Paleoceanography, 796(2007), pp.796~799 (2007)
- Williams, G., "A comparative study of RNN for Outlier Detection in Data Mining", 2002 IEEE International Conference on Data Mining, 2002. Proceedings, pp.709~712 (2002)
- Wong, A. P. S., "Delayed-Mode calibration of autonomous CTD profiling float salinity data by h-S climatology", J. Atmos. Ocean. Technol, 20, pp.308~318 (2003)
- Yin, C., "Anomaly Detection Based on Convolutional Recurrent Autoencoder for IoT Time Series", IEEE Transactions on Systems, Man, and Cybernetics: Systems (2020)