화학적산소요구량의 총유기탄소 변환을 위한 이상자료의 탐지와 처리
Outlier Detection and Treatment for the Conversion of Chemical Oxygen Demand to Total Organic Carbon
1
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
총유기탄소(TOC)는 해양의 탄소순환 연구분야에서 직접적인 생물학적 지표로 이용되는 중요한 인자다. 가용한 TOC 자료가 상대적으로 화학적산소요구량(COD) 자료 보다 부족하기 때문에 COD 자료를 활용하여 TOC 자료를 추정할 수 있다. COD를 TOC 로의 변환 시 TOC 추정에 직접적으로 영향을 미치는 COD 관측자료에 포함된 이상자료의 탐지와 적절한 처리는 합리적이고 객관적으로 수행되어야 한다. 본 연구에서는 국내 연안해역에서 관측된 염분, COD 및 TOC 자료에 대한 최적회귀모형을 제시하였다. 최적회귀모형은 이상자료와 영향자료를 여러 가지 탐색방법으로 진단하여 제거 전·후의 자료 개수 변화, 변동계수 및 RMS 오차를 비교 및 분석하여 선택하였다. 연구수행 결과, Cook의 진단방법과 SIQR의 boxplot 방법을 조합한 방법이 가장 적절한 것으로 파악되었다. 최적 회귀 함수는 TOC(mg/L) = 0.44·COD(mg/L)+1.53 이고, 결정계수는 0.47 정도로 나타났으며, RMS 오차는 0.85 mg/L이다. RMS 오차와 지레계수(leverage values)의 변동계수는 이상자료 제거 전에 비하여 각각 31%, 80%로 크게 감소되었다. 본 연구에서 제시된 방법을 통해 COD와 TOC 관측자료에 포함된 이상자료와 영향자료의 과도한 영향을 진단 및 제거하였기 때문에 보다 적절한 회귀곡선식을 제시할 수 있었다.
Abstract
Total organic carbon (TOC) is an important indicator used as an direct biological index in the research field of the marine carbon cycle. It is possible to produce the sufficient TOC estimation data by using the Chemical Oxygen Demand(COD) data because the available TOC data is relatively poor than the COD data. The outlier detection and treatment (removal) should be carried out reasonably and objectively because the equation for a COD-TOC conversion is directly affected the TOC estimation. In this study, it aims to suggest the optimal regression model using the available salinity, COD, and TOC data observed in the Korean coastal zone. The optimal regression model is selected by the comparison and analysis on the changes of data numbers before and after removal, variation coefficients and root mean square (RMS) error of the diverse detection methods of the outlier and influential observations. According toresearch result, it is shown that a diagnostic case combining SIQR (Semi - Inter-Quartile Range) boxplot and Cook’sdistance method is most suitable for the outlier detection. The optimal regression function is estimated as the TOC(mg/L)= 0.44·COD(mg/L)+1.53, then determination coefficient is showed a value of 0.47 and RMS error is 0.85 mg/L. The RMSerror and the variation coefficients of the leverage values are greatly reduced to the 31% and 80% of the value before theoutlier removal condition. The method suggested in this study can provide more appropriate regression curve because theexcessive impacts of the outlier frequently included in the COD and TOC monitoring data is removed.
참고문헌 (27)
- Aucremanne, L., "Theory and Applications of Recent Robust Methods, Series:Statistics for Industry and Technology", pp.13~25 (2004), Birkhauser
- Barnett, V., "Outliers in Statistical Data", pp.320~328 (1994), John Wiley & Sons
- Chatterjee, S., "Influential observations, high leverage points, and outliers in linear regression", Statistical Science, 1(3), pp.379~416 (1986)
- Chen, R.F., "The fluorescence of dissolved organic matter in seawater", Marine Chemistry, 37, pp.191~221 (1992)
- 조홍연, "어림과 나머지 성분을 이용한 연안 수온자료의 이상자료 감지", 한국해양환경•에너지학회지, 15(2), pp.156~162 (2012), 한국해양환경·에너지학회[DOI]
- Cook, R. D., "Detection of Influential Observations in Linear Regression", Technometrics, 19, pp.15~18 (1977)
- Doval. M.D., "Organic carbon and apparent oxygen utilization in the western south and the central Indian Ocean", Marine Chemistry, 68, pp.249~264 (2000)
- Hair, J. F., "Multivariate Data Analysis Chapter 2", pp.64~70 (2010)
- Hedger, J. I., "Biogeochemistry of marine dissolved organic matter", pp.1~33 (2002), Academic Press
- Hoaglin, D.C., "The Hat Matrix in Regression and ANOVA", The American Statistician, 32, pp.17~22 (1978)
- Hubert, M, "An adjusted boxplot for skewed distributions", Computational Statistics and Data Analysis, 52, pp.5186~5201 (2008)
- Kim, C., "Reference Values for Cook's Distance", Communications in Statistics Simulations and Computations, 25, pp.691~708 (1996)
- 김경홍, "해양 퇴적물내 총탄소 및 유기탄소의 분석기법 고찰", 한국해양환경•에너지학회지, 9(4), pp.235~242 (2006), 한국해양환경·에너지학회
- Kimber, A. C., "Exploratory data analysis for possibly censored data from skewed distributions", Applied Statistics, 39, pp.21~30 (1990)
- Koenker, R., "Regression quantile, Econometrica", Journal of the Econometric Society, 46(1), pp.33~50 (1978)
- Koenker, R, "Quantile regression", Journal of Economic Perspectives, 15(4), pp.143~156 (2001)
- Development of management and restoration technologies for estuaries with focus on Han River estuary region, "Korea Ocean Research & Development Institute", 349~371, pp.BSPE98101-2028-7 (2008)
- Kottegoda, N.T, "Statistics, Probability, and Reliability for Civil and Environmental Engineers", pp.375~380 (1997)
- Lee, J. S., "A Study on Outlier Adjustment for Multibeam Echosounder Data", The SeaJournal of the Korean Society for Marine Environmental Engineering, 6(1), pp.35~39 (2001)
- Lyman, O.R, "An Introduction to Statistical Methods and Data Analysis", 96~101 (2001)
- Saemangeum coastal system research for marine environmental conservation, "Ministry of Land, Transport", Korea Ocean Research & Development Institute, 206~213, pp.BSPM55630-2269-2 (2011)
- Research on Marine Environmental Improvement of Shihwa Lake, "Ministry of Maritime Affairs and Fisheries", Korea Ocean Research & Development Institute, 158~162, pp.BSPM38800-1825-4 (2006)
- Ministry of Maritime Affairs and Fisheries, "Marine Environment Process Test Standard, Notification No. 2013-230 of the Ministry of Maritime Affairs and Fisheries", ~ (2013)
- Ministry of Maritime Affairs and Fisheries, "Marine Environment Management Act Enforcement Regulations, Act No. 63 of the Ministry of Maritime Affairs and Fisheries", ~ (2013)
- 소병진, "Quantile 회귀분석을 이용한 극대강수량 자료의 경향성 분석", 한국수자원학회 논문집, 45(8), pp.815~826 (2012), 한국수자원학회[DOI]
- 손주원, "한국 연안수에서 총유기탄소 및 화학적 산소요구량 분포 특성", 바다, 8(3), pp.10~326 (2003), 한국해양학회
- Tchobanoglous, G., "Water Quality", 101~104 (1985)