머신러닝 기반 기업부도 예측모델의 이상치 분류기준 재정의에 따른 성능 비교연구
A Comparative study of the performance of machine learning-based corporate default prediction models by redefining outlier classification criteria
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 은행들이 머신러닝 모델 개발에 있어서 소수 범주의 관측치 수와 다수 범주의 관측치 수의 극심한 불균형으로 세분화 모델 개발에 어려움을 겪고 있다. 본 연구에서는 기존에 연구된 샘플링기법처럼 관측치 수를 늘리거나 줄이지 않고 소수 범주를 구분하는 기준만 바꾸어 불균형을 해소하는 방법을 제안하였다. 연구를 위해 나이스평가정보 데이터의 기업 재무정보와 신용등급 평가정보를 이용하였다. 연구 대상기업은 외감기업 5,705개로 재무지표 22개를 추출하여 독립변수로 사용하였으며, 부도의 정의를 한국기업평가 신용등급으로 구분하여 재정의 한 후 종속변수 사용하여 와이즈 프로핏의 오토머신러닝 플랫폼에 있는 XG BOOST 알고리즘 등을 사용하여 실험 연구하였다. 머신러닝 알고리즘의 훈련과 검증 비율은 7:3으로 하였으며, 실험결과는 오차행렬로 측정하였다. 실험은 1차와 2차로 나누어 하였다. 1차 실험은 부도 재정의에 따른 각각의 데이터로 훈련시킨 머신러닝 모델의 성능을 평가하였다. 1차 실험결과 이상치 분류기준의 재정의에 따라 데이터 불균형비율이 해소될수록 AUROC 값이 증가함을(0.5→0.831) 확인하였다. 2차 실험은 1차 실험을 통해 만들어진 각각의 모델에 실제 부도로 생성한 균형 데이터를 동일하게 사용하여 성능을 비교평가 하였다. 2차 실험한 결과 이상치 재정의를 통하여 불균형을 해소 시킨 데이터로 훈련한 모델이 재정의하지 않고 본래의 데이터로 훈련한 모델보다 성능이 좋음을 입증하였다.
Abstract
Recently, banks have been facing difficulties in developing segmentation models due to the extreme imbalance between the number of observations in the minority category and the number of observations in the majority category in the development of machine learning models. In this study, we propose a method to resolve the imbalance by changing the criteria for classifying minority categories without increasing or decreasing the number of observations as in previously studied sampling techniques. For the study, we used corporate financial information and credit rating information from Nice Information Service co., Ltd. data. We extracted 22 financial indicators from 5,705 companies and used them as independent variables, and redefined the definition of default by dividing it into Korean corporate credit ratings, and used them as dependent variables to conduct experimental research using XG BOOST algorithms in Wise Profit's automated machine learning platform. The training and validation ratio of the machine learning algorithm was 7:3, and the experimental results were measured by the error matrix. The experiments were divided into two parts. The first experiment evaluated the performance of the machine learning model trained on the data of each default override. The results of the first experiment showed that the AUROC value increased (0.5 → 0.831) as the data imbalance ratio was reduced by redefining the outlier classification criteria. The second experiment compared the performance of each model created in the first experiment using the same balanced data generated from actual defaults. The results of the second experiment showed that the model trained with the data that resolved the imbalance through outlier redefinition performed better than the model trained with the original data without redefinition.
참고문헌 (34)
- 강필성, "데이터 불균형 해결을 위한 Under-sampling 기반 앙상블SVMs", 2006년도 춘계공동학술대회 논문집, pp.291~298 (2006), 대한산업공학회
- 금융감독원, "신용리스크 내부등급법 세부지침(안)", 24~26 (2015)
- 김광용, "데이터마이닝 기법의 성과평가 및 새로운 위험분류측정에 관한 실증적 연구", 보험개발연구, 12(2), pp.133~166 (2001)
- 김명종, "금융 분야의 범주 불균형 문제 해결을 위한 성과 최적화 기반의 부스팅 학습", Journal of The Korean Data Analysis Society, 25(2), pp.749~762 (2023), 한국자료분석학회[DOI]
- 김상봉, "부도에측모형을 이용한 기업부실화의 원인분석", 시장경제연구, 40(1), pp.85~106 (2011), 지암남덕우경제연구원
- 김종훈, "코스닥 상장폐지기업의 재무적 특성에 관한 실증 연구", 박사, 중소기업, pp.2011
- 신동령, "신용평가의 실제와 이론" (1999), 다산출판사
- 신창욱, "범주 불균형 분류 문제를 위한 동적 비용 민감 학습 방법", 정보과학회 컴퓨팅의 실제 논문지, 26(4), pp.211~216 (2020), 한국정보과학회[DOI]
- 오주혁, "클래스 불균형 데이터 분류를 위한 군집화 기반 언더샘플링 기법", 대한산업공학회 추계학술대회 논문집 (2017)
- 이상봉, "부실기업의 재무적 특성에 관한 연구", 산경논집, 32, pp.215~236 (2014)
- 이창홍, "설명 가능한 인공지능을 사용한 학습 데이터 전처리 방법", 정보과학회논문지, 50(2), pp.133~139 (2023), 한국정보과학회[DOI]
- 전보민, "불균형 데이터의 예측 모델 성능 향상을 위한 오버샘플링 기법 비교 연구", 석사, pp.2022
- 정태형, "부도기업의 재무적 특성에 관한 연구 : 중소기업을 중심으로", 석사, 경영학과 경영학전공, pp.2013
- 조성임, "비대칭 마진 SVM 최적화 모델을 이용한 기업부실 예측모형의 범주 불균형 문제 해결", 한국정보기술학회 추계종합학술대회 논문집, pp.295~298 (2022)
- Akash, A. H., "Clustering-Based Under-Sampling with Normalization in Class-Imbalanced Data", 2022 IEEE International Conference on Current Development in Engineering and Technology (2022)
- Altman, E. I., "Failure prediction : evidence from Korea", Journal of International Financial Management and Accounting, 6, pp.230~249 (1995)
- Beaver, W. H., "Financial ratios as predictors of failure", Journal of Accounting Research, pp.71~111 (1966)
- Carmona, P., "Predicting failure in the US banking sector : An extreme gradient boosting approach", International Review of Economics and Finance, 61, pp.304~323 (2019)
- Devi, D., "Redundancy-driven modified Tomek-link based undersampling : A solution to class imbalance", Pattern Recognition Letters, 93, pp.3~12 (2017)
- Drummond, C., "C4.5, Class Imbalance, and Cost Sensitivity: Why Under-Sampling beats Over-Sampling", Workshop on Learning from Imbalanced Data Sets II, pp.1~8 (2003)
- Dubey, R., "Analysis of sampling techniques for imbalanced data : An n=648 ADNI study", NeuroImage, 87, pp.220~241 (2014)
- Elkan, C., "The foundations of cost-sensitive learning", International Joint Conference on Artificial Intelligence, 17, pp.973~978 (2001)
- Engelmann, Justin, "Conditional Wasserstein GANbased oversampling of tabular data for imbalanced learning", Expert Systems with Applications, 174, pp.114582~ (2021)
- Han, Hui, "Borderline-SMOTE: A New Over-Sampling Method in Imbalanced Data Sets Learning", International Conference on Intelligent Computing, pp.878~887 (2005)
- Huang, Y. P., "A new perspective of performance comparison among machine learning algorithms for financial distress prediction", Applied Soft Computing, 83, pp.105663~ (2019)
- Im, E., "A Study on Prediction Performance Measurement of Automated Machine Learning: Focusing on WiseProphet, a Korean Auto ML Service", International Journal of Software Innovation, 11, pp.1~11 (2023)
- Jones, S., "Corporate bankruptcy prediction: a high dimensional analysis", Review of Accounting Studies, 22, pp.1366~1422 (2017)
- Kotsiantis, S., "Selective costing voting for bankruptcy prediction", International Journal of Knowledgebased and Intelligent Engineering Systems, 11, pp.115~127 (2007)
- Krawczyk, B., "Learning from imbalanced data : open challenges and future directions", Progress in Artificial Intelligence, 5, pp.221~232 (2016)
- Last, F., "Oversampling for Imbalanced Learning Based on K-Means and SMOTE", Information Sciences, 465, pp.1~20 (2018)
- Ling, Charles X., "Cost-sensitive learning and the class imbalance problem", Encyclopedia of Machine Learning, 2011, pp.231~235 (2008)
- Ohlson, J. A., "Financial ratios and the probabilistic prediction of bankruptcy", Journal of Accounting Research, 18, pp.109~131 (1980)
- Son, H., "Data analytic approach for bankruptcy prediction", Expert Systems with Applications, 138, pp.112816~ (2019)
- Zięba, M., "Ensemble boosted trees with synthetic features generation in application to bankruptcy prediction", Expert Systems with Applications, 58, pp.93~101 (2016)