SVM을 이용한 결정 트리로부터 불완전한 데이터를 처리하는 알고리즘
Algorithm to Handling Incomplete Data from Decision Tree Using SVM
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
본 논문은 불완전한 데이터에서 손실된 정보를 대체하는 추정값을 구하는 방안에 대해 알아본다. 다시 말해 제안 논문의 핵심 주제는 손실값과 가장 유사한 추정치를 구해내는 것이다. 이를 구현하기 위해 SVM 알고리즘으로 학습 데이터를 분류하고, 이 분류 과정에서 생성되는 결정 트리로부터 손실값의 추정치 정보를 얻는다. 여러 가지의 분류기 중에서, SVM은 분류면의 방향이 자유롭고, 결정 트리의 단말 노드에 상호 유사한 거리를 가지는 속성들끼리 모여지는 특징을 가지고 있어 학습을 위한 분류기로 선택한다. 종합적인 관점에서 살펴보면 학습 데이터를 손실 데이터와 비손실 데이터로 분리하고, 비손실 데이터를 SVM에 입력하여 결정 트리를 완성한다. 다음으로 손실 데이터를 이 결정 트리에 입력한 후, 가장 유사한 특성을 찾기 위한 조건에 따라 순회를 단말 노드에 도달할 때까지 반복한다. 그리고 단말 노드에서 손실된 변수에 대해 3가지 방법으로 평균값을 구해 손실 변수의 추정치로 사용하고, 각각의 방법에 대해 성능을 평가한다. 이 모든 과정은 불완전한 데이터에 남아있는 일부 정보에서도 손실값의 추정치를 이끌어낼 수 있는지를 알아보는 것이다.
Abstract
This paper examines a method to obtain an estimate that replaces missing information in incomplete data. In other words, the core topic of the proposed paper is to find the estimate most similar to the missing value. To implement this, the training data is classified with the SVM algorithm, and information on the estimate of the missing value is obtained from the decision tree generated in the classification process. Among the various classifiers, the SVM is selected as a classifier for learning because the direction of the classification plane is free and properties having similar distances are gathered at the terminal nodes of the decision tree. From a comprehensive point of view, the training data is divided into lossy data and nonlossy data, and the lossless data is input into the SVM to complete the decision tree. Next, after inputting the loss data into this decision tree, the traversal is repeated until reaching the terminal node according to the condition to find the most similar characteristics. Then, the average value of the lost variable in the terminal node is obtained in three ways, used as an estimate of the loss variable, and the performance of each method is evaluated. All this process is to see if an estimate of the loss value can be derived from some information remaining in the incomplete data.
참고문헌 (18)
- J. Han, "Data mining: concepts and techniques" (2011), Elsevier
- D. Kim, "Classifier using extended data expression", IEEE Mountain Workshop on Adaptive and Learning Systems (2006)
- R. Kohavi, "Data mining tasks and methods: Classification:decision-tree discovery, Handbook of data mining and knowledge discovery", pp.267~276 (2002), Oxford University Press
- 이종찬, "SVM과 딥러닝에서 불완전한 데이터를 처리하기 위한 알고리즘", 한국융합학회논문지, 11(3), pp.1~7 (2020), 한국융합학회[DOI]
- 이종찬, "손실 데이터를 처리하기 위한 집락분석 알고리즘", 한국융합학회논문지, 8(11), pp.103~108 (2017), 한국융합학회[DOI]
- 이종찬, "결정트리를 이용하는 불완전한 데이터 처리기법", 한국융합학회논문지, 12(8), pp.39~45 (2021), 한국융합학회[DOI]
- J. C. Lee, "FLDF based decision tree using extended data expression", The 6th Conference on Machine Learning & Cybernetics, pp.3478~3483 (2007)
- 이종찬, "Application Examples Applying Extended Data Expression Technique to Classification Problems", 한국융합학회논문지, 9(12), pp.9~15 (2018), 한국융합학회[DOI]
- J. R. Quinlan, "C4.5 : Program for machine learning" (1993), Morgan Kaufmann
- T. Delavallade, "Using entropy to impute missing data in a classification task", IEEE International Fuzzy Systems Conference (2007)
- 이종찬, "불완전한 데이터를 위한 딥러닝 모델", 한국융합학회논문지, 10(2), pp.1~6 (2019), 한국융합학회[DOI]
- 이종찬, "불완전한 데이터를 처리할 수 있는 분류기", 한국정보통신학회논문지, 14(1), pp.53~62 (2010), 한국정보통신학회
- A. Sportisse, "Debiasing averaged stochastic gradient descent to handle missing values", 34th Conference on Neural Information Processing Systems, pp.1~11 (2020)
- T. F. Johnson, "Handling missing values in trait data", pp.1~12 (2020), Global Ecology &Biogeography
- S. Huang, "A safe-region imputation method for handling medical data with missing values" (2020), Symmetry
- J. C. Lee, "FLDF algorithm for incomplete data", Journal of Knowledge Information Technology and Systems(JKITS), 3(4), pp.75~81 (2008)
- 이종찬, "패턴 분류를 위한 결정적 아다부스트 알고리즘", 한국지식정보기술학회 논문지, 4(1), pp.43~50 (2009), 한국지식정보기술학회
- "University of California, Irvine, UCI Machine Learning Repository"[URL]