결정 트리를 가지고 불완전한 데이터를 처리하기 위한 두 분류기의 비교 : C4.5, SVM
Comparison of Two Classifiers for Handling Incomplete Data with Decision Trees: C4.5, SVM
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 논문은 결정 트리를 이용하여 불완전한 데이터에서 결측값의 추정치를 구하는 알고리즘에 대해 소개한다. 결정 트리를 구성하기 위한 분류기로 서로 다른 특성을 가지는 C4.5와 SVM 계열의 알고리즘을 사용하는데 구현 과정을 통해 두 분류기의 특성과 성능을 알아본다. 불완전한 데이터의 처리기법으로 결정트리를 선택한 것은 결정 트리의 각 노드들은 입력 패턴들의 분류 정보(hyperplane)를 가지고 있고, 루트에서 말단 노드에 이르는 경로는 분류면을 결합하게 하여 하나의 영역을 만든다는 것이다. 따라서 불완전한 데이터를 위한 본 논문의 핵심 아이디어는 루트에 손실 사건을 입력하고 순회를 통해 손실 정보와 가장 유사한 영역을 찾는다. 그리고 이 영역의 사건들로부터 손실정보의 추정치를 구한다는 것이다. 구현의 관점에서 살펴보면 학습 데이터를 손실과 비손실 데이터로 분리하고, 비손실 데이터를 C4.5/SVM에 입력하여 결정 트리를 완성한다. 다음으로 손실 데이터를 이 결정 트리에 입력한 후, 가장 유사한 특성을 찾기 위한 조건에 따라 순회를 단말 노드에 도달할 때까지 반복한다.
Abstract
This paper introduces an algorithm to obtain an estimate of the missing value from incomplete data using decision trees. As a classifier to construct a decision tree, C4.5 and SVM series algorithms with different characteristics are used, and the characteristics and performance of the two classifiers are examined through the implementation process. The decision tree is selected as a handling technique for incomplete data because each node of the decision tree has the classification information (hyperplane) of the input patterns, and the path from the root to the terminal node combines the hyperplanes to form a single domain. Therefore, the key idea of this paper for incomplete data is to enter the missing event in the root and find the area most similar to the missing information through traversal. Then, an estimate of the missing information is obtained from the events in this domain. From the implementation point of view, the training data is divided into lossy data and non-lossy data, and the decision tree is completed by inputting the non-lossy data into C4.5/SVM. Next, after inputting the loss data into this decision tree, the traversal is repeated until reaching the terminal node according to the condition for finding the most similar property.
참고문헌 (15)
- J. Han, "Data mining : concepts and techniques" (2011), Elsevier
- R. Kohavi, "Handbook of data mining and knowledge discovery", pp.267~276 (2002), Oxford University Press
- 이종찬, "Application Examples Applying Extended Data Expression Technique to Classification Problems", 한국융합학회논문지, 9(12), pp.9~15 (2018), 한국융합학회[DOI]
- J. C. Lee, "FLDF based decision tree using extended data expression", The 6th Conference on Machine Learning & Cybernetics, pp.3478~3483 (2007)
- 이종찬, "결정트리를 이용하는 불완전한 데이터 처리기법", 한국융합학회논문지, 12(8), pp.39~45 (2021), 한국융합학회[DOI]
- 이종찬, "SVM과 딥러닝에서 불완전한 데이터를 처리하기 위한 알고리즘", 한국융합학회논문지, 11(3), pp.1~7 (2020), 한국융합학회[DOI]
- T. Delavallade, "Using entropy to impute missing data in a classification task", IEEE International Fuzzy Systems Conference (2007)
- 이종찬, "손실 데이터를 처리하기 위한 집락분석 알고리즘", 한국융합학회논문지, 8(11), pp.103~108 (2017), 한국융합학회[DOI]
- 이종찬, "SVM을 이용한 결정 트리로부터 불완전한 데이터를 처리하는 알고리즘", 한국지식정보기술학회 논문지, 17(6), pp.1145~1153 (2022), 한국지식정보기술학회[DOI]
- J. R. Quinlan, "C4. 5 : Program for machine learning" (1993), Morgan Kaufmann
- J. C. Lee, "FLDF algorithm for incomplete data", Journal of Knowledge Information Technology and Systems(JKITS), 3(4), pp.75~81 (2008)
- 이종찬, "불완전한 데이터를 위한 딥러닝 모델", 한국융합학회논문지, 10(2), pp.1~6 (2019), 한국융합학회[DOI]
- T. F. Johnson, "Handling missing values in trait data", pp.1~12 (2020), Global Ecology &Biogeography
- S. Huang, "A safe-region imputation method for handling medical data with missing values", Symmetry (2020)
- "University of California, Irvine, UCI Machine Learning Repository" (2020)[URL]