다중 분류기 시스템을 이용한 자동 문서 분류
Automatic Document Classification Using Multiple Classifier Systems
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
단일 분류기에 비해 높은 분류성능을 얻기 위해 다수의 분류기들을 결합하여 사용하는 방법은 폭넓게 이용되어 온 기술이다. 하나의 다중 분류기 시스템을 구성하는 일은 다음 두 가지 문제들을 가지고 있다. 첫째는 어떻게 기반 분류기들을 생성하느냐 하는 것이고 둘째는 이들의 예측결과를 어떻게 결합하느냐 하는 것이다. 본 논문에서는 Bagging, Boosting, Stacking 등 기존의 대표적인 다중 분류기 시스템들의 특징을 살펴보고, 문서 분류를 위한 새로운 다중 분류기 시스템들인 Stacked Bagging, Stacked Boosting, Bagged Stacking, Boosted Stacking들을 제안한다. 이들은 Bagging, Boosting, Stacking과 같은 기존 다중 분류기 시스템들의 장점들을 결합한 일종의 혼합형 다중 분류기 시스템들이다. 본 논문에서는 제안된 다중 분류기 시스템들의 성능을 평가하기 위해 MEDLINE, 유즈넷 뉴스, 웹 문서 등의 문서집합을 이용한 문서 분류 실험들을 전개하였다. 그리고 이러한 실험결과를 통해 제안한 혼합형 다중 분류기 시스템들은 전반적으로 기존 시스템들보다 우수한 성능을 보이는 것으로 나타났다.
Abstract
Combining multiple classifiers to obtain improved performance over the individual classifier has been a widely used technique. The task of constructing a multiple classifier system(MCS) contains two different issues：how to generate a diverse set of base-level classifiers and how to combine their predictions. In this paper, we review the characteristics of existing multiple classifier systems：Bagging, Boosting, and Stacking. For document classification, we propose new MCSs such as Stacked Bagging, Stacked Boosting, Bagged Stacking, Boosted Stacking. These MCSs are a sort of hybrid MCSs that combine advantages of existing MCSs such as Bagging, Boosting, and Stacking. We conducted some experiments of document classification to evaluate the performances of the proposed schemes on MEDLINE, Usenet news, and Web document collections. The result of experiments demonstrate the superiority of our hybrid MCSs over the existing ones.
참고문헌 (17)
- Sahami, "Using Machine Learning to Improve Information Access" (1998), a Dissertation, Stanford：Dept. of Computer Science, Stanford University
- Mladeni’c,, "Efficient Text Categorization" (1998)
- Chen, "Machine Learning for Information Retrieval", 46, pp.194~216 (1995)
- Hong, "Advances in Predictive Model Generation for Data Mining" (1999)
- Breiman, "Bagging Predictors", 24, pp.49~6 (1996)
- Schaphire,, "Theoretical Views of Boosting" (1999)
- Wolpert,David H, "Stacked Generalization", 5, pp.241~259 (1992)
- Bauer, "An Empirical Comparison of Voting Classification Algorithms", pp.105~142 (1999)
- Salton, "Introduction to Information Retrieval" (1983), McGraw-Hill
- Han, "Data Mining：Concepts and Techniques" (2001), Morgan Kaufmann
- Shankar, "A Feature Weight Adjustment Algorithm for Document Categorization" (2000), In SIGKDD’00 Workshop on Text Mining
- Mitchell, "Machine Learning" (1997), McGraw- Hill
- Lewis,, "A Comparison of Two Learning Algorithms in Text Categorization", pp.81~93 (1994)
- Domingos, "On the Optimality of the Simple Bayesian Classifier under Zero One Loss", 29, pp.103~130 (1997)
- Witten, "Data Mining" (2000), Morgan Kaufman
- Wolpert, "Combining Stacking with Bagging to Improve a Learning Algorithm" (1996)
- Yang, "A Comparative Study on Feature Selection in Text Categorization", 43 (1997)