나이브베이즈 문서분류시스템을 위한 선택적샘플링 기반 EM 가속 알고리즘
Accelerating the EM Algorithm through Selective Sampling for Na？ve Bayes Text Classifier
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 논문은 온라인 전자문서환경에서 전통적 베이지안 통계기반 문서분류시스템의 분류성능을 개선하기 위해 EM(Expectation Maximization) 가속 알고리즘을 접목한 방법을 제안한다. 기계학습 기반의 문서분류시스템의 중요한 문제 중의 하나는 양질의 학습문서를 확보하는 것이다. EM 알고리즘은 소량의 학습문서집합으로 베이지안 문서분류 알고리즘의 성능을 높이는데 활용된다. 그러나 EM 알고리즘은 최적화 과정에서 느린 수렴성과 성능 저하 현상을 나타내는데, EM 알고리즘의 기본 가정을 따르지 않는 온라인 전자문서환경에서 특히 그러하다. 제안 기법의 주요 아이디어는 전통적 EM 알고리즘을 개선하기 위해 불확정성도 기반 선택적 샘플링 기법을 활용한 것이다. 성능평가를 위해 Reuter-21578 문서집합을 사용하여, 제안 알고리즘의 빠른 수렴성을 보이고 전통적 베이지안 알고리즘의 분류 정확성을 향상시켰음을 보인다.
Abstract
This paper presents a new method of significantly improving conventional Bayesian statistical text classifier by incorporating accelerated EM(Expectation Maximization) algorithm. EM algorithm experiences a slow convergence and performance degrade in its iterative process, especially when real online-textual documents do not follow EM’s assumptions. In this study, we propose a new accelerated EM algorithm with uncertainty-based selective sampling, which is simple yet has a fast convergence speed and allow to estimate a more accurate classification model on Naive Bayesian text classifier. Experiments using the popular Reuters-21578 document collection showed that the proposed algorithm effectively improves classification accuracy.
참고문헌 (16)
- T. M. Cover, "Elements of Information Theory" (1991), Wiley
- R. Aggrawal, "Mining-based Interactive Management of Text Databases", pp.365~379 (2000)
- V. Castelli, "On the Exponential Value of Labeled Samples", 16(1), pp.105~111 (1995)
- A. P. Dempster, "Maximum Likelihood from Incomplete Data via the EM Algorithm", b39, pp.1~38 (1977)
- E. Han, "Text Categorization Using Weight Adjusted k-Nearest Neighbor Classification", pp.53~65 (1991)
- T. Joachims, "Text categorization with support vector machines learning with many relevant features", pp.137~142 (1998)
- D. Johnson, "Symmetrizing the Kullback-Leibler Distance" (2001)
- M. Lindenbaum, "Selective Sampling for Nearest Neighbor Classifiers", pp.366~371 (1999)
- T. M. Mitchell, "Bayesian Learning", pp.154~200 (1997), McGraw-Hill
- K. Nigam, "Using Unlabeled Data to Improve Text Classification." (2001)
- D. D Lewis, "Reuters-21578 text categorization test collection" (1997)
- L. Ralaivola, "Incremental Support Vector Machine Learning: A Local Approach", 2130, pp.322~328 (2001)
- J. Rennie, "Tackling the poor assumptions of Naive Bayes text classifiers", pp.616~623 (2003)
- M. Sahami, "SONIA : A Service for Organizing Networked Information Autonomously", pp.200~209 (1998)
- K.M. Schneider, "Techniques for Improving the Performance of Naive Bayes for Text Classification", pp.682~693 (2005)
- Y. Yang, "A Comparative Study on Feature Selection in Text Categorization", pp.412~420 (1997)