특징 벡터의 effectiveness 요소 기반의 가중치 SVM 분류기 연구
A new classification model of weighted SVM based on effectiveness
0
조회
0
다운로드
9
인용
0
참고문헌
키워드
초록
본 논문은 최근 컴퓨터 비전 및 기계학습 분야에 활용되는 분류기 중 가장 널리 이용되는 SVM 분류기의 성능 향상을 위한 새로운 알고리즘을 제안한다. SVM 분류기의 기본적 개념은 분류함수에 대한 입력 특징 벡터의 soft 마진 비용을 최소화하는 것으로 정의할 수 있다. 이러한 접근법으로부터 구축된 분류 함수의 모델은 주어진 학습 데이터에 대한 효율적인 결정 경계를 제공하지만, 각 특징 벡터와 주변 특징 벡터 간의 구조적·분포적 특성을 반영할 수 없어 이상점에 의해 영향을 받게 된다. 본 연구에서는 이러한 SVM분류기가 갖는 단점을 보완하기 위해 각 특징 벡터의 분포에 따른 가중치를 부여하여 주변 특징 벡터들과의 나타나는 분포적 특징을 반영하도록 하였다. 또한 본 연구에서 정의한 effectiveness 요소를 통해 분류 모델의 결정 경계를 보다 효과적으로 선택할 수 있도록 하였다. 제안한 알고리즘의 성능 검증을 위해 MNIST 데이터에 대한 다 부류 분류를 수행하였으며, 그 결과 기존의 SVM 분류기보다 향상된 분류 성능을 달성하였다.
Abstract
In this paper, we proposed a new SVM model for classification based on analysis of weight and effectiveness of a certain feature vector. The standard SVM approach used a concept of minimization of geometric soft margin between input feature vector and classification function. Although the classical approach builds a classification function to pro-vide efficient decision boundary, this model is easily affected by outliers because each support vector cannot reflect structural or distributional properties of input data. To overcome defects of the classical SVM approach, a new model is derived from weighting scheme based on geometrical relation of nearby feature vectors and data distribution of input feature vectors. The proposed model was verified by using the effectiveness factor that helps to build classification function to provide effective global decision boundary. We evaluated our weighted SVM model using effectiveness factor for multi-class classification and achieved higher accuracy than classical SVM model using the MNIST dataset.
참고문헌 (19)
- R. O. Duda, "Pattern Classification" (2000), Wiley
- G. Bouchard, "The Trade-off between Generative and Discriminative Classifiers", Proc. of COMPSTAT (2004)
- K. P. Bennett, "Duality and Geometry in SVM Classifier", Proc. of ICML (2000)
- C. Domeniconi, "Adaptive Nearest Neighbor Classification using Support Vector Machine", Proc. of NIPS (2001)
- H. Zhang, "SVM-KNN: Discriminative Nearest Neighbor Classification for Visual Category Recognition", Proc. of CVPR (2006)
- D. Zhou, "Learning with Local and Global Consistency", Proc. of NIPS (2004)
- J. Bi, "Support Vector Classification with Input Data Uncertainty", Proc. of NIPS (2004)
- Y. .M. Huang, "Weighted Supported Vector Machine for Classification with Uneven Training Class Sizes", Proc. of ICMLC (2005)
- S. Maji, "Classification using Intersection Kernel Support Vector Machine is Efficient", Proc. of CVPR (2008)
- W. Zhang, "Power SVM: Generalization with Exemplar Classification Uncertainty", Proc. of CVPR (2012)
- C. .F. Lin, "Fuzzy Support Vector Machines", IEEE Transactions on Neural Networks, 13(2) (2012)
- T. Malisiewicz, "Ensemble of Exemplar-SVMs for Object Detection and Beyond", Proc. of ICCV (2011)
- S. Bengio, "Label embedding trees for large multi-class task", Proc. of NIPS (2010)
- Y. Bengio, "Curiculum Learning", Proc. of ICML (2009)
- J. Bi, "Support vector classification with input data uncertainty", Proc. of NIPS (2004)
- C. .C. Chang, "LIBSVM: A Library for Support Vector Machines", AVM Transaction on Intelligent Systems and Technology, 2(27) (2011)
- Y. LeCun, "Gradient-based learning applied to document recognition", Proc. of IEEE, 86(11) (1998)
- 나민영, "스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법", 한국차세대컴퓨팅학회 논문지, 8(4), pp.27~34 (2012), 한국차세대컴퓨팅학회
- 송규원, "Classifying Behavior Patterns of User Nodes", 한국차세대컴퓨팅학회 논문지, 8(3), pp.15~26 (2012), 한국차세대컴퓨팅학회