한글 형태소 및 키워드 분석에 기반한 웹 문서 분류
Web Document Classification Based on Hangeul Morpheme and Keyword Analyses
3
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
최근 초고속 인터넷과 대용량 데이터베이스 기술의 발전으로 웹 문서의 양이 크게 증가하였으며, 이를 효과적으로 관리하기 위하여 문서의주제별 자동 분류가 중요한 문제로 대두되고 있다. 본 연구에서는 한글 형태소 및 키워드 분석에 기초한 문서 특성 추출 방법을 제안하고, 이를 이용하여 웹 문서와 같은 비구조적 문서의 주제를 예측하여 문서를 자동으로 분류하는 방법을 제시한다. 먼저, 문서 특성 추출을 위하여 한글 형태소 분석기를 사용하여 용어를 선별하고, 각 용어의 빈도와 주제 분별력을 기초로 주제 분별 용어인 키워드 집합을 생성한 후, 각 키워드에 대하여 주제 분별력에 따라 점수화한다. 다음으로, 추출된 문서 특성을 기초로 상용 소프트웨어를 사용하여 의사 결정 트리, 신경망 및SVM의 세 가지 분류 모델을 생성하였다. 실험 결과, 제안한 특성 추출 방법을 이용한 문서 분류는 의사 결정 트리 모델의 경우 평균Precision 0.90 및 Recall 0.84 로 상당한 정도의 분류 성능을 보여 주었다.
Abstract
With the current development of high speed Internet and massive database technology, the amount of web documents increases rapidly,and thus, classifying those documents automatically is getting important. In this study, we propose an effective method to extract document features based on Hangeul morpheme and keyword analyses, and to classify non-structured documents automatically by predicting subjects of those documents. To extract document features, first, we select terms using a morpheme analyzer, form the keyword set based on term frequency and subject-discriminating power, and perform the scoring for each keyword using the discriminating power. Then, we generate the classification model by utilizing the commercial software that implements the decision tree, neural network, and SVM(support vector machine). Experimental results show that the proposed feature extraction method has achieved considerable performance, i.e., average precision 0.90 and recall 0.84 in case of the decision tree, in classifying the web documents by subjects.
참고문헌 (13)
- 성기윤, "개체명을 이용한 주제기반 웹 문서 클러스터링", 한국콘텐츠학회 논문지, 10(5), pp.29~36 (2010), 한국콘텐츠학회
- W. S. Bae, "Text Categorization using Topic Signature and Co-occurrence Features", Proc. of KCC2008, 35(1), pp.1~8 (2008)
- 정은경, "문서범주화 성능 향상을 위한 의미기반 자질확장에 관한 연구", 정보관리학회지, 26(3), pp.261~278 (2009), 한국정보관리학회
- Y. Yang, "A Comparative Study on Feature Selection in Text Categorization", Proc. of 14th Int. Conf. on Machine Learning, pp.412~420 (1997)
- Forman, G., "An extensive empirical study of feature selection metrics for text classification", J. Mach. Learn. Res, 3, pp.1289~1305 (2003)
- 남영준, "유사어 사전을 이용한 웹기반 질의문의 자동 범주화에 관한 연구", Journal of Information Science Theory and Practice, 35(4), pp.81~105 (2004), 한국과학기술정보연구원
- Y.J. Nam, "A study of Korean automatic indexing by morphological analysis", 박사, pp.1995
- D. Ludovic, "HMM-based Passage Models for Document Classification and Ranking", 23rd BCS European Annual Colloquium on Info. Retrieval (2001)
- W. Chen, "Automatic Word Clustering for Text Categorization Using Global Information", LNCS, 3411, pp.1~11 (2005)
- T. Theeramunkong, "Applying passage in Web text mining", Int. J of Intelligent Systems - Intelligent Technologies, 19(1), pp.149~158 (2004)
- 이재식, "사례기반 추론을 이용한 한글 문서분류 시스템", Asia Pacific Journal of Information Systems, 12(2), pp.179~195 (2002), 한국경영정보학회
- "KLT version 2.2.0" (2010)[URL]