STW를 이용한 웹 문서 장르 분류에 관한 연구
A Research for Web Documents Genre Classification using STW
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
웹 문서의 지속적인 증가로 인해 텍스트 기반, Page Rank 등의 방법으로 한 연구들이 증가하고 있다. 특히 웹 문서 내 URL 정보, HTML Tag 정보 등을 활용하는 연구들이 다시 주목을 받고 있다. 따라서 웹 문서 장르 분류를 위해 앞서 언급한 웹 문서 내 특징 요소들을 바탕으로 본 논문에서는 STW(Semantic Term Weight)를 적용하여 웹 문서 장르 분류하는 연구를 기술한다. 웹 문서 장르분류에 사용되는 데이터 셋은 학습 문서와 테스트 문서로 구성되고, SVM 알고리즘을 사용하여 웹 문서 분류 실험을 수행한다. 학습 과정을 위해 20-Genre-collection corpus 내 1,000여개의 문서를 선정하여 SVM 알고리즘을 통해 학습하였고, 테스트 과정에서 사용된 데이터 셋은 KI-04 corpus를 사용하였다. 테스트 과정 후 STW를 사용한 실험과 STW를 사용하지 않은 실험으로 분류하여 정확도를 측정하였다. 또한 이를 바탕으로 1,212개의 테스트 문서를 분류하였다. 그 결과 STW를 사용한 실험이 그렇지 않은 실험 보다 약 10.2% 높은 정확도를 보였다.
Abstract
Many researchers have been studied to reveal human natural language to let machine understand its meaning by text based, page rank based or more. Particularly, it has been considered that URL and HTML Tag information in web documents are attracting people’s attention again to analyze huge amount of web document automatically. In this paper, we propose a STW (Semantic Term Weight) approach based on syntactic and linguistic structure of web documents in order to classify what genres are. For the evaluation, we analyzed more than 1,000 documents from 20-Genre-collection corpus for training the documents based on SVM algorithm. Afterwards,we tested KI-04 corpus to evaluate performance of our proposed method. This paper measured their accuracy by classifying them into an experiment using STW and one without using STW. As the results, the proposed STW based approach showed approximately 10.2% which is higher than one without use of STW.
참고문헌 (15)
- Boese, E. S., "Effects of web document evolution on genre classification", CIKM’05 Proceedings of the 14th ACM international conference on Information and knowledge management, pp.632~639 (2005)
- 임철수, "웹 검색 시스템을 위한 자동 문서 장르 분류", 박사, 전자전산학과, pp.2005
- 이용배, "장르분류 모델의 도메인 변경에 따른 적응력 분석", 정보과학회논문지 : 소프트웨어 및 응용, 38(8), pp.441~451 (2011), 한국정보과학회
- Biber, "The Multidimensional approach to linguistic analyses of genre vari-ation : An overview of methodology and finding", Computer in the Humanities, 26(5-6), pp.331~347 (1992)
- A. McCallum, "Building Domain-Specific Search Engines with Machine Learning Techniques", Proceeding AAAI Symp. Intelligent Agents in Cyberspace, pp.28~39 (1999), AAAI Press
- Stamatatos, E., "Automatic text categorization in terms of genreand author", Computational Linguistics, 26(4), pp.471~495 (2000)
- Stamatatos, E., "Text genre detection using Com-mon word frequencies", In Proceedings of the International Conferenceon Computational Linguistics (COLING2000), pp.808~814 (2000)
- Kessler, Brett, "Automatic detection of text genre", Proceedings ofthe Thirty-Fifth Annual Meeting of the Associationfor Computational Linguistics and Eighth conferenceof the European Chapter of the Association forComputational Linguistics, pp.32~38 (1997), Association for Computational Linguistics
- 황명권, "지능적인 웹 검색을 위한 의미적 문서 태깅 방법 연구", 박사, pp.2010
- Kraaij, Wessel, "The importance of prior probabilities for entry page search", In proceedings of the 25th Annual International ACM SIGIR Conference on Research and development in information retrieval, pp.27~34 (2002)
- Karlgren, Jussi, "Iter-ative information retrieval using fast clustering and usage-specific genres", In Proceedings of the Eighth DELOS Workshop on User Interfaces in Digital Libraries, pp.85~92 (1998)
- Vedrana Vidulin, "Multi-Label Approaches to Web Genre Identification", Journal for Language Technology and ComputationalLinguistics, 24(1), pp.97~144 (2009)
- Eissen, S. M. Z., "Genre Classification of web pages: User study and feasibility analysis, In Advances in Artificial Intelligence", pp.256~269 (2004)
- K. Crowston, "Reproduced and emergent genres of communication on the worldwide web", In proceedings of the 30th Hawaiian International Conference on System Sciences, pp.201~215 (2000)
- Rosso, M. A., "User-based identification of Web genres", Journal of the American Society for Information Science and Technology, 59(7), pp.1053~1072 (2008)