본문 바로가기
KERD
논문

한글 웹 문서 클러스터링 성능향상을 위한 자질선정 기법 비교 연구

Comparative Study of Feature Selection Methods for Korean Web Documents Clustering

김영기
한국문헌정보학회|2005.03|한국문헌정보학회지 (Journal of the Korean Society for Library and Information Science)|제39권 제1호|pp. 45-58

1

조회

0

다운로드

1

인용

0

참고문헌

키워드

Clustering클러스터링자질선정 기법한글 웹 문서최댓값 자질선정 기법Feature Selection MethodsKorean Web DocumentsMax Feature Selection
주제분류문헌정보학

초록

이 연구는 한글 웹 문서를 클러스터링 하기 위한 자질 선정 방법에 대한 비교연구이다. 이 연구에는 두 개의 코퍼스가 사용되었 다. 클러스터링을 위한 실험 문서는 Naver의 자연과학 범주에서, 자질 선정을 위한 학습문서는 Yahoo Korea의 같은 범주에서 수 집하였다. 우선 실험 문서를 단어자질과 동시링크, 그리고 이 둘을 혼합한 방법으로 클러스터링 한 다음 그 성능을 비교하였다. 다 음으로 학습문서에서 카이제곱 통계량(X2), 정보획득량(IG), 그리고 상호정보량(MI)을 이용하여 용어자질을 선정한 다음, 이를 실험문서에 적용하여 클러스터링 성능을 비교하였다. 여기에 각 범주별로 최댓값을 갖는 용어들만을 해당 범주를 대표하는 자질로 선정하는 ‘최댓값 자질 선정기법’을 실험적으로 도입하여 적용해 보았다. 실험 결과 사용된 자질에 따른 한글 웹 문서 클러스터링 정확률은 자연어 72.3%, 동시링크 74.3%, 단어-링크 혼합 74.8%, X2 79.6%, Max X2 83.8%로 나타났다. 전통적 자질 선정 기 법 중에서는 X2가 약간 나은 성능을 보여 주었지만 큰 차이는 발견되지 않았다. 그러나 최댓값 자질 선정기법을 적용하였을 때 클 러스터링 성능은 크게 향상되었다. 이 논문에서 제안된 최댓값 자질 선정 기법은 웹 문서의 자질 공간 축소와 한글 웹 문서의 클러 스터링을 위한 간단하면서도 효과적인 수단이다.

Abstract

This paper is a comparative study of feature selection methods for Korean web documents clustering. First, we focused on how the term feature and the co-link of web documents affect clustering performance. We clustered web documents by native term feature, co-link and both, and compared the output results with the originally allocated category. And we selected term features for each category using X2, Information Gain (IG), and Mutual Information (MI) from training documents, and applied these features to other experimental documents. In addition we suggested a new method named Max Feature Selection, which selects terms that have the maximum count for a category in each experimental document, and applied X2 (or MI or IG) values to each term instead of term frequency of documents, and clustered them. In the results, X2 shows a better performance than IG or MI, but the difference appears to be slight. But when we applied the Max Feature Selection Method, the clustering performance improved notably. Max Feature Selection is a simple but effective means of feature space reduction and shows powerful performance for Korean web document clustering.

참고문헌 (25)

  1. "문서관리를 위한 자동문서범주화에 대한 이론 및 기법." (2002)
  2. "동시링크를 이용한 웹 문서 클러스터링 실험.", pp.233~253 (2003)
  3. "웹 문서중 의미 있는 표의 추출.", pp.332~339 (2002)
  4. "“Distributional clusteringof words for text classification Proc. of the 21th Annual InternationalACM-SIGIR." (1998)
  5. "“Information Retrieval on the World Wide Web and Active Logic" (2003)
  6. "ACognitive perspective on search enginetechnology and the WWW.Cambridge University Press." (2000)
  7. "“Syntacticclustering of the Web", pp.391~404 (1997)
  8. "Proc. of International Conferenceon SIGMOD '98", pp.307~318 (1998)
  9. "Proceedings of the 7th InternationalWWW Conference." (1998)
  10. ".“web document clustering usinghyperlink structures 19-45.", 41 (2002)
  11. "A Study ofUser Queries On The Web"
  12. "Department of ComputerScience University of Minnesota." (2002)
  13. "“Trawlingthe Web for emerging cybercommunities Proceedings of the8th WWW Conference." (1999)
  14. "R. R. “Bibliometrics of theWorld Wide Web An ExploratoryAnalysis of the Intellectual Structureof Cyberspace Proceedings of the1996 American Society for InformationScience Annual Meeting." (1996)
  15. "“Clustering ofweb documents with the use ofterm frequency and co-link inhypertext The 3rd Asia PacificInternational symposium on InformationTechnology", pp.122~127 (2004)
  16. "“A comparison of two learningalgorithms for text categorization Proc. of the 3rd AnnualSymposium on Document Analysisand Information Retrieval", pp.96~103 (1998)
  17. "“Training algorithms for lineartext classifier Proc. of the 19thAnnual International ACM-SIGIR", pp.298~315 (1996)
  18. "“Organizing topicspecificWeb information", pp.133~141 (2000)
  19. "“WTMS: a system for collecting and analyzing topicspecific Web information"", pp.457~471 (2000)
  20. "Proceedings of the Conference onHuman Factors in Computing Systems", pp.213~220
  21. "1973. “Co-citation in the scientificliterature A new measure ofthe relationship between two documents Journal of American societyfor Information Science. vol.24", pp.265~269
  22. "“Webpage clustering using a self-organizing map of user navigation patterns", 35, pp.245~256 (2003)
  23. "Second InternationalConference on Advancesin Web - Age Information management"
  24. "1997.“A comparative study on featureselection in text categorization Proceeding of ICML-97 14th InternationalConference on MachineLearning."
  25. "“Criterionfunctions for document clustering- experiment and analysis Department of Computer Science University of Minnesota" (2001)

관련 논문AI추천

웹 문서 클러스터링에서의 자질 필터링 방법박흠, 권혁철한국정보처리학회 · 정보처리학회 논문지2006 · 제13권 제4호자질 선정 기준과 가중치 할당 방식간의 관계를 고려한 문서 자동분류의 개선에 대한 연구이재윤한국문헌정보학회 · 한국문헌정보학회지2005 · 제39권 제2호단어 중의성 해소를 위한 지도학습 방법의 통계적 자질선정에 관한 연구이용구한국비블리아학회 · 한국비블리아학회지2011 · 제22권 제2호텍스트 분류를 위한 자질 순위화 기법에 관한 연구김판준한국정보관리학회 · 정보관리학회지2023 · 제40권 제1호자질선정을 통한 국내 학술지 논문의 자동분류에 관한 연구김판준한국정보관리학회 · 정보관리학회지2022 · 제39권 제1호문서 군집화의 정확률 향상을 위한 범용어 수집과 문서 재분류 알고리즘신준철, 옥철영, 이응봉한국정보처리학회 · 정보처리학회 논문지2012 · 제19권 제1호

이 간행물의 다른 논문 (12건)

문헌정보학 교육과정의 특성화된 프로그램 개발 및 활용에 관한 연구노영희pp. 59-80대학사서의 교수지위에 관한 연구이숙희pp. 81-103일본의 학교도서관 발전에 미치는 문고운동의 영향권은경pp. 105-126유비쿼터스 도서관 시대의 정보서비스에 관한 고찰고성순, 강혜영pp. 127-145한국의 보편적 서비스정책과 남북한 통일: 정책분석정분희pp. 147-166
원문 보기