웹 문서 클러스터링에서의 자질 필터링 방법
Feature Filtering Methods for Web Documents Clustering
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
색인전문가에 의해 분류된 웹문서들을 통계적 자질 선택방법으로 자질을 추출하여 클러스터링을 해 보면, 자질 선택에 사용된 데이터셋에 따라 성능과 결과가 다르게 나타난다. 그 이유는 많은 웹 문서에서 문서의 내용과 관계없는 단어들을 많이 포함하고 있어 문서의 특징을 나타내는 단어들이 상대적으로 잘 두드러지지 않기 때문이다. 따라서 클러스터링 성능을 향상시키기 위해 이런 부적절한 자질들을 제거해 주어야 한다. 따라서 본 논문에서는 자질 선택에서 자질의 문서군별 자질값뿐만 아니라, 문서군별 자질값의 분포와 정도, 자질의 출현여부와 빈도를 고려한 자질 필터링 알고리즘을 제시한다. 알고리즘에는 (1)단위 문서 내 자질 필터링 알고리즘(FFID:feature filtering algorithm in a document), (2)전체 데이터셋 내 자질 필터링 알고리즘(FFIM:feature filtering algorithm in a document matrix), (3)FFID와 FFIM을 결합한 방법(HFF:a hybrid method combining both FFID and FFIM)을 제시한다. 실험은 단어빈도를 이용한 자질선택 방법, 문서간 동시-링크 정보의 자질확장, 그리고 위에서 제시한 3가지 자질 필터링 방법을 사용하여 클러스터링 했다. 실험 결과는 데이터셋에 따라 조금씩 차이가 나지만, FFID보다 FFIM의 성능이 좋았고, 또 FFID와 FFIM을 결합한 HFF 결과가 더 나은 성능을 보였다.
Abstract
Clustering results differ according to the datasets and the performance worsens even while using web documents which are manually processed by an indexer, because although representative clusters for a feature can be obtained by statistical feature selection methods, irrelevant features(i.e., non-obvious features and those appearing in general documents) are not eliminated. Those irrelevant features should be eliminated for improving clustering performance. Therefore, this paper proposes three feature-filtering algorithms which consider feature values per document set, together with distribution, frequency, and weights of features per document set:(1) features filtering algorithm in a document (FFID), (2) features filtering algorithm in a document matrix (FFIM), and (3) a hybrid method combining both FFID and FFIM (HFF). We have tested the clustering performance by feature selection using term frequency and expand co link information, and by feature filtering using the above methods FFID, FFIM, HFF methods. According to the results of our experiments, HFF had the best performance, whereas FFIM performed better than FFID.
참고문헌 (17)
- 이재윤, "자질값투표 기법과 문서측 자질 선정을 이용한 고속 문서 분류기", pp.71~78 (2005)
- 정영미, "지식 분류의 자동화를 위한 클러스터링 모형 연구", 18(2), pp.203~230 (2001)
- 고영중, "문서 관리를 위한 자동 문서 범주화에 대한 이론 및 기법 정보관리연구논문지", 33(2), pp.16~32
- 국민상, "자질선정에 따른 Nave Bayesian 분류기의 성능 비교", pp.33~36 (2000)
- 이원희, "웹 문서의 단어정보와 링크정보 결합을 이용한 클러스터링 기법", pp.101~107 (2003)
- H.Yaun, "A two-phase feature selection method using both filter and wrapper", 2, pp.132~136 (1999)
- Heum Park, "A Feature Selection for Korean Web Document Clustering" (2004)
- Hall, "Correlation-based feature selection of discrete and numeric class machine learning", pp.359~366 (2000), Morgan Kaufmann Publishers
- A.Y. Ng, "On feature selection : learning with exponentially many irrelevant features as training examples", pp.404~412 (1998)
- Zhao, "Criterion functions for document clustering-experiment and analysis" (2001)
- Zhao, "Evaluation of hierarchical clustering algorithms for document datasets" (2002)
- Karypis, "CLUTO : A Clustering Toolkit" (2002)
- Zhi-Hong Deng, "Two Odds-Radio-Based Text Classification Algorithms", pp.223~231 (2002)
- Brank, "Interaction of feature selection methods and linear classification models" (2002)
- Y. Yang, "A comparative study on feature selection in text categorization", pp.412~420 (1997)
- Kyo-Woon Lee, "Clustering of Web Documents with the Use of Term Frequency and Co-link in Hypertext" (2003)
- Kyo-Woon Lee, "Clustering of Web Documents with the Use of Term Frequency and Co-link in Hypertext" (2003)