본문 바로가기
KERD
논문KCI 등재

문단 단위 가중치 함수와 문단 타입을 이용한 문서 범주화

Automatic Text Categorization Using Passage-based Weight Function and Passage Type

김진숙|최기석|주원균
한국정보처리학회|2005.10|정보처리학회 논문지 (The Transactions of the Korea Information Processing Society)|제12권 제6호|pp. 703-714

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

문단Text CategorizationPassage페이지PageParagraph단락 검색문서 범주화비중첩 윈도우중첩 윈도우경계 단락텍스트 타일문단 가중치 함수Non-overlapping WindowOverlapping WindowPassage RetrievalTextTilePassage Weight Function
주제분류컴퓨터학

초록

문서 범주화 분야에 대한 연구들은 전체 문서 단위에 한정되어 왔으나, 오늘날 대부분의 전문들이 주요 주제들을 표현하기 위해서 조직화 된 특정 구조로 기술되고 있어, 텍스트 범주화에 대한 새로운 인식이 필요하게 되었다. 이러한 구조는 부주제(Sub-topic)의 텍스트 블록이나 문단(Passage) 단위의 나열로서 표현되는데, 이러한 구조 문서에 대한 부주제 구조를 반영하기 위해서 문단 단위(Passage-based) 문서 범주화 모델을 제안한다. 제안한 모델에서는 문서를 문단들로 분리하여 각각의 문단에 범주(Category)를 할당하고, 각 문단의 범주를 전체 문서의 범주로 병합하는 방법을 사용한다. 전형적인 문서 범주화와 비교할 때, 두 가지 부가적인 절차가 필요한데, 문단 분리와 문단 병합이 그것이다. 로이터(Reuter)의 4가지 하위 집합과 수십에서 수백 KB에 이르는 전문 테스트 컬렉션(KISTI-Theses)을 이용하여 실험하였는데, 다양한 문단 타입들의 효과와 범주 병합 과정에서의 문단 위치의 중요성에 초점을 맞추었다. 실험한 결과 산술적(Window) 문단이 모든 테스트 컬렉션에 대해서 가장 좋은 성능을 보였다. 또한 문단은 문서 안의 위치에 따라 주요 주제에 기여하는 바가 다른 것으로 나타났다.

Abstract

Researches in text categorization have been confined to whole-document-level classification, probably due to lacks of full-text test collections. However, full-length documents available today in large quantities pose renewed interests in text classification. A document is usually written in an organized structure to present its main topic(s). This structure can be expressed as a sequence of sub-topic text blocks, or passages. In order to reflect the sub-topic structure of a document, we propose a new passage-level or passage-based text categorization model, which segments a test document into several passages, assigns categories to each passage, and merges passage categories to document categories. Compared with traditional document-level categorization, two additional steps, passage splitting and category merging, are required in this model. By using four subsets of Reuters text categorization test collection and a full-text test collection of which documents are varying from tens of kilobytes to hundreds, we evaluated the proposed model, especially the effectiveness of various passage types and the importance of passage location in category merging. Our results show simple windows are best for all test collections tested in these experiments. We also found that passages have different degrees of contribution to main topic(s), depending on their location in the test document.

참고문헌 (25)

  1. C, "Towards Language Independent Automated Learning of Text Categorization Models Proceedings of the 17th Annual International ACM", SIGIR Conference on Research and Development in Information Retrieval, 1994., 23~30
  2. Baker, "Distributional Clustering of Words for Text Classification", pp.96~103 (1998)
  3. Callan,J. P, "Passage Retrieval Evidence in Document Retrieval", pp.302~310 (1994)
  4. Hearst, "Subtopic Structuring for Full-length Document Access", pp.59~68 (1993)
  5. Hearst,, "Multi-paragraph Segmentation of Expository Texts", pp.9~16 (1994)
  6. Kaszkiel, "Efficient Passage Ranking for Document Databases", 17(4), pp.406~439 (1999)
  7. Kaszkiel, "Effective Ranking with Arbitary Passages", 52(4), pp.344~364 (2001)
  8. Larkey, "Combining Classifiers in Text Categorization", pp.289~297 (1996)
  9. Moffat,, "Retrieval of Partial Documents", pp.181~190 (1994)
  10. Salton, "Approaches to Passage Retrieval in Full Text Information Systems", pp.49~58 (1993)
  11. Sebastiani,, "Machine Learning in Automated Text Categorization", 34(1), pp.1~47 (2002)
  12. van Rijsbergen,C, "Information Retrieval" (1979)
  13. Witten, "Managing Gigabytes: Compressing and Indexing Documents and Images" (1999), Morgan Kaufmann Publishing
  14. Yang, "Effective and Efficient Learning from Human Decisions in Text Categorization and Retrieval Proceedings of the 17th Annual International ACM", SIGIR Conference on Research and Development in Information Retrieval, 1994., 13~22
  15. Yang, "A Comparative Study on Feature Selection in Text Categorization", pp.412~420 (1997)
  16. Yang,Y, "An Evaluation of Statistical Approaches to Text Categorization", 1(1), pp.67~88 (1999)
  17. Yang, "A Study of Approaches to Hypertext Categorization", 17(2), pp.219~241 (2002)
  18. Zobel. J, "Efficient Retrieval of Partial Documents", 31(3), pp.361~377 (1995)
  19. Callan J, "Characteristics of text" (1997)
  20. Harman D, "The DARPA Tipster Project", 26(2), pp.26~28 (1992)
  21. Kaszkiel M.,Zobel J.,Davis Sacks-R, "Efficient passage ranking for document databases", 17(4), pp.406~439 (1999)
  22. Wilkinson R, "Effective Retrieval of structured documents" (1994)
  23. Ludovic D.,, "HMM-based Passage Models for Document Classification and Ranking" (2001)
  24. Cehn W, "Automatic Word Clustering for Text Categorization Using Global Information"
  25. Thanaruk T, "Applying passage in Web text mining International", 19(1-2), pp.149~158 (2004)

관련 논문AI추천

분야연상어를 이용한 화제분야의 계산방법과 단락검색이상곤한국정보처리학회 · 정보처리학회 논문지2005 · 제12권 제1호문서 범주화 효율성 제고를 위한 정보원 평가에 관한 연구정은경한국정보관리학회 · 정보관리학회지2007 · 제24권 제4호의미 기반 문단 분할을 활용한 문단 기반 K-Means 클러스터링김재호, 박사준한국지식정보기술학회 · 한국지식정보기술학회 논문지2017 · 제12권 제1호논문에서의 핵심구 추출을 위한 단어 및 구 유형 용어의 가중치 조정강인수한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2021 · 제26권 제8호용어 가중치부여 기법을 이용한 로치오 분류기의 성능 향상에 관한 연구김판준한국정보관리학회 · 정보관리학회지2008 · 제25권 제1호용어의 문맥활용을 통한 문헌 자동 분류의 성능 향상에 관한 연구송성전, 정영미한국정보관리학회 · 정보관리학회지2012 · 제29권 제2호

이 간행물의 다른 논문 (24건)

인덱스 변환 함수를 이용한 벡터 양자화 기반의 견고한 다중 워터마킹 방법배성호, 송근원pp. 513-520문자 별 특징 모델을 이용한 한글 문서 영상에서 키워드 검색김수형, 최덕재, 박상철pp. 521-526상대거리-곡률 특징 공간을 이용한 형태 기술 및 인식김민기pp. 527-534과학적 가시화를 위한 증강 협업 환경 디자인에 관한 연구박경신pp. 535-542유동적인 배경 텍스쳐 분석을 통한 DSA 기반의 관상동맥 검출이근수, 김계영, 이중재, 박성호pp. 543-552
원문 보기