본문 바로가기
KERD
논문KCI 등재

분야연상어를 이용한 화제분야의 계산방법과 단락검색

Passage Retrieval and Calculation Method of Topic Field by Using Field-Associated Terms

이상곤
한국정보처리학회|2005.02|정보처리학회 논문지 (The Transactions of the Korea Information Processing Society)|제12권 제1호|pp. 57-68

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

단락검색Passage Retrieval분야연상어화제분야의 추적방법화제분야의 계산방법Field-Associated TermTracing Topic FieldCalculation Method for Topic Field
주제분류컴퓨터학

초록

텍스트에 임베디드 되어 있는 부가적인 정보를 이용하여 문서의 실제적인 의미단위인 텍스트를 분리하는 단락검색은 중요한 기술이다. 본 논문에서는 문서의 분야에 적합한 단락만을 분리하여 사용자의 요구에 적합한 단락을 추출하는 기술을 설명한다. 문서에서 분야연상어를 추출하여, 각 문장마다 화제의 분야가 어떻게 커져가고, 줄어들고, 변화하여 가는지를 측정하는 방법을 실험을 통해 설명한다. 긴 문서에서 어떤 화제가 출현하는가를 파악하고, 화제가 계속되거나 혹은 전환되는 지점을 측정하고, 분야별로 단락을 구분하는 방법을 계산한다. 12,500개의 한국어 신문기사를 이용하여 실험한 결과 88%의 정확률과 78%의 재현율을 얻을 수 있었다.

Abstract

It is important to segment a text, which is independent upon any text-embedded auxiliary information. This paper presents a technique for dividing the text into field-coherent passages. The presented method is based upon extracting field-associated terms from the text measuring how the topics grow, shrink and shift from sentence to sentence. We propose measures of topic continuity and of topic transition and suggest how those could be used to find the boundaries among passages. After collecting 12,500 documents, we obtain 88% for average precision and 78% for recall in Korean training set.

참고문헌 (23)

  1. "Efficient String Matching：An Aid to Bibliographic Search Communications of the ACM", 18(6), pp.333~340 (1975)
  2. "Fast Automatic Passage Ranking", pp.~8 (1999)
  3. "Passage-Based Refinement" (1997)
  4. "Passage-based Query Refinement", 36(1), pp.133~153 (2000)
  5. "Retrieval of Passages for Information Reduction." (1997)
  6. "Efficient Passage Ranking for Document Databases", 17(4), pp.406~439 (1999)
  7. "Improv- ing a Basic Retrieval Method by Links and Passage Level Evidence.", pp.~3 (1994)
  8. "Efficient Document Presentation with a Locality-Based Similarity Heuristic."
  9. "Passage-Level Document Retrieval Using Lexical Chains.", 6(3), pp.101~126 (1999)
  10. "A Flexible Model for Retrieval of SGML Documents."
  11. "Extraction of Field- coherent Passages", 38(2), pp.173~207 (2002)
  12. "Passage Segmentation based on Topic Matter", 15(3), pp.305 2002~339
  13. "Cross-language Multi-media Information Retrieval System：BOSS", 1, pp.245~248 (1999)
  14. "Passage Retrieval based on Topic-Matter", 1, pp.193~198 (2001)
  15. "Multi-lingual Multi-media Information Retrieval System", 1, pp.171~178 (1999)
  16. "Effective Retrieval of Structured Documents. The Proceeding of 17th Annual Inter- national ACM Special Interest Group on Information Retrieval Conference on Research and Development in Information Retrieval Research"
  17. "An Evaluation of Passage-Level Indexing Strategies for a Technical Report Archive. LIBRES：", 8(1), pp.194~218 (1998)
  18. "Experimental Study on Paragraphing Japanese Sentences Using Cue Words. The Proceedings of the First Annual Meeting of the Association for Natural Language Processing. Vol.84-9" (1991)
  19. "Passage Feedback with IRIS An International", 37(3), pp.521~541 (2001)
  20. "Efficient Retrieval of Partial Documents. An International", 31(3), pp.361~377 (1995)
  21. "분야연상어를 이용한 화제의 계속성과 전환성을 추적하는 단락분할 방법", 10(1), pp.57~66 (2003)
  22. "분야연상어의 수집과 추출 알고리즘", 10(3), pp.347~358 (2003)
  23. "현대용어의 기초지식" (1997)

관련 논문AI추천

분야연상어를 이용한 화제의 계속성과 전환성을 추적하는 단락분할 방법이상곤한국정보처리학회 · 정보처리학회 논문지2003 · 제10권 제1호의미 기반 문단 분할을 활용한 문단 기반 K-Means 클러스터링김재호, 박사준한국지식정보기술학회 · 한국지식정보기술학회 논문지2017 · 제12권 제1호문단 단위 가중치 함수와 문단 타입을 이용한 문서 범주화김진숙, 주원균, 최기석한국정보처리학회 · 정보처리학회 논문지2005 · 제12권 제6호분야연상어의 수집과 추출 알고리즘이상곤, 이완권한국정보처리학회 · 정보처리학회 논문지2003 · 제10권 제3호대용량 문서 검색을 위한 의미 흐름 기반 클러스터링박사준한국지식정보기술학회 · 한국지식정보기술학회 논문지2013 · 제8권 제4호논문에서의 핵심구 추출을 위한 단어 및 구 유형 용어의 가중치 조정강인수한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2021 · 제26권 제8호

이 간행물의 다른 논문 (11건)

영상처리 알고리즘 개발을 위한 소프트웨어형상 관리시스템채옥삼, 이정헌pp. 1-8얼굴인증 방법들의 조명변화에 대한 견인성 비교 연구나승유, 김진영, 고대영pp. 9-16영상처리를 이용한 도서 위치 추정 시스템조동욱pp. 17-24대용량 분류에서 SVM과 신경망의 성능 비교이진선, 김영원, 오일석pp. 25-30컬러 인접성과 클러스터링 기법을 이용한 객체 기반 영상 검색문영식, 박기태, 이형진pp. 31-38
원문 보기