메타 검색에서 외래어 질의 정제 효과
The Refinement Effect of Foreign Word Transliteration Query on Meta Search
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
문서에서 외래어가 일관되게 사용되지 않고 여러 이형태로 사용되고 있기 때문에, 정확한 질의어 일치를 지원하는 검색 시스템에서 외래어 질의로 문서를 검색하는데 어려움이 많다. 본 논문에서는 하나의 외래어로 질의할 경우, 원 질의어와 같은 뜻의 다양한 이형태 외래어 질의로 자동 확장하고 정제하여 더 많은 관련 문서를 손쉽게 검색할 수 있는 메타 검색 방법을 제안한다. 이 방법은 1차로 원 질의어에서 다양한 외래어 이형태를 통계적 방법으로 확장하고, 2차로 그 결과를 각 검색 엔진에게 질의하여 일정 개수 이상의 질의어가 문서에 나타났는지, 원 질의어의 문맥과 유사한 문맥에서 그 질의어가 쓰였는지를 비교하여, 같은 뜻의 유효한 외래어를 판별해 내고 이를 이용하여 검색할 수 있도록 한다. 실험 결과, 기준점으로 쓰인 1차로 만든 이형태로 검색했을 때 F값은 평균 38%이었으나, 제안된 방법인 2차로 정제된 질의어로 검색했을 때의 F값은 평균 81%로 매우 향상된 결과를 보였다.
Abstract
Foreign word transliterations are not consistently used in documents, which hinders retrieving some important relevant documents in exact term matching information retrieval systems. In this paper, a meta search method is proposed, which expands and refines relevant variant queries from an original input foreign word transliteration query to retrieve the more relevant documents. The method firstly expands a transliteration query to the variants using a statistical method. Secondly the method selects the valid variants: it queries each variant to the retrieval systems beforehand and checks the validity of each variant by counting the number of appearance of the variant in the retrieved document and calculating the similarity of the context of the variant. Experiment result showed that querying with the variants produced at the first step, which is a base method of the test, performed 38% in average F measure, and querying with the refined variants at the second step, which is a proposed method, significantly improved the performance to 81% in average F measure.
참고문헌 (17)
- Jeong, K, "Automatic Identification and Back-Transliteration of Foreign Words for Information Retrieval", Information Processing and Management, 35(4), pp.523~540 (1999)
- Lee, J. S, "English to Korean Statistical Transliteration for Information Retrieval", Computer Processing of Oriental Languages, 12(1), pp.17~37 (1998)
- 이재성, "다국어 정보검색을 위한 영한 음차 표기 및 복원 모델", 박사, pp.1999
- 이희승, "한글 맞춤법 강의-고친판" (1994), 신구문화사
- 이현복, "외래어 표기법 개정 시안의 문제점,어학연구 15.1", 39~59 (1979)
- 지능형 정보처리기의 개발에 관한 연구,제 1차년도 최종 보고서, "SERI", KIST, 1995
- 강병주, "외국어 음차 표기의 음성적 유사도 비교 알고리즘", 정보과학회 논문지(B), 26(10), pp.1237~1246 (1999)
- 강병주, "한국어 정보검색에서 외래어와 영어로 인한 단어 불일치문제의 해결", 박사, pp.2001
- Cheon, S. M, "Construction of English Loanwords Contents for the Development of Educational Tools: a Step Towards the Prosperity of CALL Courseware", Ph. D, pp.2005
- Mettler, M, "TRW Japanese Fast Data Finder", TIPSTER Text Program Phase I Proc, pp.113~116 (1993)
- 김병혜, "영어단어의 알파벳표기로부터 한글표기로의 자동변환", 석사, pp.1991
- 이재성, "효과적인 외래어 이형태 생성을 위한 확률 문맥 의존 치환 방법", 한국콘텐츠학회 논문지, 7(2), pp.73~83 (2007), 한국콘텐츠학회
- Aslam, J. A, "Models for metasearch", Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval, pp.276~284 (2001)
- Salton, G, "Automatic Text Processing - The transformation, analysis, and retrieval of information by computer", pp.318~319 (1989), Addison Wesley Publishing Company
- [URL]
- [URL]
- Manning, C, "Foundations of Statistical Natural Language Processing", pp.268~269 (1999), The MIT Press