영어 구문 분석의 효율 개선을 위한 3단계 구문 분석
Three-Phase English Syntactic Analysis for Improving the Parsing Efficiency
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
영어 구문 분석기는 영한 기계번역 시스템의 성능에 가장 큰 영향을 미치는 부분이다. 본 논문에서의 영어 구문 분석기는 규칙 기반 영한기계번역 시스템의 한 부분으로서, 많은 구문 규칙을 구축하고 차트 파싱 기법으로 구문 분석을 수행한다. 구문 규칙의 수가 많기 때문에 구문분석 과정에서 많은 구조가 생성되는데, 이로 인해 구문 분석 속도가 저하되고 많은 메모리를 필요로 하여 번역의 실용성이 떨어진다. 또한 쉼표를 포함하는 긴 문장들은 구문 분석 복잡도가 매우 높아 구문 분석 시간/공간 효율이 떨어지고 정확한 번역을 생성하기 매우 어렵다. 본 논문에서는 실제 생활에서 나타나는 긴 문장들을 효율적으로 번역하기 위해 문장 분할 방법을 적용한 3단계 구문 분석 방법을 제안한다. 구문 분석의 각 단계는 독립된 구문 규칙들을 적용하여 구문 분석을 수행함으로써 구문 분석의 복잡도를 줄이려 하였다. 이를 위해 구문 규칙을 3가지부류로 분류하고 이를 이용한 3단계 구문 분석 알고리즘을 고안하였다. 특히 세 번째 부류의 구문 규칙은 쉼표로 구성되는 문장 구조에 대한규칙으로 구성되는데, 이들 규칙들을 말뭉치의 분석을 통해 획득하는 방법을 제안하여 구문 분석의 적용률을 지속적으로 개선하고자 하였다. 실험을 통해 제안한 방법이 문장 분할만을 적용한 기존 2단계 구문 분석 방법에 비해 유사한 번역 품질을 유지하면서도 시간/공간 효율 면에서우수함을 확인하였다.
Abstract
The performance of an English-Korean machine translation system depends heavily on its English parser. The parser in this paper is a part of the rule-based English-Korean MT system, which includes many syntactic rules and performs the chart-based parsing. The parser generates too many structures due to many syntactic rules, so much time and memory are required. The rule-based parser has difficulty in analyzing and translating the long sentences including the commas because they cause high parsing complexity. In this paper, we propose the 3-phase parsing method with sentence segmentation to efficiently translate the long sentences appearing in usual. Each phase of the syntactic analysis applies its own independent syntactic rules in order to reduce parsing complexity. For the purpose, we classify the syntactic rules into 3 classes and design the 3-phase parsing algorithm. Especially, the syntactic rules in the 3rd class are for the sentence structures composed with commas. We present the automatic rule acquisition method for 3rd class rules from the syntactic analysis of the corpus, with which we aim to continuously improve the coverage of the parsing. The experimental results shows that the proposed 3-phase parsing method is superior to the prior parsing method using only intra-sentence segmentation in terms of the parsing speed/memory efficiency with keeping the translation quality.
참고문헌 (19)
- Sung-Dong Kim, "Learning-based Intrasentence Segmentation for Efficient Parsing of Long Sentences", Journal of Machine Translation, 16(3), pp.151~174 (2001)
- 김성동, "효율적인 영어 구문 분석을 위한 최대 엔트로피 모델에 의한 문장 분할", 정보과학회논문지 : 소프트웨어 및 응용, 32(5), pp.385~395 (2005), 한국정보과학회
- Hye-Kyum Kim, "Tree Tagging Tool using Two-phrase Parsing", Proceedings of the 17th Annual Conference on Human & Cognitive Language Technology (HCLT 2005) (2005)
- M. Jin, "Two-Phase Shift-Reduce Deterministic De pendency Parser of Chinese", Proceedings of the 2nd International Joint Conference on Natural Language Processing (IJCNLP) (2005)
- Joseph Turial, "Constituent Parsing By Classification", PhD, Computer Science Department, pp.2007
- Xiao Chen, "Discriminative Constituent Parsing with Localized Features", PhD, pp.2012
- J. Nivre, "Deterministic dependency parsing of English text", Proceedings of the 20th International Conference on Computational Linguistics, pp.64~70 (2004)
- A. Michael, "Fundamental Algorithm for Dependency Parsing", Proceedings of the 39th Annual ACM Southeast Conference, ed. John A. Miller and Jeffrey W. Smith, 95(102) (2001)
- L. Banarescu, "Abstract meaning representation for sembanking", Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, 178(186) (2013)
- J. Flanigan, "A discriminative graph-based parser for the abstract meaning representation", Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 1426(1436) (2014)
- C. Wang, "A transition-based algorithm for amr parsing", Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics, 366(375) (2014)
- M. Pust, "Using Syntax-Based Machine Translation to Parse English into Abstract Meaning Representation", Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, 1143(1154) (2015)
- V. Agel, "An International Handbook of Contemporary Research Volume II", pp.1081~1108 (2006), Mouton
- S. Abney, "Part-of-Speech Tagging and Partial Parsing", Corpus-Based Methods in Language and Speech, 118(136) (1996)
- B. Srinivas, "A lightweight dependency analyzer for partial parsing", Natural Language Engineering, 6(2), pp.113~138 (2000)
- H. Faili, "From Partial toward Full Parsing", Proceedings of the International Conference on Recent Advances on Natural Language Processing 2009, 71(75) (2009)
- Y. Oda, "Optimizing Segmentation Strategies for Simultaneous Speech Recognition", Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 551(556) (2014)
- 김성동, "규칙 기반 영한 기계번역 시스템의 영어 구문 규칙 관리 시스템", 정보과학회 컴퓨팅의 실제 논문지, 20(7), pp.398~407 (2014), 한국정보과학회
- 김성동, "효율적 영어 구문분석을 위한 유한 오토마타를 이용한 문장분할", 정보과학회 컴퓨팅의 실제 논문지, 19(4), pp.186~193 (2013), 한국정보과학회