이중 언어 기반 패러프레이즈 추출을 위한 피봇 차별화 방법
Pivot Discrimination Approach for Paraphrase Extraction from Bilingual Corpus
2
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
패러프레이즈는 같은 의미를 다른 단어를 사용하여 표현한 것을 말한다. 패러프레이즈는 일상적인 언어생활에서도 흔히 관측되며 자연어처리 분야에서 다양하게 활용할 수 있다. 특히 최근에는 통계적 기계 번역 분야에서 데이터 부족 문제를 보완하여 번역 성능을 향상시키기 위해 패러프레이즈를 활용한 연구가 많다. 이중 언어 병렬 말뭉치를 이용하는 패러프레이즈 추출 과정에서는 일반적으로 다른 언어를 피봇으로 사용하기 때문에 단어 정렬 및 구 정렬 과정을 두 번 거친다. 따라서 단어 정렬의 오류가 패러프레이즈로 전파될 수 있다. 특히 한국어와 영어와 같이 언어의 구조적인 차이가 큰 경우에는 단어 정렬 오류가 더 심각하기 때문에 피봇 프레이즈부터 잘못 추출되는 경우가 많아진다. 이러한 문제를 보완하기 위해 본 논문에서는 패러프레이즈 추출 과정에서 피봇 프레이즈를 차별화하는 방안으로서 어휘, 품사 정보를 이용해 올바른 피봇 프레이즈에 더 높은 가중치를 부여하는 방법을 제안한다. 실험 결과, 제안하는 피봇 가중치 부여 방법을 기존의 패러프레이즈 추출 방법에 추가했을 때 패러프레이즈 추출 정확률과 재현율이 모두 향상됨을 확인할 수 있었다. 또한, 제안하는 방법을 통해 추출한 패러프레이즈를 한영 기계 번역 시스템에서 활용하였을 때 번역률이 향상됨을 확인할 수 있었다.
Abstract
Paraphrasing is the act of writing a text using other words without altering the meaning. Paraphrases can be used in many fields of natural language processing. In particular, paraphrases can be incorporated in machine translation in order to improve the coverage and the quality of translation. Recently, the approaches on paraphrase extraction utilize bilingual parallel corpora, which consist of aligned sentence pairs. In these approaches, paraphrases are identified, from the word alignment result, by pivot phrases which are the phrases in one language to which two or more phrases are connected in the other language. However, the word alignment is itself a very difficult task, so there can be many alignment errors. Moreover, the alignment errors can lead to the problem of selecting incorrect pivot phrases. In this study, we propose a method in paraphrase extraction that discriminates good pivot phrases from bad pivot phrases. Each pivot phrase is weighted according to its reliability, which is scored by considering the lexical and part-of-speech information. The experimental result shows that the proposed method achieves higher precision and recall of the paraphrase extraction than the baseline. Also, we show that the extracted paraphrases can increase the coverage of the Korean-English machine translation.
참고문헌 (11)
- Bannard, C, "Paraphrasing with Bilingual Parallel Corpora", In Proceedings of the Annual Meeting of the ACL, Ann Arbor, MI, pp.597~604 (2005)
- Nakov, P, "Improved Statistical Machine Translation Using Monolingual Paraphrases", In Proceedings of the European Conference on Artificial Intelligence (ECAI), pp.338~342 (2008)
- Bond. F, "Improving Statistical Machine Translation by Paraphrasing the Training Data", In Proceedings of the International Workshop on Spoken Language Translations (IWSLT), pp.150~157 (2008)
- Callison-Burch, C, "Improved Statistical Machine Translation Using Paraphrases", In Proceedings of the Human Language Technology conference North American chapter of the Association for Computational Linguistics (HLT-NAACL), pp.17~24 (2006)
- Marton, Y, "Improved Statistical Machine Translation Using Monolingually Derived Paraphrases", In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.381~390 (2009)
- Barzilay, R, "Extracting Paraphrases from a Parallel Corpus", In Proceedings of the Annual Meeting of the ACL, Toulouse, France, pp.50~57 (2001)
- Zhao, S, "Application Driven Statistical Paraphrase Generation", Proceedings of the 47th Annual Meeting of the ACL and the 4th IJCNLP of the AFNLP, Suntec, Singapore, pp.834~842 (2009)
- Josef Och, F, "Discriminative Training and Maximum Entropy Models for Statistical Machine Translation", In proceedings of the Annual Meeting of the ACL (2001)
- Zhao, S, "Extracting Paraphrase Patterns from Bilingual Parallel Corpora", NLE, 15(4), pp.503~526 (2009)
- Koehn, P, "Moses: Open Source Toolkit for Statistical Machine Translation", In Proceedings of the 45th Annual Meeting of the ACL, Poster and Demonstration Sessions, pp.177~180 (2007)
- Papineni, "BLEU: A Method for Automatic Evaluation of Machine Translation", In Proceedings of the Annual Meeting of the ACL, pp.311~318 (2002)