영-독 신경망 기계 번역을 위한 데이터 증강 방법 연구
Eine Studie über die Datenaugmentierung für das maschinelle Übersetzen Englisch-Deutsch
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
기계 번역의 패러다임이 신경망 기반의 기계 번역으로 옮겨가면서 번역기 학습에 필요한 대용량 병렬 데이터의 중요성이 점점 더 커지고 있다. 그러나 대용량 병렬 데이터를 구축하기 위해서는 많은 시간과 비용이 필요하다. 이 문제를 해결하기 위해 본 논문에서는 기존의 영-독 병렬 데이터를 이용하여 새로운 데이터를 자동으로 만드는 방법에대하여 논의한다. 이를 위하여 먼저 병렬 데이터를 구성하는 영어와 독일어 각 문장의구조를 보편 의존 문법에 기반하여 파악한 뒤, 문장을 구 단위로 나눈다. 이 정보를 기반으로 단어 정렬 정보를 이용하여 출발 문장과 도착 문장을 구성하는 구를 정렬한다. 다음으로 구의 교환, 삭제, 교체, 첨가 방식을 통해 개별 언어의 문법 규범을 위배하지않으면서 데이터의 증강을 시도한다. 본 논문에서 제안하는 방법론으로 29,000개의 영-독 문장이 100,900 여개의 문장으로 증강되었다. 증강된 데이터로 학습된 영-독 기계 번역 모델의 BLEU 점수는 기존의 34.12점에서 38.75점으로 4점 이상 증가하였다. 이를 통하여 새로운 단어나 문장을 추가하지 않더라도 본 논문에서 제안하는 방법론으로 학습 데이터를 증강할 경우, 영-독 기계 번역 성능 향상의 효과가 있음을 확인할 수 있었다.
Abstract
Da sich das Paradigma der maschinellen Übersetzung hin zu der sogenannten neuronalen maschinellen Übersetzung ändert, wächst die Bedeutung paralleler Korpora erheblich, die für das Trainieren eines maschinellen Übersetzungsmodells erforderlich sind. Das Erstellen paralleler Korpora ist aber sehr zeit- und kostenaufwendig. In dieser Studie zeigen wir, wie parallele Korpora mithilfe vorhandener Daten automatisch erweitert werden können. Dazu wird zunächst die Satzstruktur jedes Satzes anhand der universalen Dependenzgrammatik analysiert und dann der Satz in Phrasen unterteilt. Basierend auf diesen Informationen werden die Quell- und Zielsätze unter Verwendung der Wortausrichtungsinformationen ausgerichtet. Als nächstes wird eine Datenerweiterung unter Berücksichtigung eines Verfahrens versucht, das die grammatikalische Norm einer Sprache unter Verwendung von Phrasenaustausch-, Löschungs-, Ersetzungs- und Additionsverfahren nicht verletzt. Mit der in dieser Untersuchung vorgeschlagenen Methodik wurden 29.000 englisch-deutsche Sätze auf 100.900 Sätze erweitert. Darüber hinaus betrug der BLEU-Score des mit den erweiterten Daten trainierten Modells der maschinellen Übersetzung 38.75, was einer Steigerung von mehr als 4 Punkten gegenüber den vorherigen 34.12 Punkten entspricht. Dadurch kann, selbst wenn keine neuen Wörter oder Sätze hinzugefügt werden, bestätigt werden, dass es möglich ist, mit den durch Modifizieren/Löschen der Satzstruktur oder willkürliches Austauschen/ Hinzufügen als Teil des Inhalts eines anderen Satzes erweiterten Daten die maschinelle Übersetzung zu verbessern.
참고문헌 (15)
- 이민행, "독일어 전산 의존문법 연구" (2021), 역락
- 김재훈, "정렬기법을 이용한 미등록 대역어의 자동 추출", 정보처리학회 논문지, 14(3), pp.231~240 (2007), 한국정보처리학회
- 최상혁, "한국어에 적합한 단어 임베딩 모델 및 파라미터 튜닝에 관한 연구", 한국정보과학회 한국어정보학회 학술대회, pp.252~256 (2016)
- Bahdanau, D., "Neural Machine Translation by Jointly Learning to Align and Translate", Advances in neural information processing systems, pp.3104~3112 (2014)
- Currey, A., "Copied Monolingual Data Improves Low-resource Neural Machine Translation", Proceedings of the Second Conference on Machine Translation, pp.148~156 (2017)
- Dyer, C., "A Simple, Fast, and Effective Reparameterization of IBM Model 2", Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp.644~648 (2013)
- Jurafsky, D., "Speech and Language Processing" (2008), Pearson Education
- Kobayashi, S., "Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations", Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.452~457 (2018)
- Och, F. J., "A Systematic Comparison of Various Statistical Alignment Models", Computational Linguistics, 29(1), pp.19~51 (2003)
- Sennrich, R., "Improving Neural Machine Translation Models with Monolingual Data", Association for Computational Linguistics (ACL), pp.86~96 (2016)
- Sutskever, I., "Sequence to Sequence Learning with Neural Networks", Advances in neural information processing systems, pp.3104~3112 (2014)
- Qi, P., "Stanza: A Python Natural Language Processing Toolkit for Many Human Languages", Association for Computational Linguistics (ACL): System Demonstrations, pp.101~108 (2020)
- Wang, W. Y., "That’s so annoying!!!: A Lexical and Frame-semantic Embedding Based Data Augmentation Approach to Automatic Categorization of Annoying Behaviors Using #petpeeve Tweets", Proceedings of the 2015conference on Empirical Methods in Natural Language Processing (EMNLP), pp.2557~2563 (2015)
- Wei, J., "EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks", Proceedings of the 2019Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp.6382~6388 (2019)
- Wu, X., "Conditional Bert Contextual Augmentation", International Conference on Computational Science, pp.84~95 (2019)