독-한 기계번역 정확도 평가의 언어학적 접근 – 구글번역기와 네이버 파파고를 중심으로
Ein linguistischer Ansatz zur Evaluation der Genauigkeit Maschineller Übersetzung Deutsch-Koreanisch - Google Translate und Naver Papago im Vergleich
0
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
본 논문은 현재 국내에서 가장 폭넓게 사용되는 구글번역기(GT)와 네이버 파파고(Naver)의 독-한 번역의 번역정확도를 언어학적 관점에서 실증적으로 평가하고 비교함으로써, 독-한 기계번역 활용의 시사점과 언어학적 고찰을 제시하고자 한다. 이를 위해 독일어 기사와 일상 대화의 독-한 기계번역물의 어휘정확도(Wortkorrektheit)와 언어학적 정확도 평가(Ling-Eval)를 수행하였다. 먼저 구글과 네이버 번역문의 어휘정확도는 텍스트 유형에 따라 기사는 구글, 대화는 네이버가 통계적으로 유의미한 수준에서 더 높았고, 언어학적 평가 점수는 대상 문장 전체에서 구글이 통계적으로 유의한 수준으로 네이버보다 높았다. 언어학적 평가 항목 8개 중 6개 항목(‘시제/화법’, ‘문장 구분’, ‘수식 범위’, ‘공지시’, ‘논리 관계’, ‘정보 구조’)에서 구글과 네이버는 유의미한 차이가 없이 높았으나, ‘의미 정보성’과 ‘문화 적합성’ 항목에서 구글이 네이버보다 문장 전체, 그리고 기사 유형에서 유의미하게 높았고, 네이버는 대화 번역의 ‘문화 적합성’에서 유의미하게 높은 평가를 받았다. 이러한 번역정확도 평가 결과는 원문의 텍스트 유형과 독일어 수준이 기계번역기의 선택과 활용에 고려되어야 한다는 점을 시사한다. 또한 최신 신경망기계번역기의 개선된 번역 성능에도 불구하고 ‘의미 정보성’과 ‘문화 적합성’이 아직 가장 취약한 항목이라는 점을 확인할 수 있었다. 이는 현재의 구글과 네이버의 신경망 기계번역기를 구현하는 사전학습 언어모델이 양적으로 보다 충분하고 질적으로 보다 정확한 독-한 번역 데이터를 학습데이터로 활용할 필요가 있음을 보여준다.
Abstract
Die vorliegende Arbeit hat das Ziel, die in Korea bekanntesten Online-Übersetzer Google Translate(GT) und Naver Papago(Naver) in Bezug auf Übersetzungsgenauigkeit Deutsch-Koreanisch zu bewerten und zu vergleichen. Je zehn Artikel und Alltagsgespräche wurden auf Wortkorrektheit und 8 linguistische Kriterien (‘Tempus/Aspekt/Modus’, ‘Satzunterscheidung’, ‘Modifikationsskopus’, ‘Anapher’, ‘Logische Relation, ‘semantische Informativität’, ‘Informationsstruktur, ‘kulturelle Adäquanz’) untersucht, wobei sich Folgendes ergab: Hinsichtlich Wortkorrektheit war GT bei der Textsorte ‘Artikel’ statistisch signifikant besser, bei der Textsorte ‘Alltagsgespräch’ hingegen Naver. In Bezug auf die linguistische Bewertung war die Gesamtpunktzahl bei GT signifikant höher, besonders in den Subkategorien ‘semantische Informativität’ und ‘kulturelle Adäquanz’ war GT insgesamt und vor allem für die Textsorte ‘Artikel’ besser. Die ‘kulturelle Adäquanz’ bei der Übersetzung von Alltagsgesprächen hingegen war bei Naver signifikant besser, wodurch die die gegensätzlichen Eigenschaften einzelner maschineller Übersetzer nach Textsorte und Sprachniveau bestätigt werden konnten. Folgende Implikationen lassen sich feststellen: Bei der Wahl eines Online-Übersetzers müssten Textsorte und Deutsch-Niveau berücksichtigt werden. Die trotz der verbesserten Qualität noch bestehenden Defizite in den Bereichen ‘semantische Informativität’ und ‘kulturelle Adäquanz’ könnten durch die Anreicherung qualitativ genauerer Übersetzungsdaten, kontinuierliche Verfeinerung des Wortschatzes und lingistische Folgestudien behoben werden.
참고문헌 (31)
- 국지연, "생생 독일어. Deutsch – Einfach leicht" (2020), 글로벌콘텐츠
- 김진아, "번역 품질평가에 관한 小考", 외국문학연구, (11), pp.4~124 (2002), 외국문학연구소
- 신지선, "번역교육 관련 연구동향 및 연구과제 고찰-교육내용, 수업방법, 평가방식을 중심으로", 통역과 번역, 15(2), pp.131~150 (2013), 한국통역번역학회
- 장혜선, "번역평가를 위한 번역오류 기술 및 분류에 관한 소(小)연구 -통번역대학원 수강생들의일한(JK) 번역물 오류 분석을 중심으로-", 日本語文學, 1(62), pp.99~132 (2014), 한국일본어문학회
- 장혜선, "전문번역 교육을 위한 품질평가모델 구축에 관한 연구", pp.2014
- 조수연, "타동성 교체 구문을 활용한 구글 번역기의 영한 번역 평가", 언어와언어학, (61), pp.111~140 (2013), 언어연구소
- 조희영, "한국어와 영어의 명사구 기계번역", 한국정보과학회언어공학연구회 학술발표 논문집, 18, pp.273~278 (2006)
- 한국외대 번역평가인증 연구팀, "번역인증제도 실무편", 한국외대 토번역연구소 학술대회발표집, pp.23~33 (2016)
- Aiken, M., "An Updated Evaluation of Google Translate Accuracy", Studies in Linguistics and Literature, 3(3), pp.253~260 (2019)
- Aiken, M., "An Analysis of Google Translate Accuracy", Translation Journal, 16(2) (2011)
- Baek, Yujin, "PATQUEST: Papago Translation Quality Estimation", Proceedings of the 5th Conference on Machine Translation, pp.991~998 (2020)
- Cho, Kyunghyun, "Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation", arXiv:1406.1078, ~ (2014)
- Darbelnet, J., "Niveaux de traduction", Babel, 13(1), pp.6~16 (1977)
- Garcia, I., "Is Machine Translation ready yet?", Target, 22(1), pp.7~21 (2010)
- Hampshire, S., "Translation and the internet: evaluating the quality of free online machine translators", Quaderns: Revista De Traducci, 17, pp.197~209 (2010)
- House, J., "Translation Quality Assessment: A Model Revisited" (1997), G. Narr
- "Machine translation: a concise history" (2003)[URL]
- Jentges, S., "DaF leicht A1.1: Kurs- und Übungsbuch mit DVD-ROM" (2016), Klett Verlag
- Larose, R., "Méthodologie de l'évaluation des traductions", Meta, 43(2), pp.163~186 (1998)
- Lee, Hyoung-Gyu, "Papago: A Machine Translation Service with Word Sense Disambiguation and Currency Conversion", Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp.185~188 (2016)
- "Revisiting Round-Trip Translation for Quality Estimation" (2020)[URL]
- Nguyen, Quang-Phuoc, "Neural Machine Translation Enhancements through Lexical Semantic Network", ICCMS 2018 (2018)
- Nord, C., "Translating as a Purposeful Activity: Functionalist Approaches explained" (1997), St. Jerome Publishing
- Papineni, K., "BLEU: A Method for Automatic Evaluation of Machine Translation", ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, pp.311~318 (2002)
- Reiß, K., "Möglichkeiten und Grenzen der Übersetzungskritik: Kategorien und Kriteren für eine sachgerechte Beurteilung von Übersetzungen" (1971), Hueber
- Somers, H., "Round-trip Translation: What Is It Good For?", Proceedings of the Australasian Language Technology Workshop 2005, pp.127~133 (2005)
- Vaswani, A., "Attention Is All You Need", Neural Information Processing Systems(NIPS) Proceedings (2017)
- White, J., "The ARPA MT Evaluation Methodologies:Evolution, Lessons, and Future Approaches", Proceedings of the 1st Conference of the Association for Machine Translation in the Americas, pp.193~205 (1994)
- Williams, M., "The Application of Argumentation Theory to Translation Quality Assessment", Meta, 46(2), pp.326~344 (2001)
- Williams, M., "Translation Quality Assessment: An Argumentation Centred Approach" (2005), University of Ottawa Press