본문 바로가기
KERD
논문KCI 등재

인간번역과 기계번역 및 포스트에디팅의 오류 비교: 한영 법률 번역 사례를 중심으로

An analysis of errors in human translation, machine translation and post-edited machine translation outputs: A case of Korean-English legal translation

최효은|이지은
한국번역학회 (The Korean Association for Translation Studies)|2024.03|번역학연구 (The Journal of Translation Studies)|제25권 제1호|pp. 11-39|DOI 10.15749/jts.2024.25.1.001

0

조회

0

다운로드

3

인용

0

참고문헌

키워드

기계번역machine translation오류 분석Error analysis포스트에디팅인간번역human translation법률 번역legal translationpost-edited machine translation
주제분류통역번역학

초록

This paper addresses the quality of machine translation (MT) and post-editing (MTPE) outputs in comparison with human translation (HT) in the context of Korean-English legal translation, focusing on error analysis. Using the three major criteria of accuracy, fluency, and terminology, the study examines errors in twelve from-scratch translations and twelve post-edited MT outputs as well as the MT output generated by DeepL Translator. Error comments provided by three human evaluators were analyzed to identify error types and occurrences in the three different output types. Our findings reveal that MTPE generated the fewest errors, while MT exhibited the highest error count. Across all output types (HT, MT, and MTPE), accuracy errors were the most prevalent, with distortion being the predominant type. Fluency errors ranked next in frequency for HT and MTPE, while terminology errors were more common in MT than in HT and MTPE. Further analysis indicates that fluency and terminology errors were generally corrected in MTPE, but accuracy errors, particularly distortion, requiring substantial cognitive effort, often remained uncorrected. In terms of prevalent error types, MTPE demonstrated a closer resemblance to HT than MT. These findings underscore the potential of MTPE to yield high-quality legal text translations with reduced errors. However, HT remained advantageous in terms of producing accurate translations, particularly with regard to meaning transfer. This study contributes valuable insights to the ongoing discourse on the efficacy of different translation methods in the legal domain.

Abstract

This paper addresses the quality of machine translation (MT) and post-editing (MTPE) outputs in comparison with human translation (HT) in the context of Korean-English legal translation, focusing on error analysis. Using the three major criteria of accuracy, fluency, and terminology, the study examines errors in twelve from-scratch translations and twelve post-edited MT outputs as well as the MT output generated by DeepL Translator. Error comments provided by three human evaluators were analyzed to identify error types and occurrences in the three different output types. Our findings reveal that MTPE generated the fewest errors, while MT exhibited the highest error count. Across all output types (HT, MT, and MTPE), accuracy errors were the most prevalent, with distortion being the predominant type. Fluency errors ranked next in frequency for HT and MTPE, while terminology errors were more common in MT than in HT and MTPE. Further analysis indicates that fluency and terminology errors were generally corrected in MTPE, but accuracy errors, particularly distortion, requiring substantial cognitive effort, often remained uncorrected. In terms of prevalent error types, MTPE demonstrated a closer resemblance to HT than MT. These findings underscore the potential of MTPE to yield high-quality legal text translations with reduced errors. However, HT remained advantageous in terms of producing accurate translations, particularly with regard to meaning transfer. This study contributes valuable insights to the ongoing discourse on the efficacy of different translation methods in the legal domain.

참고문헌 (46)

  1. 김순미, "번역학계와 언어서비스업체(LSP)간 산학협력연구 : 포스트에디팅 생산성과 기계번역 엔진 성능 비교", 번역학연구, 20(1), pp.41~76 (2019)
  2. 김자경, "포스트에디팅 결과물에 나타난 오류 고찰 : AI 학습용 한영 번역 말뭉치를 대상으로", 통번역학연구, 24(4), pp.35~62 (2020)
  3. 김자경, "포스트에디팅 결과물의 정확성 오류 고찰 : AI 학습용 금융", 증시 분야 한-영 번역 말뭉치를 대상으로, 2021, pp.23(3), 29~58
  4. 김자경, "한영 포스트에디팅 과정에서의 노력 탐색-시간, 기술적 노력, 검색을 중심으로", 통번역학연구, 26(2), pp.1~24 (2022)
  5. 김자경, "한영 포스트에디팅의 정확성 오류의 수정 양상 고찰", 번역학연구, 23(5), pp.91~117 (2022)
  6. 김혜림, "중한 법령 기계번역 포스트에디팅 교육을 위한 예비 연구", 번역학연구, 22(3), pp.65~98 (2021)
  7. 남보리, "LSP 관점에서 바라본 기계번역 포스트에디팅의 전략적 지향점-스타일 가이드 지침 연구 및 LSP 기계번역 서비스 사례", 번역・언어・기술, 2, pp.5~43 (2021)
  8. 마승혜, "한영 기계번역 포스트 에디팅에 대한 경험적 고찰 : 학부 교육 과정 및 결과를 중심으로", 통번역학연구, 22(1), pp.53~87 (2018)
  9. 서보현, "기계번역 결과물의 오류유형 고찰", 번역학연구, 19(1), pp.99~117 (2018)
  10. 서보현, "번역사의 번역교육 경험이 포스트에디팅 결과물의 품질에 미치는 영향에 관한 사례연구", 번역학연구, 21(3), pp.63~91 (2020)
  11. 신지선, "기계번역 포스트에디팅에 관한 해외 연구 동향", 번역학연구, 21(4), pp.87~114 (2020)
  12. 윤미선, "영어-한국어 언어쌍에 적합한 포스트에디팅 가이드라인 : 미래 포스트에디터를 위한 가이드라인과 그 실례", 번역학연구, 19(5), pp.43~76 (2018)
  13. 이상빈, "학부번역 전공자의 기계번역 포스트에디팅, 무엇이 문제이고, 무엇을 가르쳐야 하는가?", 통역과 번역, 19(3), pp.37~64 (2017)
  14. 이상빈, "기계번역에 관한 KCI 연구논문 리뷰 : 인문학 저널 논문(2011~2020년 초)의 논의내용과 연구방법을 중심으로", 통역과 번역, 22(2), pp.75~104 (2020)
  15. 이준호, "포스트에디팅 교육을 위한 포스트에디팅과 인간번역의 차이 연구", 통역과번역, 20(1), pp.73~96 (2018)
  16. 이준호, "신경망기계번역의 객관적 평가를 위한 예비연구 : 자동평가와 수동평가의 균형점", 통번역학연구, 23(3), pp.171~202 (2019)
  17. 이준호, "한영 포스트에디팅 노력 예비연구 : 트랜스로그II를 활용한 한영 인간번역과 포스트에디팅의 차이분석", 번역학연구, 22(5), pp.271~296 (2021)
  18. 이준호, "법률 특화 번역엔진 성능 평가 : 한영 계약서 번역을 중심으로", T&I Review, 12(1), pp.169~192 (2022)
  19. 이준호, "풀 포스트에디팅에 대한 고찰 : 풀 포스트에디팅 생산성에 영향을 주는 요소를 중심으로", 번역학연구, 23(5), pp.119~144 (2022)
  20. 이지은, "한영 법령 번역 품질 제고를 위한 번역 방식에 관한 소고 : 직역 문제를 중심으로", 통역과 번역, 24(1), pp.243~276 (2022)
  21. 이지은, "인공신경망 기반 맞춤형 기계번역엔진의 성능 평가 : 법률 및 특허 한영 번역 결과물 평가 사례를 중심으로", 번역학연구, 24(1), pp.9~37 (2023)
  22. 이지은, "원천텍스트 난이도와 기계번역 품질에 대한 고찰 : 구글 한영 법령번역 사례를 중심으로", 언어학연구, 28(1), pp.77~101 (2023)
  23. 정재혁, "영한 포스트에디팅과 인간 번역의 정확성 비교-정확성 오류 검증을 중심으로", 통번역학연구, 27(3), pp.177~201 (2023)
  24. 최문선, "국내 번역학 기계번역 연구 동향 : 내용 분석과 키워드 분석을 중심으로", 언어학연구, 24(1), pp.275~297 (2020)
  25. 한승희, "기계번역과 인간번역, 기계번역 사후편집본과 인간번역 감수본의 품질평가 비교 연구-한-노 번역 사례를 중심으로", 통번역학연구, 26(1), pp.195~219 (2022)
  26. 한현희, "한-노 기계 번역, 어디까지 왔나? : Google과 Papago 번역 성능 비교를 기반으로", 노어노문학, 32(3), pp.63~93 (2020)
  27. Arnejšek, M., "Multidimensional assessment of the eTranslation output for English–Slovene", Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp.383~392 (2020)
  28. Aranberri, N., "Comparison of post-editing productivity between professional translators and lay users", Proceedings of the 11th Conference of the Association for Machine Translation in the Americas, pp.20~33 (2014)
  29. Brkić, M., "Automatic and human evaluation on English-Croatian legislative test set", Computer Science, 7816, pp.311~378 (2013)
  30. Defauw, A., "Developing a neural machine translation system for Irish", Proceedings of the 2nd Workshop on Technologies for MT of Low Resource Languages, pp.32~38 (2019), European Association for Machine Translation
  31. DeMattee, A. J., "Overcoming the laws-in-translation problem : Comparing techniques for translating legal texts", Qualitative & Multi-Method Research, 25(2), pp.13~21 (2022)
  32. Dik, H, "CTRL+V for Verdict: An analysis of Dutch to English legal machine translation", MA, pp.2020
  33. Green, S., "The efficacy of human post-editing for language translation", Proceedings of the SIGCHI conference on human factors in computing systems, pp.439~448 (2013)
  34. "DeepL traduttore e didattica della traduzione dall’italiano in Tedesco-Alcune valutazioni preliminari. INTRALINEA TRAlinea Special Issue: Translation and Interpreting for Language Learners (TAIL)" (2018)[URL]
  35. "2024년 1월 12일 한국외국어대학교 통번역연구소 제23회 국제학술대회", 2024, ~
  36. Jia, Y., "How does the post-editing of neural machine translation compare with from-scratch translation? A product and process study", The Journal of Specialised Translation, 31(1), pp.60~86 (2019)
  37. Killman, J., "PE vs translating in the legal context : Quality and time effects from English to Spanish", Revista de Llengua I Diret, 2022, pp.78, 56~72
  38. Koehn, P., "Six challenges for neural machine translation", Proceedings of the First Workshop on Neural Machine Translation, pp.28~39 (2017), Association for Computational Linguistics
  39. Lee, J., "A case study on the evaluation of Korean-English legal translations by generic and custom neural machine translation engines", Interpretation and Translation, 25(1), pp.75~98 (2023)
  40. Lommel, A, "Translation Quality Assessment: From Principles to Practice", pp.109~128 (2018), Springer
  41. Mitchell, L., "The Potential and Limits of Lay Post-editing in an Online Community", Proceedings of the 18th Annual Conference of the European Associations for Machine Translation, European Associations for Machine Translation, pp.67~74 (2015)
  42. Roiss, S., "Y las máquinas rompieron a traducir… Consideraciones didácticas en relación con la traducción automática de referencias culturales en el ámbito jurídico", TRANS : Revista de Traductología, 25, pp.491~505 (2021)
  43. Sosoni, V., "Translating law: A comparison of human and post-edited translations from Greek to English", Revista de Llengua I Dret, Journal of Language and Law, 78, pp.92~120 (2022)
  44. Vardaro, J., "Translation quality and error recognition in professional neural machine translation post-editing", Informatics, 6(3), pp.1~29 (2019)
  45. Vieira, L. N, "Translation in Transition: Between Cognition, Computing and Technology", pp.161~186 (2017), John Benjamins
  46. Wiesmann, E., "Machine translation in the field of law : A study of the translation of Italian legal texts into German", Comparative Legilinguistics, 37(1), pp.117~153 (2019)

관련 논문AI추천

The quality and productivity of post-edited machine translation in comparison with human translation: A case of Korean-English legal translation이지은, 최효은한국통역번역학회 · 통역과 번역2024 · 제26권 제1호영한 포스트에디팅과 인간 번역의 정확성 비교 - 정확성 오류 검증을 중심으로정재혁통번역연구소 · 통번역학연구2023 · 제27권 제3호포스트에디팅 결과물의 정확성 오류 고찰 —AI 학습용 금융/증시 분야 한-영 번역 말뭉치를 대상으로—김자경한국통역번역학회 · 통역과 번역2021 · 제23권 제3호인공신경망 기반 맞춤형 기계번역엔진의 성능 평가: 법률 및 특허 한영번역 결과물 평가 사례를 중심으로이지은, 최효은한국번역학회 · 번역학연구2023 · 제24권 제1호법령의 MTPE 품질 평가 모델 탐색과 제안: 한국어 법령의 중국어 번역을 중심으로김아영, 오성탁한국통역번역학회 · 통역과 번역2025 · 제27권 제3호기계번역과 인간번역, 기계번역 사후편집본과 인간번역 감수본의 품질평가 비교 연구 - 한-노 번역 사례를 중심으로강동희, 한승희통번역연구소 · 통번역학연구2022 · 제26권 제1호

이 간행물의 다른 논문 (7건)

디지털 글쓰기에서 나타나는 번역 현상에 관한 고찰: 중국 한시 번역을 중심으로이현주pp. 41-67영상번역과 차별되는 뮤지컬 자막 연구: 「나인 투 파이브」 영한 번역 사례 분석을 중심으로이지민pp. 69-87대중 영화 번역 자막의 젠더 차별 언어 사례 연구김재민pp. 89-122LGBT 그림책은 국내에서 어떻게 번역되는가?: 텍스트와 파라텍스트 고찰정신예, 성승은pp. 123-156『동몽선습』영역 과정 소고권병철pp. 157-177
원문 보기