본문 바로가기
KERD
논문KCI 등재

번역학계와 언어서비스업체(LSP)간 산학협력연구: ‘포스트에디팅 생산성’과 ‘기계번역 엔진 성능 비교’

A University-Industry Joint Study on Machine Translation Post-Editing Productivity and MT Engine Error Rate

이준호|김순미|신호섭
한국번역학회 (The Korean Association for Translation Studies)|2019.03|번역학연구 (The Journal of Translation Studies)|제20권 제1호|pp. 41-76|DOI 10.15749/jts.2019.20.1.002

0

조회

0

다운로드

49

인용

0

참고문헌

키워드

기계번역machine translationMTPE산학협력연구번역과 기술기계번역 생산성언어서비스 제공업체(LSP)industry-university joint researchtranslation and technologyMT productivitylanguage service market
주제분류통역번역학

초록

As machine translation post-editing (MTPE) has become a common practice among language service providers (LSPs), and universities have an urgent need to incorporate MTPE into their curriculum, a common interest on MTPE practices led to the forming of a university-industry joint research team between The Korean Association for Translation Studies (KATS) and The Korea IT Globalization Organization (KIGO). This collaborative study aims to explore the following issues: First, the productivity of MTPE results gauged in terms of two factors, the amount of time spent on post-editing of raw MT outputs against human translation time, and TER (Translation Edit Rate) of MTPE results; Second, error rates of the most representative free online machine translations (FOMT) for the English-Korean language pair, such as Google Translate, Naver’s Papago, and Kakao i in terms of mistranslation, accuracy, terminology, formatting, and spelling. Fifteen undergraduate and graduate students majoring translation participated in the study to produce translation and MTPE results of five IT manuals provided by the participating LSPs. For 13 out of 15 participants, the temporal and technical MTPE　efforts were found to be much reduced. Regarding the MT engine error rate, Google Translate was found to have a much lower error rate against Papago and Kakao i in processing IT manuals; however, this result needs further investigation with more variables.

Abstract

As machine translation post-editing (MTPE) has become a common practice among language service providers (LSPs), and universities have an urgent need to incorporate MTPE into their curriculum, a common interest on MTPE practices led to the forming of a university-industry joint research team between The Korean Association for Translation Studies (KATS) and The Korea IT Globalization Organization (KIGO). This collaborative study aims to explore the following issues: First, the productivity of MTPE results gauged in terms of two factors, the amount of time spent on post-editing of raw MT outputs against human translation time, and TER (Translation Edit Rate) of MTPE results; Second, error rates of the most representative free online machine translations (FOMT) for the English-Korean language pair, such as Google Translate, Naver’s Papago, and Kakao i in terms of mistranslation, accuracy, terminology, formatting, and spelling. Fifteen undergraduate and graduate students majoring translation participated in the study to produce translation and MTPE results of five IT manuals provided by the participating LSPs. For 13 out of 15 participants, the temporal and technical MTPE　efforts were found to be much reduced. Regarding the MT engine error rate, Google Translate was found to have a much lower error rate against Papago and Kakao i in processing IT manuals; however, this result needs further investigation with more variables.

참고문헌 (67)

  1. 곽중철, "포스트에디팅 측정지표를 통한 기계번역 오류 유형화 연구", 통번역학연구, 22(1), pp.1~25 (2018), 통번역연구소[DOI]
  2. 김련희, "번역과 언어서비스제공자", 인문과학연구, 18, pp.1~25 (2011)
  3. 김순미, "신경망번역기(NMT) 활용 학부 번역교육의 가능성 연구", 통번역교육연구, 15(3), pp.5~37 (2017), 한국통번역교육학회[DOI]
  4. 김순미, "AI시대 인간번역과 기계(NMT)번역의 공존-경영학 ‘확장(Augmentation)전략’ 중심", 통역과 번역, 20(2), pp.1~32 (2018), 한국통역번역학회[DOI]
  5. 마승혜, "한영 기계번역 포스트 에디팅에 대한 경험적 고찰: 학부 교육 과정 및 결과를 중심으로", 통번역학연구, 22(1), pp.53~88 (2018), 통번역연구소[DOI]
  6. 마승혜, "기계번역의 외연 확대—신문기사 특정 은유표현 포스트 에디팅 전략 모색", 번역학연구, 19(2), pp.117~145 (2018), 한국번역학회[DOI]
  7. 마승혜, "문학작품 기계번역의 한계에 대한 상세 고찰", 통번역학연구, 22(3), pp.65~88 (2018), 통번역연구소[DOI]
  8. 박영란, "영한번역에서의 시제의 등가성과 기계번역과의 비교: 영어 현재진행형을 중심으로", 통번역교육연구, 15(1), pp.165~194 (2017), 한국통번역교육학회[DOI]
  9. 박영란, "기계 번역에서의 영어속담 분석", 통번역교육연구, 16(1), pp.131~150 (2018), 한국통번역교육학회[DOI]
  10. 박지영, "언어 기술 혁신과 통번역 산업의 미래: 20대 글로벌 LSP의 통번역 서비스 분석을 바탕으로", 통번역학연구, 21(1), pp.137~168 (2017), 통번역연구소[DOI]
  11. 박혜경, "석사 과정의 기계번역 수업에 대한 소고: 한일번역 전공생의 포스트에디팅 사례를 통하여", 번역학연구, 19(3), pp.163~193 (2018), 한국번역학회[DOI]
  12. 송연석, "기계번역 담론에 대한 비판적 고찰", 번역학연구, 19(1), pp.119~145 (2018), 한국번역학회[DOI]
  13. 서보현, "기계번역 결과물의 오류유형 고찰", 번역학연구, 19(1), pp.99~117 (2018), 한국번역학회[DOI]
  14. 신지선, "테크놀로지 패러다임에서의 번역능력 재조명", 통번역학연구, 21(4), pp.51~71 (2017), 통번역연구소[DOI]
  15. 신지선, "인공지능 번역 시스템의 출현에 대한 소고", 번역학연구, 18(5), pp.91~110 (2017), 한국번역학회[DOI]
  16. 윤미선, "영어-한국어 언어쌍에 적합한 포스트에디팅 가이드라인: 미래 포스트에디터를 위한 가이드라인과 그 실례", 번역학연구, 19(5), pp.43~76 (2018), 한국번역학회[DOI]
  17. 이노신, "통번역의 미래지평: 인공지능과 소통형 융합통번역 연구", 번역학연구, 17(2), pp.65~89 (2016), 한국번역학회[DOI]
  18. 이상빈, "트랜스크리에이션, 기계번역, 번역교육의 미래", 통역과 번역, 18(2), pp.129~152 (2016), 한국통역번역학회[DOI]
  19. 이상빈, "학부번역전공자의 기계번역 포스트에디팅, 무엇이 문제이고, 무엇을 가르쳐야 하는가?", 통역과 번역, 19(3), pp.37~64 (2017), 한국통역번역학회[DOI]
  20. 이상빈, "학부 번역전공자의 구글 기계번역 포스트에디팅에 관한 현상학 연구", 통번역학연구, 22(1), pp.117~143 (2018), 통번역연구소[DOI]
  21. 이성화, "영-한 및 한-영 기계번역 품질향상을 위한프리에디팅 기법 제안", 번역학연구, 19(5), pp.121~154 (2018), 한국번역학회[DOI]
  22. 이승일, "AI번역의 속성 및 번역주체에 대한 논의", 통번역학연구, 22(4), pp.183~209 (2018), 통번역연구소[DOI]
  23. 이주리애, "인공신경망 기계 번역의 한일", 일한 번역 품질에 대한 예비연구-품질향상 검토와 교열코드 적용-, 2018, pp.20(1), 43~71[DOI]
  24. 이준호, "포스트에디팅 교육을 위한 포스트에디팅과 인간번역의 차이 연구", 통역과 번역, 20(1), pp.73~96 (2018), 한국통역번역학회[DOI]
  25. 이준호, "문학번역 적용을 위한 기계번역의 현주소", 통번역학연구, 23(1), pp.143~167 (2019), 통번역연구소[DOI]
  26. 장애리, "국내 기계 통번역의 발전 현황 분석: 한·중 언어 쌍을 중심으로", 번역학연구, 18(2), pp.171~206 (2017), 한국번역학회[DOI]
  27. 전현주, "4차 산업혁명과 한국의 번역산업 현황 및 통번역 교육의 미래", 통번역교육연구, 15(3), pp.235~261 (2017), 한국통번역교육학회[DOI]
  28. 정혜연, "번역의 자동평가: 기계번역 평가를 인간번역 평가에 적용해보기", 통번역학연구, 22(4), pp.265~287 (2018), 통번역연구소[DOI]
  29. 진용주, "프리에디팅(pre-editing)이 기계번역 품질에 미치는 영향 고찰: 유창성, 충실성, 가독성 비교를 중심으로", 통번역학연구, 22(3), pp.27~64 (2018), 통번역연구소[DOI]
  30. 최효은, "특허 기계번역 결과물의 평가 - KIPRIS의 무료 한영 기계번역을 중심으로", 통역과 번역, 19(1), pp.139~178 (2017), 한국통역번역학회[DOI]
  31. 한승희, "기계번역·인간번역·트랜스크리에이션의 문체 비교: 광고 번역을 중심으로", 통번역학연구, 21(2), pp.163~188 (2017), 통번역연구소[DOI]
  32. 한현희, "한노 기계번역의 문장 부호 처리 양상 및 오류 개선을 위한 실용적 함의: 프리에디팅 규칙 수립과 효용성의 관점에서", 통번역학연구, 22(3), pp.227~260 (2018), 통번역연구소[DOI]
  33. Aranberri, Nora, "Comparison of post-editing productivity between professional translators and layusers", Third Workshop on Post-editing Technology and Practice, pp.20~33 (2014)
  34. Carl, Michael, "The process of post-editing: a pilot study", Proceedings of the 8th International NLPSC Workshop. Copenhagen Studies in Language, 41, pp.131~142 (2011)
  35. Carl, Michael, "Psycholinguistic and cognitive inquiries into translation and interpreting", pp.145~174 (2015), John Benjamins Publishing Company
  36. Cronin, Michael, "Translation and Globalization" (2003), Routledge
  37. DePalma, Donald A, "The Languages Services Market: 2013" (2013), Common Sense Advisory
  38. DePalma, Donald A, "The Language Services Market: 2016" (2016), Common Sense Advisory
  39. Doherty, Stephen, "The Impact of Translation Technologies on the Process and Product of Translation", International Journal of Communication, 10, pp.947~969 (2016)
  40. Federico, Marcello, "Measuring user productivity in machine translation enhanced computer assisted translation", Proceedings of the Tenth Conference of the Association for Machine Translation in the Americas (AMTA) Madison (2012), AMTA
  41. Flanagan, Marian, "Testing post-editing guidelines: how translation trainees interpret them and how to tailor them for translator training purposes", Interpreter and Translator Trainer, 8(2), pp.257~275 (2014)
  42. Garcia, Ignacio, "Is machine translation ready yet", Target International Journal of Translation Studies, 22(1), pp.7~21 (2010)
  43. Guerberof, Ana, "Productivity and quality in MT post-editing", MT Summit XII-Workshop: Beyond Translation Memories: New Tools for Translators MT Ottawa: Association for Machine Translation in the Americas (2009)
  44. Guerberof, Ana, "What do professional translators think about post-editing", The Journal of Specialized Translation, 19 (2013)
  45. Guerberof, Ana, "Correlations between productivity and quality when post-editing in a professional context", Machine Translation, 28(3-4), pp.165~186 (2014)
  46. Graham, Yvette, "Accurate evaluation of segment-level machine translation metrics", Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (2015)
  47. Hu, Ke, "A comparative study of post-editing guidelines", Proceedings of the 19th Annual Conference of the European Association for Machine Translation (2016), EAMT
  48. Hutchins, John, "Machine Translation", pp.13~20 (2009)
  49. Koponen, Maarit, "This translation is not too bad: An analysis of post-editor choices in a machine translation post-editing task", Workshop Proceeding: Workshop on Post-editing Technology and Practice, pp.1~9 (2013)
  50. Koponen, Maarit, "Is machine translation post-editing worth the effort? A survey of research into post-editing and effort", JoSTrans, 25, pp.131~148 (2016)
  51. Krings Hans P, "Repairing Texts: Empirical Investigations of Machine Translation Post-Editing Processes" (2001), The Kent State University Press
  52. Läubli, Samuel, "Assessing post-editing efficiency in a realistic translation environment", Proceedings of MT Summit XIV Workshop on Post-editing Technology and Practice, pp.83~91
  53. Martínez, Lorena Guerra, "Human Translation Versus Machine Translation and Full Post-editing of Raw Machine Translation Output", Master’s, pp.2003
  54. O’Brien, Sharon, "Teaching post-editing: a proposal for course content", 6th EAMT Workshop Teaching Machine Translation, pp.99~106 (2002)
  55. O’Brien, Sharon, "An empirical investigation of temporal and technical post-editing effort", Translation and Interpreting Studies, 2(1), pp.83~136 (2007)
  56. O’Brien, Sharon, "Towards predicting post-editing productivity", Machine translation, 25(3), pp.197~ (2011)
  57. Plitt, Mirko, "A productivity test of statistical machine translation post-editing in a typical localisation context’", The Prague bulletin of mathematical linguistics, 93, pp.7~16 (2010)
  58. Pouliquen, Bruno, "WIPO Translate: Patent Neural Machine Translation publicly available in 10 languages", Proceedings of the Seventh Workshop on Patent and Scientific Literature Translation Nagoya: Japan, pp.5~8 (2017)
  59. Schwartz, Lane, "Monolingual post-editing by a domain expert is highly effective for translation triage", Proceedings of the Third Workshop on Post-Editing Technology and Practice, pp.34~44 (2014)
  60. Snover, Matthew, "Proceedings of the Association for Machine Translation in the Americas" (2006), AMTA
  61. Wagner, Emma, "Post-editing: Practical considerations", ITI Conference I: The Business of Translating and Interpreting, pp.71~78 (1987)
  62. Zampieri, Marcos, "Quantifying the influence of MT output in the translators’ performance: a case study in technical translation’", Proceedings of the EACL 2014 Workshop on Humans and Computer-assisted Translation (2014)
  63. Zaretskaya, Anna, "Machine Translation Post-Editing at TransPerfect –the ‘Human’ Side of the Process", Tradumàtica, 15, pp.116~123 (2017)
  64. "Productivity and quality in the post-editing of outputs from translation memories and machine translation" (2008)[URL]
  65. "Machine Translation Evaluation" (2017)[URL]

관련 논문AI추천

포스트에디팅의 번역사 수용에 관한 예비연구 - 한일 기계번역을 중심으로이주리애통번역연구소 · 통번역학연구2021 · 제25권 제3호영한 포스트에디팅 생산성에 대한 고찰- 시간적 노력을 중심으로이준호통번역연구소 · 통번역학연구2021 · 제25권 제2호한영 기계번역 포스트 에디팅에 대한 경험적 고찰: 학부 교육 과정 및 결과를 중심으로마승혜통번역연구소 · 통번역학연구2018 · 제22권 제1호번역 교육 지원 도구로서 기계번역(MT) 활용- 한영번역 포스트에디팅(MTPE) 수행에 대한 학습자 태도를 중심으로김순미통번역연구소 · 통번역학연구2021 · 제25권 제4호영한 포스트에디팅과 인간 번역의 정확성 비교 - 정확성 오류 검증을 중심으로정재혁통번역연구소 · 통번역학연구2023 · 제27권 제3호풀 포스트에디팅에 대한 고찰—풀 포스트에디팅 생산성에 영향을 주는 요소를 중심으로김순미, 이준호한국번역학회 · 번역학연구2022 · 제23권 제5호

이 간행물의 다른 논문 (8건)

한식명 중국어 번역 표준화를 위한 분석 연구: 한국관광공사와 한식진흥원 간 사례 비교장애리, 강경이pp. 7-39이청준 소설 『흰옷』의 프랑스어 번역 L’Harmonium에 나타난 삭제 양상이 작품 미학에 미치는 영향남윤지pp. 77-104도자기 분야 분류 체계 및 기본 용어의 번역에 관한 고찰박현주pp. 105-125유튜브 K-뷰티 콘텐츠 자막 번역 연구조성은, 서정예pp. 127-155정부 및 공공기관 연설문 번역의 메타담화분석송연석pp. 157-175
원문 보기