본문 바로가기
KERD
논문KCI 등재

인공신경망 기계번역의 오류분석 및 퀄리티 평가

Error analysis and the quality evaluation of neural-network machine translation

이상민
외국어교육연구소 (Institute of Foreign Language Education)|2020.11|외국어교육연구 (Studies in Foreign Language Education)|제34권 제4호|pp. 129-153|DOI 10.16933/sfle.2020.34.4.129

1

조회

0

다운로드

26

인용

0

참고문헌

키워드

accuracy기계번역machine translationerror analysis오류분석정확도퀄리티quality

초록

최근 들어 기계번역기는 일상생활뿐만 아니라 외국어교육에서도 널리 활용되고 있다. L2 학습자는 어휘학습과 L2 작문 등 다양한 목적으로 외국어학습을 위해 기계번역을 사용하고 있다. 기계번역을 효과적으로 사용하기 위해서는 현 시점에서 기계번역의 정확도와 퀄리티에 대한 이해가 필수적이나, 이에 대한 연구는 아직 미흡한 실정이다. 따라서 본 연구는 오류분석과 질적 평가를 통해 기계번역의 정확도를 조사하였다. 본 연구는 우선 2017년도 기계번역의 결과물과 2020년도 기계번역의 결과물을 비교하여 어떤 영역에서 오류가 개선되어있는지를 조사하였다. 또한, 구두점, 어휘의 적절성, 문법의 정확성, 이해가능 정도, 실제성, 맥락에 대한 이해 등의 영역에서 질적 평가를 실시하였다. 마지막으로, 언어, 기계번역기의 종류, 글의 장르에 따라 유의미한 차이가 있는지를 살펴보았다. 본 연구의 결과는 지난 3년 간 기계번역의 정확도가 크게 향상되었으며, 기계번역은 오류에도 불구하고 이해가능한 높은 수준의 결과물을 제공하였다. ANOVA 분석 결과 장르에서만 유의미한 차이가 나타났다. 이러한 결과를 바탕으로 본 연구는 L2 학습현장과 학문적 작문 상황에서 기계번역을 활용하는 방안을 제시하였다.

Abstract

In recent years, machine translation(MT) has gained popularity both in daily life and foreign language education. L2 learners used MT for diverse purposes in language learning, including vocabulary learning and L2 writing. For effective use of MT, understanding of the accuracy and quality of current MT is crucial; however, this issue has not been fully investigated yet. Therefore, the present study examined MT accuracy based on error analysis and a qualitative evaluation. The study first compared MT outputs of 2017 and those of 2020 to examine in which areas MT has enhanced. Next, the study analyzed MT outputs from four genres in terms of error types and frequencies, and evaluated them in terms of mechanics, vocabulary adequacy, grammatical accuracy, comprehensibility, authenticity, and contextual understanding. The results showed that MT accuracy greatly increased over the last three years, and despite some errors, MT produced highly intelligible outputs. Based on the results, the present study suggested pedagogical implications for using MT in the language classrooms and in academic writing.

참고문헌 (33)

  1. 김낙훈, "4차 산업혁명이 한국인 영어 학습자의 기본적 의사소통능력 발달에 미치는 영향에 관한 비판적 검토", 멀티미디어 언어교육, 21(3), pp.115~148 (2018), 한국멀티미디어언어교육학회[DOI]
  2. 김영우, "외국어 교육의 현안과 미래 자료집" (2018), 서울대학교 외국어교육연구소
  3. 김형순, "4차 산업혁명시대의 영어교사 미래준비도 연구", 멀티미디어 언어교육, 20(3), pp.179~205 (2017), 한국멀티미디어언어교육학회[DOI]
  4. 손희정, "한국인 대학생들의 영어 말하기에 나타난 문법 오류 분석", 외국어교육연구, 34(3), pp.277~313 (2020), 외국어교육연구소[DOI]
  5. 이상민, "4차 산업혁명 기술과 미래 영어교육에 대한 중등 예비 및 현직 교사의 태도", 외국어교육연구, 34(3), pp.29~57 (2020), 외국어교육연구소[DOI]
  6. 임희주, "교양영어 수업에서 영어자동번역기 사용에 대한 대학생의 인식 및 태도연구 ― 영작문 수업을 중심으로", 교양교육연구, 11(6), pp.727~751 (2017), 한국교양교육학회
  7. Bowker, L., "Machine translation and global research:Towards improved machine translation literacy in the scholarly community" (2019), Emerald Publishing
  8. Briggs, N., "Neural machine translation tools in the language learning classroom: Students’ use, perceptions, and analyses", Jalt CALL Journal, 14(1), pp.3~24 (2018)
  9. Crossely, S., "Technological disruption in foreign language teaching: The rise of simultaneous machine translation", Language Teaching, 51(4), pp.541~552 (2018)
  10. Ducar, C., "Machine translation and the L2 classroom:Pedagogical solutions for making peace with Google translate", Foreign Language Annals, 51(4), pp.779~795 (2018)
  11. Escartín, C., "Machine translation as an academic writing aid for medical practitioners", Proceedings of MT Summit XVI, pp.254~267 (2017), International Association for Machine Translation
  12. Fredholm, K., "Effects of Google Translate on lexical diversity:Vocabulary development among learners of Spanish as a foreign language", Revista Nebrija de Lingüística Aplicada a la Ense˜nanza de las Lenguas, 13(26), pp.98~117 (2019)
  13. Garcia, I., "Machine translation-assisted language learning:Writing for beginners", Computer Assisted Language Learning, 24(5), pp.471~487 (2011)
  14. Gröhn, A., "Suitability of neural machine translation for different types of texts", 박사, pp.2019
  15. Groves, M., "Friend or foe? Google Translate in language for academic purposes", English for Specific Purposes, 37, pp.112~121 (2015)
  16. 이상민, "L2 작문 수정에 미친 기계번역의 효과성에 대한 한국 대학생 학습자의 인식", 멀티미디어 언어교육, 22(4), pp.206~225 (2019), 한국멀티미디어언어교육학회[DOI]
  17. Lee, S-M., "The impact of using machine translation on EFL students’writing", Computer-Assisted Language Learning, 33(3), pp.157~175 (2020)
  18. Lee, S-M., "Effects of using machine translation to mediate the revision process of Korean university students’ academic writing", ReCALL (2020)[DOI]
  19. Fredholm, K., "Effects of Google translate on lexical diversity: vocabulary development among learners of Spanish as a foreign language", Revista Nebrija de Lingüística Aplicada a la Enseñanza de las Lenguas, 13(26), pp.98~117 (2019)
  20. Jiménez-Crespo, M., "The role of translation technologies in Spanish language learning", Journal of Spanish Language Teaching, 4, pp.181~193 (2017)
  21. 김성우, "Playing with Machine Translation in Language Classroom: Affordances and Constraints", 멀티미디어 언어교육, 22(2), pp.9~28 (2019), 한국멀티미디어언어교육학회[DOI]
  22. Koehn, P., "Neural machine translation" (2020), Cambridge University Press
  23. Min, H. -T., "The effects of trained peer review on EFL students’revision types and writing quality", Journal of Second Language Writing, 15(2), pp.118~141 (2006)
  24. Elisabet Titik Murtisari, "Google T ranslate in Language Learning : I ndonesian EFL Students’ Attitudes", Journal of Asia TEFL, 16(3), pp.978~986 (2019), 아시아테플
  25. O’Brien, S., "Translation Quality Assessment", pp.237~262 (2018), Springer
  26. O’Neill, E., "Measuring the impact of online translation on FL writing scores", The IALLT Journal, 46(2), pp.1~39 (2016)
  27. 박준석, "Analysis of the Types of Translation Errors by the Google Translator", 영어영문학연구, 59(4), pp.279~299 (2017), 한국중앙영어영문학회[DOI]
  28. Poibeau, T., "Machine translation" (2017), MIT Press
  29. Shadiev, R., "A study of the facilitation of cross-cultural understanding and intercultural sensitivity using speech-enabled language translation technology", British Journal of Educational Technology, 50(3), pp.1415~1433 (2019)
  30. Stapleton, P., "Assessing the accuracy and teachers’impressions of Google Translate: A study of primary L2 writers in Hong Kong", English for Specific Purposes, 56, pp.18~34 (2019)
  31. Tsai, S. -C., "Using google translate in EFL drafts: a preliminary investigation", Computer Assisted Language Learning, 32(5-6), pp.510~526 (2019)
  32. Waller, L., "Motivation and feedback: How implicit theories of intelligence predict L2 writers’ motivation and feedback orientation", Journal of Second Language Writing, 35, pp.54~65 (2017)
  33. Van der Wees, M., "What’s in a domain?Analyzing genre and topic differences in statistical machine translation", Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, 2, pp.560~566 (2018)

관련 논문AI추천

AI 기계 번역기에 대한 국내외 연구동향김나영, 김혜숙, 문채영외국학연구소 · 외국학연구2023 · 제63호기계번역의 오류 양상과 사후수정(post-editing)이L2 쓰기 적절성에 미치는 영향신동광, 전유아한국영어교과교육학회 · 영어교과교육2022 · 제21권 제1호인공신경망 기계 번역의 한일/일한 번역 품질에 대한 예비연구-품질향상 검토와 교열코드 적용-이주리애한국통역번역학회 · 통역과 번역2018 · 제20권 제1호한영 기계번역 발전 현황에 대한 문헌연구윤여범초등교육연구원 · 한국초등교육2023 · 제34권 제1호기계번역을 활용한 한영번역에서의 번역품질 비교연구변길자한국영어영문학회 · 영어영문학2021 · 제26권 제3호기계번역 결과물의 오류유형 고찰김순영, 서보현한국번역학회 · 번역학연구2018 · 제19권 제1호

이 간행물의 다른 논문 (12건)

The Relationship between L2 Self-oriented Motivation and Writing Feedback Preferences장연이pp. 1-25The Incorporation of Mitigation Strategies in Peer Response to L2 Writing via Computer-Mediated Communication이충현, 표지훈pp. 27-55Reactivity of Concurrent Verbal Reports in Second Language Acquisition Research: A Methodological Synthesis서보람pp. 57-79코로나 19와 온라인 기반 영어매개강의: 경영대학 전공 수업 사례연구안지은, 박지현pp. 81-109디지털마인드맵 활용 초등영어학습자들의 영어능력 및 인식변화 연구윤택남pp. 111-128
원문 보기