본문 바로가기
KERD
논문KCI 등재

한국어-중국어 신경망 기계 번역에 대한 수동평가: 사회과학과 기술과학 카테고리에서 나타나는 구글 번역(GNMT)과 파파고(N2MT)의 정확도

Evaluation of Korean-Chinese Neural Network Machine Translation-Differences between Google Translation (GNMT) and Papago (N2MT) in the Fields of Social Science and Technical Science

황지연|양슬아
통번역연구소 (Interpreting and Translation Research Institute)|2020.11|통번역학연구 (Interpreting and Translation Studies)|제24권 제4호|pp. 175-206|DOI 10.22844/its.2020.24.4.175

0

조회

0

다운로드

10

인용

0

참고문헌

키워드

평가evaluationaccuracy of translation정확도한국어-중국어 신경망 기계 번역GNMTN2MTKorean-Chinese neural machine translation
주제분류통역번역학

초록

This study conducted machine translation evaluation using GNMT and N2MT machine translation programs. The subject area is articles in the fields of social science and technical science. The evaluation items at the level of words, phrases, sentences, and text were presented, and the accuracy and fluency of Korean-Chinese machine translation were evaluated and analyzed in a 10-point scale. This paper categorizes the types of errors repeatedly appearing in machine translation into four and applied them as top evaluation items. Evaluation models were presented by supplementing and revising several evaluation models presented in previous studies. We will apply this to the text to be analyzed and examine the accuracy and difference of GNMT and N2MT. The analysis results are as follows. First, as a result of field evaluation, GNMT translated social science and technical science with almost the same accuracy. On the other hand, N2MT was significantly less accurate in translating technical science than in translating social science. Second, there were differences among error types, which were observed in translations of both GNMT and N2MT. The highest number of errors occurred at the word level for both neural network translators.

Abstract

This study conducted machine translation evaluation using GNMT and N2MT machine translation programs. The subject area is articles in the fields of social science and technical science. The evaluation items at the level of words, phrases, sentences, and text were presented, and the accuracy and fluency of Korean-Chinese machine translation were evaluated and analyzed in a 10-point scale. This paper categorizes the types of errors repeatedly appearing in machine translation into four and applied them as top evaluation items. Evaluation models were presented by supplementing and revising several evaluation models presented in previous studies. We will apply this to the text to be analyzed and examine the accuracy and difference of GNMT and N2MT. The analysis results are as follows. First, as a result of field evaluation, GNMT translated social science and technical science with almost the same accuracy. On the other hand, N2MT was significantly less accurate in translating technical science than in translating social science. Second, there were differences among error types, which were observed in translations of both GNMT and N2MT. The highest number of errors occurred at the word level for both neural network translators.

참고문헌 (23)

  1. 강병규, "신경망 기계번역의 작동 원리와 번역의 정확률 - 중한 번역을 실례로", 중어중문학, (73), pp.253~295 (2018), 한국중어중문학회[DOI]
  2. 공수, "기계번역 프로그램 품질에 대한 사용자 평가와 사용자의 L2 수준 간 상관관계 고찰 -한중 언어 쌍을 중심으로-", 통역과 번역, 21(3), pp.1~29 (2019), 한국통역번역학회[DOI]
  3. 곽중철, "포스트에디팅 측정지표를 통한 기계번역 오류 유형화 연구", 통번역학연구, 22(1), pp.1~25 (2018), 통번역연구소[DOI]
  4. 권도경, "2018년 인공신경망 기계번역의 중한 번역 현황 - 구글 번역과 네이버 파파고를 중심으로", 중국문학, 98, pp.233~266 (2019), 한국중국어문학회[DOI]
  5. 기유미, "한중 기계번역 오류의 문형별 비교분석-네이버 파파고 번역기와 구글 번역기를 중심으로-", 중국연구, 74, pp.3~32 (2018), 중국연구소[DOI]
  6. 김혜림, "기계번역과 인간번역의 문체 비교: 신문사설 한중번역을 중심으로", 통번역학연구, 24(1), pp.21~47 (2020), 통번역연구소[DOI]
  7. 남철진, "中韓(韓中) 번역을 통해 본 구글번역(GNMT)의 문제", 중국과 중국학, 34, pp.1~27 (2018), 중국연구센터[DOI]
  8. 송연석, "기계번역 담론에 대한 비판적 고찰", 번역학연구, 19(1), pp.119~145 (2018), 한국번역학회[DOI]
  9. 이재환, "Subword 유닛과 역 번역을 이용한 한국어-영어 신경망 기계 번역", 석사, pp.2019
  10. 이주리애, "인공신경망 기계 번역의 한일", 일한 번역 품질에 대한 예비연구-품질향상 검토와 교열코드 적용-, 2018, pp.20(1), 43~71[DOI]
  11. 이준호, "신경망기계번역의 객관적 평가를 위한 예비연구: 자동평가와 수동평가의 균형점", 통번역학연구, 23(3), pp.171~202 (2019), 통번역연구소[DOI]
  12. 정혜연, "번역의 자동평가: 기계번역 평가를 인간번역 평가에 적용해보기", 통번역학연구, 22(4), pp.265~287 (2018), 통번역연구소[DOI]
  13. 지인영, "신경망기계번역 기술 진화와 번역품질 분석", 통번역학연구, 24(3), pp.191~223 (2020), 통번역연구소[DOI]
  14. 최효은, "특허 기계번역 결과물의 평가 - KIPRIS의 무료 한영 기계번역을 중심으로", 통역과 번역, 19(1), pp.139~178 (2017), 한국통역번역학회[DOI]
  15. 황은하, "언어학적 지식에 기반한 한중 뉴스 표제의 기계번역", 번역학연구, 15(5), pp.333~362 (2014), 한국번역학회[DOI]
  16. Callison-Burch, C., "Re-evaluating the Role of Bleu in Machine Translation Research", pp.249~256 (2006)
  17. Hampshire, S., "Translation and the Internet:evaluating the quality of free online machine translators", Quaderns: revista de traducci, (17), pp.197~209 (2010)
  18. Koehn, P., "Six Challenges for Neural Machine Translation", Association for Computational Linguistics, pp.28~29 (2017)
  19. Knowles, R., "A user study of neural interactive translation prediction", Machine Translation, 33(3), pp.135~154 (2019)
  20. "MT evaluation: Human measures and assessment methods" (2013)[URL]
  21. "시스트란, 인공지능 고전문헌 자동 번역 시스템 구축" (2018), 블로터뉴스[URL]
  22. "네이버 번역기, 어디까지 왔니?" (2015), 블로터뉴스[URL]
  23. "카카오가 뒤늦게 번역서비스에 뛰어든 까닭은?" (2018), 블로터뉴스[URL]

관련 논문AI추천

2018년 인공신경망 기계번역의 중한 번역 현황 - 구글 번역과 네이버 파파고를 중심으로권도경, 김정수, 문수정, 허윤정한국중국어문학회 · 중국문학2019 · 제98권 한국어-스페인어 기계 번역 성능 분석 연구 -구글 번역기와 네이버 파파고를 중심으로황경진한국스페인어문학회 · 스페인어문학2022 · 제104호韓漢神經網絡機器翻譯質量考察 —以韓語同音異義動詞為中心홍연옥, LIU YAFEI한국중국어문학회 · 중국문학2021 · 제106권 신경망기계번역의 객관적 평가를 위한 예비연구: 자동평가와 수동평가의 균형점이준호통번역연구소 · 통번역학연구2019 · 제23권 제3호한국어 번역을 위한 문화소의 기계번역 연구-중국 외교연설문 번역의 정확도 평가를 중심으로-왕첨, 임형재다문화사회정책연구소 · 현대사회와 다문화2018 · 제8권 제2호‘ 구글 번역 ’ 기반 텍스트 유형별 중한 기계번역오류 현황 분석김윤정중국어문학회 · 중국어문학지2018 · 제65호

이 간행물의 다른 논문 (7건)

언택트 시대, 원격통역이 주는 도전과 기회 - 한국통번역사협회(KATI) 설문조사를 중심으로김순미pp. 1-33포스트에디팅 결과물에 나타난 오류 고찰 - AI 학습용 한영 번역 말뭉치를 대상으로김자경pp. 35-62법률번역에서 등가의 의미와 비교법적 분석사례 - ‘특수관계인’의 번역을 중심으로유정주pp. 63-95마샬 필의 <홍길동전> 경판본 번역 분석이상빈pp. 97-124이끔부 분석을 통해 본 자막 번역 전략이주은pp. 125-148
원문 보기