본문 바로가기
KERD
논문KCI 등재

한문고전문헌의 기계번역 평가방안 탐색

A Study on the Evaluation Method of Machine Translation in Classical Chinese

하지영|김우정|정성훈
근역한문학회 (The Association Of Korean Literature In Chinese)|2021.10|한문학논집(漢文學論集) (HANMUNHAKRONCHIP: Journal of Korean Literature in Chinese)|제60권 |pp. 105-156|DOI 10.17260/jklc.2021.60..105

0

조회

0

다운로드

6

인용

0

참고문헌

키워드

기계번역machine translation한문자동평가수동평가BLEUMETEORclassical chineseautomatic evaluationmanual evaluation

초록

이 글은 기계번역을 이용한 한문고전 번역물의 품질평가 방법을 살펴보고, 품질평가의 객관성을 제고하는 동시에 번역품질 향상에 기여할 수 있는 방안을 제안한 것이다. 고립어인 한문 고전문언문은 문체가 다양하고 문법상의 변화도 복잡하다. 또한 기계번역은 평가기준·평가목적·평가비용·텍스트의 종류 등도 함께 고려하여야 하므로 신뢰성이 높고 간편한 번역 품질 평가모델을 개발하기가 쉽지 않다. 자동평가는 기계번역의 어떤 요소가 번역 품질에 영향을 미치는지는 알 수 없으며, 점수가 가장 높은 기계번역 모델을 보여줄 수는 있지만 기계번역 품질에 대한 타당성을 보장하지는 못한다. 그리고 평가기준도 평가모델에 따라 달라질 수 있고 대량의 데이터를 필요로 하는 경우도 있다. 이런 문제점을 보완하기 위해서는 수동평가가 필요한데, 평가자 각각의 경험이나 수준이 존재하고, 평가기준에 대한 이해가 다를 수 있으며, 평가 환경이나 차수에 따른 차이 등 주관에 치우칠 우려도 불식하기 어렵다. 따라서 자동평가와 수동평가의 장단점을 고려하여 기계번역기의 성격과 목적에 맞는 평가방법을 찾아 적용하되, 기계번역 모델의 성능을 객관적으로 평가할 수 있는 척도를 개발하여야 하며, 궁극적으로 이러한 평가방법이 기계번역 모델의 문제점을 찾아 개선해나가는 데 도움이 될 수 있도록 해야 한다.

Abstract

The purpose of this paper is to examine several methods of translation quality evaluation on the classical chinese using machine translation, and suggest some ways to increase the objectivity of quality evaluation and improve the quality of translation. The classical chinese, an isolated language, have diverse styles and complicated grammatical changes. In addition, it is not easy to develop a reliable and easy translation quality evaluation model because machine translation should also consider evaluation standards, evaluation purposes, evaluation costs, and types of text. Automatic evaluation does not know which elements of machine translation affect translation quality, and although it can show the highest scoring machine translation model, it does not guarantee validity for machine translation quality. In addition, evaluation criteria may vary depending on the evaluation model and may require a large amount of data. To compensate for this problem, manual evaluation is required, which may have different results depending on the experience or level of the appraiser, understanding of the criteria, and the environment or number of evaluations. Therefore, considering the advantages and disadvantages of automatic and manual evaluation, an evaluation method suitable for the purpose of the machine translator shall be found and applied, but a measure shall be developed to objectively evaluate the performance of the machine translation model. And ultimately, these evaluation methods should help identify and improve the problems of the machine translation model.

참고문헌 (19)

  1. 2020년도 한국고전번역원 기획연구과제 최종보고서: 『승정원일기』 자동번역시스템의 활용방안 연구, "김우정", 한국고전번역원, ~ (2021)
  2. 이준호, "신경망기계번역의 객관적 평가를 위한 예비연구: 자동평가와 수동평가의 균형점", 통번역학연구, 23(3), pp.171~202 (2019), 통번역연구소[DOI]
  3. 천종성, "전문번역사들의 기계번역 수용에 관한 연구", 한국융합학회논문지, 11(6), pp.281~288 (2020), 한국융합학회[DOI]
  4. 최효은, "특허 기계번역 결과물의 평가 - KIPRIS의 무료 한영 기계번역을 중심으로", 통역과 번역, 19(1), pp.139~178 (2017), 한국통역번역학회[DOI]
  5. 2019년 클라우드 기반 고문헌 자동번역 확산 서비스 구축 : 사업추진결과보고서, "한국고전번역원", ~ (2019)
  6. Bazrafshan. M, "Semantic Features for Statistical Machine Translation", doctoral, pp.2014
  7. Banerjee, S., "METEOR: An automatic metric for MT evaluation with improved correlation with human judgments", Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and, 2005, 65~72
  8. Chung, Hye-Yeon, "Automatische Evaluation der Humanübersetzung: BLEU vs. METEOR", Lebende Sprachen, 65(1), pp.181~205 (2020)
  9. Denkowski, M, "Meteor 1.3: Automatic metric for reliable optimization and evaluation of machine translation systems", Proceedings of the sixth workshop on statistical machine translation, pp.85~91 (2011)
  10. Papineni, Kishore, "Bleu: a method for automatic evaluation of machine translation", Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp.311~318 (2002)
  11. Callison-Burch, C, "Re-evaluating the role of BLEU in machine translation research", 11th Conference of the European Chapter of the Association for Computational Linguistics, pp.249~256 (2006)
  12. Callison-Burch, C, "(Meta-)evaluation of machine translation", Proceedings of the Second Workshop on Statistical Machine Translation, pp.136~158 (2007)
  13. S. Hampshire, "Translation and the internet : Evaluating the quality of free online machine translators", Quaderns : Revista de Traduccio, 17, pp.197~209 (2010)
  14. Han. L, "“Machine translation evaluation resources and methods”. : A survey", arXiv: 1605.04515v8, Cornell University Library, ~ (2016)
  15. J. Hutchins, "An Introduction to Machine Translation" (1992), Academic Press
  16. John B. Carroll, "An experiment in evaluating the quality of translation", Mechanical Translation and Computational Linguistics, 9(3-4), pp.67~75 (1966)
  17. Rossi, L., "Applicability and application of machine translation quality metrics in the patent field", World Patent Information, 35, pp.115~125 (2013)
  18. Snover, M, et al, "A study of translation edit rate with targeted human annotation", Proceedings of the 7th Conference of the Association for Machine Translation in the Americas : Technical Papers, pp.223~231 (2006)
  19. Van Slype, G, "Practical Experience of Machine Translation", pp.79~93 (1982), North-Holland

관련 논문AI추천

수동, 자동 평가 비교를 통한 기계번역 품질 평가-Papago, Google, Baidu 번역을 중심으로임지선중국연구소 · 중국연구2024 · 제100권 古典文言文 기계번역의 현황과 과제김우정한국중국어문학회 · 중국문학2021 · 제109권 고전문언문(한문) 기계번역용 말뭉치 구축 방안 제안허철한국중문학회 · 중국문학연구2022 · 제88호한문고전 인공지능 번역 연구의 필요성과 선결 과제허철, 박용범, 배은한근역한문학회 · 한문학논집(漢文學論集)2019 · 제53권 신경망기계번역의 객관적 평가를 위한 예비연구: 자동평가와 수동평가의 균형점이준호통번역연구소 · 통번역학연구2019 · 제23권 제3호한문고전 번역서 평가 시스템 구축 및 평가모델안대회한국고전번역원 · 민족문화2007 · 제30권 제30호

이 간행물의 다른 논문 (8건)

조선초 서적간행의 토대 구축과 종이의 공급노요한pp. 7-42물질로서의 책과 兪晩柱의 도서 구매–책주릅 曺氏와의 거래를 중심으로–김하라pp. 43-7619세기 연행록에 나타난 아편, 아편전쟁임영길pp. 77-104데이터 정제의 관점에서 본 한국문집총간 XML 문서 검토조성덕, 최지연, 최동빈pp. 157-194디지털화된 이종 언어자원의 연계와 인문학 연구의 확장성 –통합디지털한한대사전과 KorLex의 연동 가능성 검토를 통해–윤애선pp. 195-244
원문 보기