본문 바로가기
KERD
논문KCI 등재

인간번역 자동평가에서 정답자와 평가자가 다르다면

Die Applikabilität der automatischen Evaluation von Humanübersetzungen

최혜림|정혜연|허탁성|명혜정
한국독일어문학회 (Koreanische Gesellschaft fuer Deutsche Sprache Und Literatur)|2021.08|독일언어문학 (Zeitschrift f？r Deutsche Sprache und Literatur)|제93호|pp. 75-95|DOI 10.30947/zfdsl.2021..93.75

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

품질자동평가BLEUMETEOR번역ÜbersetzungQualitätAutomatische Evaluation
주제분류독일어와문학

초록

번거로운 번역평가를 보다 쉽게 하기 위해 최근 기계번역에서 사용하는 자동평가 시스템 BLEU, METEOR을 인간번역 평가에 활용하려는 연구가 이루어지고 있다. 본 연구의 목적은 이 자동평가 시스템이 어느 조건에서나 사용 가능한지를 알아보고자 하는 것이다. 자동평가를 위해서는 정답번역을 제공할 사람과 자동평가의 타당성을 판단할 사람이 필요한데, 본 연구는 정댭자-평가자가 반드시 일치해야 하는가(<일치> 조건), 그렇지 않을 경우(<불일치> 조건), 그 차이는 어느 정도인가라는 질문에 대한 답을 구하고자 한다. 이를 위해 번역사 3인이 12개 독일어 원문에 대한 정답을 제공하고 같은 원문을 번역한 120개의 번역문을 평가했다. 같은 번역을 BLEU, METEOR도 평가한 후, <일치>, <불일치> 조건에서 인간평가-자동평가를 비교했다. 그 결과, <일치>가 <불일치> 조건보다 평가의 타당도가 높은 것으로 나타났지만, 그 차이는 유의미하지 않았다. 이는 무엇보다 인간평가자가 정답에 대한 넓은 공통분모를 가지고 있었기 때문으로 보인다. 이 실험을 통해 본 연구는 자동평가라고 하더라도 인간의 영향이 크다는 결론을 얻었다. 정답자-평가자가 동일인일 필요는 없지만, 다를 경우, 이들은 번역사, 평가자로서의 비견할만한 자질을 갖추어야 한다.

Abstract

Im vorliegenden Beitrag geht es um die Rolle des Menschen bei der automatischen Bewertung von Humanübersetzungen. Die Kernfrage lautet dabei, ob BLEU und METEOR, die beiden weit verbreiteten automatischen Bewertungssysteme, noch anwendbar wären, auch wenn der Evaluator, der die Validität der automatischen Bewertung prüft, nicht dieselbe Person wäre wie der Referenzübersetzer, welcher für die Maschine die „Musterübersetzung“ liefert. 120 Übersetzungen (12 Sachtexte wurden von 10 Universitätsstudenten übersetzt) wurden von drei professionellen Übersetzern/Evaluatoren sowie den automatischen Systemen BLEU und METEOR bewertet. Drei Evaluatoren lieferten jeweils ihre eigenen Referenzübersetzungen. Die Validität der automatischen Bewertungen (Korrelation zwischen menschlichen Evaluatoren und automatischen Systemen) wurde unter zwei verschiedenen Bedingungen, Kongruenz- [Referenzübersetzer=Evaluator] und Inkongruenzbedingungen, gemessen und sowohl auf der Ebene der Einzeltexte als auch des gesamten Korpus analysiert (ANOVA). Die Ergebnisse zeigten, dass die Inkongruenzbedingung die Validität von BLEU und METEOR nicht wesentlich beeinträchtigt, was wiederum bedeutet, dass im Falle der Bewertung durch BLEU und METEOR Evaluatoren und Referenzübersetzer durchaus separat engagiert werden können, solange sie mit vergleichbaren Übersetzerkompetenzen ausgestattet sind.

참고문헌 (22)

  1. 정혜연, "번역자동평가에서 풀리지 않은 과제", 번역학연구, 21(1), pp.9~29 (2020), 한국번역학회[DOI]
  2. 정혜연, "임베딩을 활용한 인간번역의 자동평가 - 기계가 의미를 평가할 수 있을까", 통번역학연구, 25(3), pp.141~162 (2021), 통번역연구소[DOI]
  3. 이향, "번역물 감수와 번역 교육" (2007), 한국학술정보(주)
  4. 정혜연, "번역의 자동평가: 기계번역 평가를 인간번역 평가에 적용해보기", 통번역학연구, 22(4), pp.265~287 (2018), 통번역연구소[DOI]
  5. 조정현, "BLEU를 활용한 단기 서술형 답안의 자동 채점", 한국 HCI학회 학술대회, pp.606~610 (2009)
  6. Ammann, Margret, "Entwurf eines Curriculums für einen Studiengang Transtologie und Transtorik" (1990), Julius Groos
  7. Banerjee, Satanjeev, "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments", Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and, 2005, 65~72
  8. Campbell, Stuart J, "Towards a Model of Translation Competence", Meta, 36(2-3), pp.329~243 (1991)
  9. Chomsky, Noam, "Aspects of the theory of syntax" (1965), MIT UP
  10. Chung, Hye-Yeon, "Automatische Evaluation der Humanübersetzung: BLEU vs. METEOR", Lebende Sprachen, 65(1), pp.181~205 (2020)
  11. Göpferich, Susanne, "Behind the Mind", pp.11~37 (2009), Methods, Models And Results in Translation Process Research
  12. Kelly, Dorothy, "Un modelo de competencia traductora: bases para el diseño curricular, Puentes", Hacia nuevas investigaciones en la mediación intercultural, 1, pp.9~20 (2002)
  13. Künzli, Alexander, "Current Trends in Translation Teaching and Learning", pp.9~24 (2006)
  14. Mossop, Brian, "Revising and Editing for Translators" (2001), St. Jerome
  15. Neubert Albrecht, "Developing Translation Competence", pp.3~18 (2000), John Benjamins
  16. PACTE, "Triangulating Translation", pp.43~68 (2003), John Benjamins
  17. Papineni, Kishore, "BLEU: a Method for Automatic Evaluation of Machine Translation", Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp.311~318 (2002)
  18. Robert, Isabelle, "Translation Revision Procedures: An Explorative Study", Selected Papers of the CETRA Research Seminar in Translation Studies 2007, pp.1~25 (2008)
  19. Robert, Isabelle, "Towards a model of translation revision competence", The Interpreter and Translator Trainer, 11(1), pp.1~19 (2017)
  20. Robin, Edina, "The Mordern Translator and Interpreter", pp.45~46 (2016)
  21. Russo, Mariachiara, "Testing aptitude for interpreting: The predictive value of oral paraphrasing, with synonyms and coherence as assessment parameters", Interpreting, 16(1), pp.1~18 (2014)
  22. Scocchera, Giovanna, "The competent reviser: a short-term empirical study on revision teaching and revision competence acquisition", The Interpreter and Translation Trainer, 14(1), pp.19~37 (2020)

관련 논문AI추천

번역자동평가에서 풀리지 않은 과제김보영, 김연주, 서승희, 송신애, 이진현, 전경아, 정혜연, 최지수, 허탁성, 홍승빈한국번역학회 · 번역학연구2020 · 제21권 제1호번역의 자동평가: 기계번역 평가를 인간번역 평가에 적용해보기정혜연통번역연구소 · 통번역학연구2018 · 제22권 제4호수동, 자동 평가 비교를 통한 기계번역 품질 평가-Papago, Google, Baidu 번역을 중심으로임지선중국연구소 · 중국연구2024 · 제100권 인간번역의 자동평가에서 번역 텍스트 길이가 평가 타당성에 미치는 영향최지수통번역연구소 · 통번역학연구2023 · 제27권 제2호임베딩을 활용한 인간번역의 자동평가 - 기계가 의미를 평가할 수 있을까박헌일, 서수영, 우경조, 정혜연통번역연구소 · 통번역학연구2021 · 제25권 제3호신경망기계번역의 객관적 평가를 위한 예비연구: 자동평가와 수동평가의 균형점이준호통번역연구소 · 통번역학연구2019 · 제23권 제3호

이 간행물의 다른 논문 (11건)

구글 도서 엔그램 뷰어로 문화 현상 읽기 - 독일어권 문화연구를 위한 디지털 인문학 도구의 한 예강병창pp. 1-25요스트 트리어 Jost Trier의 어원론 연구와 그 비판적 수용과 발전진정근pp. 27-52온라인 텍스트종류로서의 상품평 연구 - 독일 아마존 온라인 쇼핑몰의 ‘마스크’ 상품평을 중심으로이도영pp. 53-732009 개정 독일어 교육과정과 2015 개정 독일어 교육과정 독일어Ⅰ의 <목표>와 <성취기준>진술분석 - 의미연결망 및 CONCOR 분석을 활용하여임춘택, 이경택pp. 97-120수치심과 규범: 슈니츨러의 <꿈의 노벨레>를 중심으로김길웅pp. 121-140
원문 보기