한국어 번역 교육을 위한 인공지능 기반 평가모델 연구 -다중 자동평가지표 활용을 중심으로-
A Study on AI Models for Korean Translation Evaluation -Focusing on Multi-layered Automatic Evaluation Metrics (AEMs)-
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본고는 다중 자동평가지표(Multi-layered AEMs)를 활용한 번역 자동평가 모델의 구축과응용에 대한 실제 개발과정을 담고 있다. 인공지능 모델을 활용한 자동평가지표는 기계번역 시스템의 성능을 신속하고 객관적으로 평가할 수 있는 도구로, 인간 평가보다 효율적이며 일관된 결과를제공한다. 형태, 통사, 의미의 다양한 측면을 평가할 수 있는 지표들을 통합하여포괄적이고 신뢰성 있는 번역 평가 모델을 개발하였다. 이를 위해‘AEM-L2’, ‘AEM-S1’, ‘AEM-M1’ 지표를 활용하여 번역 품질을 다각적으로 평가하고 개선할 수 있는 모델을 설계하였다. 또한, 번역 자동평가모델프로그램 개발 사례를 통해 실제 구현 가능성을 탐구하였으며, 번역학습자와 전문가에게 유용한 피드백을 제공하였다. 더 나아가 통역 평가에서도 STT(Speech to Text)와 TTS(Text to Speech) 기술을 도입하여 통역의 정확성과 자연스러움을 평가하는 방법을 제안하였다. 이러한 모델은번역 품질을 향상시키는 데 중요한 도구로 작용할 수 있으며, 자동평가와인간 평가의 통합을 통해 더욱 정밀한 평가를 가능하게 한다. 향후연구에서는 기존 지표의 보완뿐 아니라 새로운 지표의 도입을 통해 평가의 포괄성을 확대할 필요가 있다. 앞으로는 더 다양한 자동평가지표를 통합하고, 화용적 측면을 평가할 수 있는 지표 개발이 필요하다. 연구의 한계로는구체적인 자동평가지표의 이름을 공개하지 않은 점과 화용적 평가 지표의 부재가 있다. 본 연구는 번역 시스템 성능 향상과 번역 교육의 질을 높이는 데 기여할 수 있을 것이다.
Abstract
Journal of the International Network for Korean Language and Culture 21-4, 183-210. Using Multi-layered Automatic Evaluation Metrics (AEMs) like AEM-L2, AEM-S1, and AEM-M1, this study develops a model to evaluate translation quality across form, syntax, and semantics. Its implementation offers valuable feedback for learners and professionals. It also suggests integrating Speech-to-Text and Text-to-Speech technologies to assess interpretation accuracy and naturalness. Future research will focus on more diverse, pragmatic evaluation metrics. (Hankuk University of Foreign Studies)
참고문헌 (17)
- 백설, "중한 기계번역의 품질평가 BLEU에 관한 연구", 석사, pp.2022
- 원몽, "중한 MT 번역에서의 프롬프트 유효성 분석", 석사, pp.2024
- 임형재, "한국어 교육에서 AI 번역의 활용 방안 연구-프롬프트설계의 유효성과 PE 활동을 중심으로", 문화교류와 다문화교육, 13(2), pp.351~372 (2024)
- 임형재, "한국어 통번역사를 위한 AI 번역의 이해" (2023), 소통
- 정혜연, "번역의 자동평가 : 기계번역 평가를 인간번역 평가에 적용해보기", 통번역학연구, 22(4), pp.265~287 (2018)
- 정혜연, "임베딩을 활용한 인간번역의 자동평가 - 기계가 의미를 평가할수 있을까", 통번역학연구, 25(3), pp.141~162 (2021)
- 조정현, "BLEU를 활용한 단기 서술형 답안의 자동 채점", 한국HCI학회학술대회, pp.606~610 (2009)
- 최지수, "인간번역 품질평가를 위한 자동평가 모델 BLEU의 수정과 적용", 박사, pp.2023
- Colombo, P., "The Glass Ceiling of Automatic Evaluation in Natural Language Generation", Findings of the Association for Computational Linguistics IJCNLP-AACL 2023, pp.178~183 (2023)
- Forcada, M., "Towards Optimizing MT for Post-Editing Effort : Can BLEU Still Be Useful", The Prague Bulletin of Mathematical Linguistics, 108, pp.183~195 (2017)
- Kenny, D., "Translation and Multilingual Natural Language Processing" (2020), Language Science Press
- Lin, C. Y., "Rouge: A Package for Automatic Evaluation of Summaries", Proceedings of the Workshop on Text Summarization Branches Out, pp.74~81 (2004)
- "Deep translation quality assessment - even Google does not get it right" (2022)[URL]
- Saadany, H., "BLEU, METEOR, BERTScore: Evaluation of Metrics Performance in Assessing Critical Translation Errors in Sentiment-oriented Text", Proceedings of the Translation and Interpreting Technology Online Conference, pp.48~56 (2021)
- Zaretskaya, A., "Machine Translation Post-editing at TransPerfect – The ‘Human’ Side of the Process", Revista Tradumàtica. Tecnologies de la Traducció, 15, pp.1~11 (2017)[DOI]
- Zhang, T., "BERTScore: Evaluating text generation with BERT", 2020 The International Conference on Learning Representations(ICLR), pp.1~43 (2020)