생성형 AI의 근대한어 번역 성능 분석 — ≪老乞大≫와 ≪朴通事≫를 대상으로
Analysis of Generative AI Performance in Translating Early Modern Chinese:Focusing on Nogeoldae(老乞大) and Baktongsa(朴通事)
0
조회
0
다운로드
0
인용
0
참고문헌
초록
본 연구는 세 가지 생성형 AI 모델(OpenAI의 ChatGPT-5, Google의 Gemini 2.5, 중국의 DeepSeek-V3)을 활용하여, 근대한어 회화 교재인 ≪老乞大≫와 ≪朴通事≫의 문장에 대한 번역 성능을 분석했다. 평가 항목은 화자 설정 및 끊어읽기, 어법과 어휘 해설, 속담과 경전 인용구 풀이, 문화적 배경 이해로 설정했다. 40점 만점으로 수치화된 평가에서 DeepSeek-V3가 31점으로 가장 높은 점수를 받았고, 그 다음으로 Gemini 2.5(28점), ChatGPT-5(24.5점) 순이었다. DeepSeek는 끊어읽기와 번역에서 뛰어난 성과를 보였으며, 이는 풍부한 중국어 근대한어 자료에 대한 더 나은 접근성 덕분일 수 있다. Gemini 2.5는 어휘와 어법 풀이를 잘하고 논리적 추론에 강점을 보였던 반면 번역상의 오류가 많았고, ChatGPT-5는 문화 배경 해설이 우수했지만 할루시네이션 현상이 가장 많이 나타났다. 이번 연구 결과는 AI가 상당한 수준의 근대한어 번역 능력이 있으며 연구자의 번역 시간과 노력을 줄이는 데 큰 도움이 된다는 점을 확인시켜 준다. 그러나 생성형 AI 활용의 한계점 또한 인식할 수 있었다. 많지 않은 양의 근대중국어 훈련 데이터로 인한 오류 가능성과 환각 현상으로 인해 발생하기 쉬운 미묘하고 찾기 어려운 오류의 위험성이다. 근대한어의 번역과 연구에 있어서 이러한 한계점을 인지하면서 여러 AI를 활용하여 상호 검증한다면 고품질의 번역과 높은 연구 역량을 기르는 데 도움이 될 것으로 보인다. 본 연구는 생성형 AI의 근대한어 번역 성능을 다양한 항목으로 평가한 최초의 연구이다.
Abstract
This study evaluated the performance of three generative AI models—OpenAI’s ChatGPT-5, Google’s Gemini 2.5, and China’s DeepSeek-V3—in translating sentences from Early Modern Chinese(EMC) conversation textbooks (Nogeoldae and Baktongsa). Evaluation focused on speaker identification and chunking, grammar/vocabulary explanation, idiom/quotation interpretation, and cultural background understanding. Quantified out of 40 points, DeepSeek-V3 scored highest (31), followed by Gemini 2.5 (28), and ChatGPT-5 (24.5). DeepSeek excelled in chunking and translation, possibly due to better access to rich Chinese EMC data. Gemini 2.5 showed strength in grammar and logical cultural inference, whereas ChatGPT-5 exhibited the most hallucinations. The findings confirm AI’s benefit in reducing translation time and effort. However, the study identifies critical limitations: potential errors from limited EMC training data and the risk of subtle, hard-to-find errors caused by hallucination. Utilizing multiple AIs for cross-validation, while acknowledging these limitations, is recommended for high-quality EMC research. This is the first study to review generative AI EMC translation across these diverse items.