기계번역 후처리를 위한 생성형 AI의 프롬프트 반영 성능 연구: 프-한 신문 기사를 중심으로
Évaluation comparative des performances des IA génératives en post-édition assistée par prompts : étude de cas sur la traduction d’un article de presse français en coréen
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 4개의 생성형 AI(챗지피티, 제미나이, 클로드, 클로바 X)를 대상으로 프롬프트에 의한 포스트에디팅(‘반자동 PE’)*) 성능을 고찰하였다. 시기별(2024년 12월 말, 2025년 3월 초), 언어별(한국어, 영어, 프랑스어)로도 AI별 프롬프트 반영 성능 차이를 비교했다. 번역 텍스트로는 프랑스 신문 기사를 선정하여 위의 4개 AI로 한국어로 번역했고 그중에서 가장 좋은 번역 결과물을 분석했다. 번역 텍스트의 오류 수정을 위해 세 종류의 프롬프트를 설계하였다. 시기별 성능 비교는 영어 프롬프트로 하였고 프롬프트 명령어로서 언어별 성능연구는 영어와 프랑스어 프롬프트로 이루어졌다. 고찰 결과, 세 AI(챗지피티, 제미나이, 클로바 X)의 프롬프트반영 성능은 우수했으나 클로드는 매우 낮은 성능을 보였다. 시기별로 큰차이를 보인 AI는 제미나이였고 언어별 성능 차이를 보인 AI는 클로바 X였다. 본 연구를 통해 생성형 AI의 반자동 PE 가능성을 확인할 수 있었지만, AI별 프롬프트 반영 능력이 다르고 시기별, 언어별 성능 변화가 생길 수 있으므로 AI 활용에 앞서 이를 사전에 확인해야 할 것이다.
Abstract
Cette étude évalue les performances de quatre IA génératives - ChatGPT, Gemini, Claude et Clova X - en post-édition assistée par prompts (ou postédition semi-automatique). Deux périodes (décembre 2024 et mars 2025) et trois langues (coréen, anglais, français) ont été comparées pour analyser les variations temporelles et linguistiques. Le texte source, un article de presse traduit du français vers le coréen par les quatre IA, a servi de base à la postédition.Trois types d’erreurs ont été identifiés, et trois prompts, en coréen, en anglais et en français, ont été conçus pour les corriger. Lors des tests préliminaires, les prompts en coréen se sont avérés inefficaces ; l’analyse comparative dans le temps a donc été réalisée uniquement avec les prompts en anglais, tandis que celle entre langues s’est appuyée sur les prompts en anglais et en français. Les résultats montrent que ChatGPT, Gemini et Clova X ont bien exécuté les tâches de post-édition, tandis que Claude a obtenu les résultats les plus faibles. Gemini a fortement varié entre les deux périodes, refusant un prompt en mars 2025 en raison du caractère politiquement sensible du contenu. Clova X a été performant en anglais, mais moins en français. Ces résultats soulignent le potentiel des IA génératives pour la post-édition semiautomatique,ainsi que l’importance de considérer les spécificités des modèles et les variations selon la langue et le moment.