본문 바로가기
KERD
논문KCI 등재

AI Hub의 학습용 말뭉치 데이터의 활용가능성 모색: ChatGPT의 번역 품질평가를 중심으로

A Study of the Usability of the AI Learning Corpus Data Provided by AI Hub: Focusing on ChatGPT’s TQA

전현주|박미진|곽은주|노재훈
한국번역학회 (The Korean Association for Translation Studies)|2023.12|번역학연구 (The Journal of Translation Studies)|제24권 제4호|pp. 129-169|DOI 10.15749/jts.2023.24.4.005

2

조회

0

다운로드

9

인용

0

참고문헌

키워드

ChatGPT챗GPTAI HubAI 학습용 말뭉치번역 품질평가용 테스팅 데이터BLEU 스코어환각효과AI learning corpusTQA testing dataBLEU scorehallucination
주제분류통역번역학

초록

This study attempted to verify the usability and applicability of the ‘AI Learning Corpus’ released by AI Hub as test data for quality assessment of the translation service provided by ChatGPT. For this purpose, the translation quality of ChatGPT and MT was evaluated using N-gram-based and segment-wise BLEU score analysis methods. As a result of the Translation Quality Assessment (TQA), the general-purpose MT, which is the subject of comparison, showed higher consistency and correlation with MTPE, a reference translation, in terms of the BLEU score index compared to the generative AI ChatGPT. In light of the fact that ChatGPT’s main purpose of use includes translation, the BLEU score measurement results showed, on the contrary, that the quality of general-purpose machine translation MT was high. The fundamental reason for the gap between MT_Basic and ChatGPT’s BLEU scores consistently presented in the analysis results is that hallucination issues may occur in ChatGPT’s translation quality judgment, especially depending on the platform user’s experience. It is judged to be a special achievement of the research.

Abstract

This study attempted to verify the usability and applicability of the ‘AI Learning Corpus’ released by AI Hub as test data for quality assessment of the translation service provided by ChatGPT. For this purpose, the translation quality of ChatGPT and MT was evaluated using N-gram-based and segment-wise BLEU score analysis methods. As a result of the Translation Quality Assessment (TQA), the general-purpose MT, which is the subject of comparison, showed higher consistency and correlation with MTPE, a reference translation, in terms of the BLEU score index compared to the generative AI ChatGPT. In light of the fact that ChatGPT’s main purpose of use includes translation, the BLEU score measurement results showed, on the contrary, that the quality of general-purpose machine translation MT was high. The fundamental reason for the gap between MT_Basic and ChatGPT’s BLEU scores consistently presented in the analysis results is that hallucination issues may occur in ChatGPT’s translation quality judgment, especially depending on the platform user’s experience. It is judged to be a special achievement of the research.

참고문헌 (44)

  1. 고원희, "문장 간 유사도와 문장 속성을 활용한 한영·영한 번역 병렬 말뭉치 품질 예측 모델", 정보과학회 컴퓨팅의 실제 논문지, 29(9), pp.410~417 (2023), 한국정보과학회[DOI]
  2. 과학기술정보통신부, "(제1권) 품질관리 가이드라인 v3.0", ~ (2023)
  3. 과학기술정보통신부, "(제2권) 구축 안내서 v3.0_산출물 작성 가이드", ~ (2023)
  4. 과학기술정보통신부, "(요약본) 품질관리가이드라인 v3.0", ~ (2023)
  5. 과학기술정보통신부, "초거대 인공지능(AI) 경쟁력 강화 방안", 관계부처 합동, ~ (2023)
  6. 과학기술정보통신부, "인공지능(AI) 학습용 데이터 구축･활용 고도화 방안", 관계부처 합동 및 내부자료, ~ (2021)
  7. 곽은주, "인간과 기계번역의 공존을 위한 담론:행위자 네트워크 이론을 중심으로", 통번역교육연구, 20(3), pp.5~32 (2022), 한국통번역교육학회[DOI]
  8. 김경훈, "인공지능 국가경쟁력의 현재와 미래", Weekly Column, 2020(9) (2020), 서울시산학연협력포럼
  9. 문석재, "저장-프로시저 기반의 비즈니스 프로세스 상호운용을 위한 XMDR Hub 프레임워크", 한국정보통신학회논문지, 12(12), pp.2207~2218 (2008), 한국정보통신학회
  10. 박수정, "챗GPT의 아이러니 번역 활용 가능성 고찰", 번역학연구, 24(2), pp.131~160 (2023), 한국번역학회[DOI]
  11. 박찬준, "공공 한영 병렬 말뭉치를 이용한 기계번역 성능 향상 연구", 디지털융복합연구, 18(6), pp.271~277 (2020), 한국디지털정책학회[DOI]
  12. 이선화, "챗GPT를 적용한 번역수업 실천 사례 연구: 학부생 번역 과제를 중심으로", 번역학연구, 24(3), pp.351~379 (2023), 한국번역학회[DOI]
  13. 이유정, "현대시 인공지능(AI) 번역의 오류 양상 연구 - ChatGPT-3.5를 활용한 김소월 시 번역결과물을 중심으로 -", 문화와융합, 45(10), pp.97~110 (2023), 한국문화융합학회
  14. 이창수, "챗GPT 출현 이후 기계 번역과 인간 번역 간의 번역 문체 차이 변화 연구", 번역학연구, 24(3), pp.539~561 (2023), 한국번역학회[DOI]
  15. 전현주, "4차 산업혁명과 한국의 번역산업 현황 및 통번역 교육의 미래", 통번역교육연구, 15(3), pp.235~261 (2017), 한국통번역교육학회[DOI]
  16. 전현주, "인간과 기계번역의 공존 패러다임 모색:PBL 기반의 AI 번역 툴 활용 번역수업 운영 프로세서를 중심으로", 통번역교육연구, 18(4), pp.59~96 (2020), 한국통번역교육학회[DOI]
  17. 전현주, "인공지능 번역플랫폼 기반 번역가의 직명 및 직무기술의 분화에 관한 연구", 통번역학연구, 26(1), pp.167~193 (2022), 통번역연구소[DOI]
  18. 지윤주, "학부번역전공자의 챗GPT 관련 인식과 챗GPT 번역 및 포스트에디팅 실험 연구", 통번역학연구, 27(3), pp.203~226 (2023), 통번역연구소[DOI]
  19. 최효은, "자동화된 기계학습(AutoML)을 활용한 특허 특화 번역엔진의 영한번역 성능 평가", 번역학연구, 24(2), pp.101~130 (2023), 한국번역학회[DOI]
  20. KISTEP 혁신정보분석센터, "KISTEP 브리프 87", ~ (2023)
  21. Adelani, David, "A Few Thousand Translations Go a Long Way! Leveraging Pre-trained Models for African News Translation", Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.3053~3070 (2022), Association for Computational Linguistics
  22. Angela Fan, "Beyond English-centric Multilingual Machine Translation", Journal of Machine Learning Research, 22(107), pp.1~48 (2021)
  23. Bang, Yejin, "A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity", arXiv preprint arXiv:2302.04023, ~ (2023)
  24. David Stap, "ChatGPT Is Not a Good Indigenous Translator", Proceedings of the Workshop on Natural Language Processing for Indigenous Languages of the Americas (AmericasNLP), pp.163~167 (2023), Association for Computational Linguistics
  25. Geng, Fang, "A New Direction for Post-editing with Artificial Intelligence: A Study Based on ChatGPT", Foreign Languages in China, 20(3), pp.41~47 (2023)
  26. Gao, Yuan, "Unleashing the Power of ChatGPT for Translation: An Empirical Study", arXiv preprint arXiv:2304.02182, ~ (2023)
  27. Jiao, Wenxiang, "Is ChatGPT a Good Translator? A Preliminary Study", arXiv preprint arXiv:2301.08745, ~ (2023)
  28. Rudolph, Jürgen, "ChatGPT : Bullshit Spewer or the End of Traditional Assessments in Higher Education?", Journal of Applied Learning and Teaching, 6(1), pp.342~360 (2023)
  29. Kurzweil, Ray, "The Singularity Is Near" (2005), Viking Books
  30. "2023", ~
  31. Wu, Jinrui, "A Comparative Analysis of Chinese-English Translation Quality Based on ChatGPT : A Case Study of Chinese Characteristic Words", Journal of Social Science Humanities and Literature, 6(5), pp.53~58 (2023)[DOI]
  32. AI-Driven Labor Substitution: Evidence from Google Translate and ChatGPT, "Yilmaz, Erdem Dogukan", INSEAD, 1~59, pp.INSEAD Working Paper No. 2023 (2023), 24[DOI]
  33. "ChatGPT 기술분석 백서: 1부 ChatGPT란" (2023)[URL]
  34. "챗GPT 이용 경험 및 인식 조사, 웹진 Media Issue 9(3)" (2023)[URL]
  35. "검색어_AI 허브 데이터" (2023)[URL]
  36. "2022년 인공지능 학습용 데이터 정식개방 안내" (2023)[URL]
  37. "AI 허브 데이터 활용을 위한 기계 번역앱 구축과 번역기 평가" (2023)[URL]
  38. "인공지능 학습용 데이터 품질관리 가이드라인 및 구축 안내서 v3.0 발간" (2023)[URL]
  39. "Latest News: Introducing ChatGPT" (2022)[URL]
  40. "2025년까지 AI 학습용 데이터 1,300종 추가 구축, 나라경제" (2020)[URL]
  41. "Number of ChatGPT Users and Key Stats (2023)" (2023)[URL]
  42. "디지털뉴딜 브리프" (2021)[URL]
  43. "Microsoft Co-founder Bill Gates: ChatGPT ‘Will Change Our World’" (2023)[URL]
  44. "The Global AI Index" (2021)[URL]

관련 논문AI추천

AI는 한영 번역을 어떻게 평가하는가? 챗GPT-인간 평가의 상관관계와 챗GPT 평가의 특징에 관하여이상빈, 이선우통번역연구소 · 통번역학연구2025 · 제29권 제1호AI-HUB 중국어 인공지능 학습용 데이터에 대한 품질 검증 방안 연구- ‘방송 콘텐츠 한-중 번역 병렬 말뭉치 데이터’를 중심으로고권태동북아시아문화학회 · 동북아 문화연구2025 · 제1권 제85호기계 번역 결과물 평가에 있어서 응결성 도입 가능성 고찰: 구글번역, 딥엘(DeepL), 챗지피티(ChatGPT) 번역의 코메트릭스(Coh-Metrix) 분석을 중심으로최효은한국통역번역학회 · 통역과 번역2025 · 제27권 제1호챗GPT, 파파고, 인간 번역가 간의 한영 문학번역 차이점 연구이창수한국번역학회 · 번역학연구2024 · 제25권 제2호생성형 AI 프롬프팅과 번역 효과에 관한 연구곽은주, 전현주, 탁진영한국통역번역학회 · 통역과 번역2025 · 제27권 제1호챗지피티가 구글만큼 번역도 잘할 수 있을까? - 프랑스어 → 한국어 번역에서 성능평가 및 특성 분석손승희, 윤애선한국불어불문학회 · 불어불문학연구2023 · 제136호

이 간행물의 다른 논문 (8건)

근대 전환기 여성 번역가 김명순의 「相逢」 번역—작품 선택과 번역 방식을 중심으로김자경pp. 9-36디아스포라 글쓰기로서의 이민진 소설 <파친코> 번역: 수사학적 상황을 중심으로정민경pp. 37-61한국에서 베누티의 번역이론의 전이와 수용이영훈pp. 63-90국내 게임 이용자들의 게임 번역 평가 사례 연구—온라인 커뮤니티 디시인사이드에 게시된 게임 번역 관련 이용자 게시글을 사례로김홍균, 김순영pp. 91-128중-한 번역뉴스에서 나타난 편역 연구류스원pp. 171-202
원문 보기