챗지피티가 구글만큼 번역도 잘할 수 있을까? - 프랑스어 → 한국어 번역에서 성능평가 및 특성 분석
ChatGPT peut-il traduire aussi bien que Google ? – Évaluation de ses performances et analyse de ses caractéristiques en traduction du français vers le coréen
0
조회
0
다운로드
7
인용
0
참고문헌
키워드
초록
최근 공개된 ChatGPT가 전문가뿐 아니라 일반 대중의 큰 관심을 끌고 있다. 다양한 분야에서 ChatGPT의 사용에 대해 기대와 우려의 시각이 공존한다. 교육 분야에서 첨단 기술을 무조건 배제하기보다, 본 연구진은 장점을 충분히 활용하고 단점을 보완하여 학습의 효율성을 높이는 것을 지향한다. 이를 위해서는 우선 그 특성과 성능을 파악하는 것이 중요하다. 이에, 본 연구에서는 ChatGPT-3.5의 프랑스어->한국어 기계번역 성능을 알아보기 위해, 구글신경망 기계번역 시스템(GNMT)과의 비교를 시도했다. 객관적인 비교를 위해, 선행연구에서 GNMT의 성능평가에 적용했던 동일한 방법론과 기준 및 평가말뭉치를 사용했다. ChatGPT의 주요 목적은 번역이 아니지만, 3.5 버전은 GNMT에 거의 근접하는 성능을 보였다. 몇 가지 오류 유형이 GNMT보다 ChatGPT-3.5에서 많이 발견되었는데, 원문에 없는 내용이 추가되거나 동일한 표현이 반복되는 현상이다. 한국어 번역문이 어색한 경우도 더 빈번했다. 이런 문제점은 생성형 모델의 특성에 기인한 것으로 보이는데, ChatGPT를 기계번역에 활용할 때 강화학습이나 미세조정을 통해 개선될 수 있을 것이다. ChatGPT 류의 인공지능 시스템은 인간 삶의 양태를 변화시킬 것으로 보인다. 프랑스어 교육에서도 이러한 환경 변화를 충분히 고려하여 방향성을 모색하고, 첨단 기술을 능동적으로 적용하기 바란다.
Abstract
ChatGPT a suscité un vif intérêt, tant auprès des experts que du grand public. Des attentes et des inquiétudes subsistent quant à son utilisation dans de nombreux domaines. Plutôt que d’exclure les nouvelles technologies du domaine de l’éducation, nous visons à accroître l’efficacité de l’apprentissage en exploitant pleinement ses forces et en compensant ses faiblesses. Pour ce faire, il est important de comprendre d’abord ses caractéristiques et ses performances. Cette étude a tenté de comparer ChatGPT-3.5 avec Google Translate (GNMT) pour évaluer ses performances en matière de traduction automatique. Bien que l'objectif principal de ChatGPT ne soit pas la traduction, sa version 3.5 a montré des performances comparables à celles de GNMT. Quelques types d'erreurs ont été observés plus fréquemment dans ChatGPT-3.5 que dans GNMT. Ces problèmes semblent être dû aux caractéristiques du modèle génératif tel que ChatGPT. Ses performances en traduction peuvent être suffisamment améliorées par un « apprentissage par renforcement » ou par un « ajustement fin ». Des systèmes d’intelligence artificielle de type ChatGPT devraient changer profondément le mode de vie des individus. Nous espérons que les didacticiens ou les pédagogues français prendront pleinement en compte ces changements environnementaux, réviseront les orientations éducatives et appliqueront activement les nouvelles technologies.
참고문헌 (24)
- Giono, Jean, "나무를 심은 사람" (2009), 민음사
- Lagarce, Jean-Luc, "단지 세상의 끝" (2013), 지식을만드는지식
- Sartre, Jean-Paul, "시대의 초상: 사르트르가 만난 전환기의 사람들" (2009), 생각의 나무
- "Frantext"[URL]
- "Google Translate(GNMT)PC버전"[URL]
- "ChatGPT-3. 5"[URL]
- 손승희, "문학 텍스트에서 프->한 기계번역의 정확도 평가와 오류 유형 분석", 석사, pp.2022
- 윤애선, "『디지털 바벨탑』 세우기, 어디까지 왔나? – 프-한 기계번역의 현황과 전망", 불어불문학연구, (117), pp.157~199 (2019), 한국불어불문학회[DOI]
- 윤애선, "기계번역 기술을 고려한 전공 프랑스어 문법 교과과정의 설계", 코기토, 89, pp.377~410 (2019), 인문학연구소[DOI]
- 윤애선, "미래 기술환경을 고려한 프랑스어 문법의 교수-학습", 불어불문학연구, (123), pp.349~381 (2020), 한국불어불문학회[DOI]
- 한국언어학회, "한국 현대언어학의 설계자들 - 이기용 교수와의 대화", 언어, 46(4), pp.1251~1264 (2021), 한국언어학회[DOI]
- 윤애선, "구글이 소설도 번역할 수 있나요? – 문학 텍스트에 적용한 프→한 기계번역 기술의 한계와 가능성", 불어불문학연구, (131), pp.273~306 (2022), 한국불어불문학회
- Boitet, Ch., "MT on and for the Web" (2010), IEEE
- Gao, Y., "How to Design Translation Prompts for ChatGPT: An Empirical Study", arXiv:2304.02182v2, ~ (2023)
- Gu, W., "Linguistically Informed ChatGPT Prompts to Enhance Japanese-Chinese Machine Translation: A Case Study on Attributive Clauses", arXiv:2303. 15587v1, ~ (2023)
- Jiao, W., "Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine", arXiv preprint (arXiv: 2301.08745v1), ~ (2023)
- "2023", ~
- Khoshafah, F., "ChatGPT for Arabic-English Translation: Evaluating the Accuracy" (2023)[DOI]
- Kocmi, T., "Large language models are state-of-the-art evaluators of translation quality", arXiv:2302.14520v2, ~ (2023)
- 이선화, "챗GPT를 적용한 번역수업 실천 사례 연구: 학부생 번역 과제를 중심으로", 번역학연구, 24(3), pp.351~379 (2023), 한국번역학회[DOI]
- "2023", ~
- "2023", ~
- "2023", ~
- "2023", ~