ChatGPT의 한영 번역 도구로서의 정확성 분석
Analysis of ChatGPT’s Accuracy on Korean-English Translation
0
조회
0
다운로드
12
인용
0
참고문헌
키워드
초록
2016년 알파고(AlphaGo)가 등장한 이후 2023년 현재에 이르기까지 인공지능(AI: Artificial Intelligence)은 우리 사회 전반에 광범위한 영향을 끼치고 있다. 영어교육에 있어서도 인공지능이 끼치는 영향력은 이제 새삼 강조할 필요가 없을 정도이며, 2022년 11월 Open AI가 공개한 생성형 인공지능 ChatGPT(Generative Pre-programmed Transformer)에 의해 그 영향력은 더욱 강해지고있다. 이에 따라 2023년부터는 ChatGPT를 활용한 영어교육 관련 연구가 다수 발표되고 있다. 본 연구에서는 ChatGPT의 번역 도구로서의 정확성을 알아보기 위해 한영 번역 결과물을 영어 원어민의평가를 통해 분석했다. 영어 원어민 평가자는 영어 번역문에 나타난 오류를 수정하고, 번역문 전체의완성도를 0∼5의 척도로 평가했다. 또한 본 연구자가 한국어 원문이 영어 번역문으로 바뀌는 과정에서 발생하는 부정확성을 번역 오류와 생략 등으로 나누어 분석했다(이정화, 차경환, 2022). 한영 번역은 텍스트의 종류에 따라 난이도가 다르기 때문에(윤여범, 2023; 이상빈, 2020), 텍스트를 세 종류(전공서적, 문학작품, 속담)로 나누어 ChatGPT의 한영 번역 정확성을 비교했다. 주요 결과는 다음과 같다. 첫째, ChatGPT는 세 종류의 텍스트 번역에 있어 문법적 오류는 거의 찾아볼 수 없을 정도의 정확성을 보여주었다. 둘째, 번역의 정확성은 전공서적에서 가장 높았으며 속담에서 가장 낮았다. 영어번역 결과물에 대한 원어민들의 평가에 있어서도 전공서적이 가장 정확하고 속담이 가장 부정확했으며, 번역 오류 분석에 있어서도 속담을 제외한 전공서적과 문학작품의 번역은 오류가 매우 적게 나타났다. 셋째, ChatGPT는 기존의 번역기와는 달리, 한국어 속담을 영어로 번역할 때 직역으로는 의미전달이 되지 않는 경우 속담의 비유적 의미에 대한 추가 설명을 제공하였다. 본 연구의 결과를 종합해볼 때, ChatGPT는 사실적 정보에 관한 텍스트 및 문학작품의 한영 번역을 위한 도구로서는 매우 훌륭히 사용될 것으로 판단된다. 또한, 번역뿐만 아니라, ChatGPT는 이미 영어교육의 많은 분야에서성공적으로 활용되고 있듯이, 한영번역을 뛰어넘어 읽기와 쓰기를 비롯한 영어교육의 다양한 분야에큰 변화를 가져올 것으로 판단된다.
Abstract
Since the introduction of AlphaGo in 2016, Artificial Intelligence (AI) has had a significant impact on our society as a whole. English education has also been significantly impacted by various AI tools, such as translators and chatbots. The impact of AI on English education is growing with the release of ChatGPT (Generative Pre-programmed Transformer) by Open AI in 2022. Many studies using ChatGPT in English education have been conducted to date. ChatGPT appears to have various functions that could be useful in English education. For example, ChatGPT can generate comprehension questions from a given English text, modify the text’s difficulty levels based on students’ proficiency, and provide corrective feedback on students’ writing. The current study attempts to assess the accuracy of ChatGPT’s Korean–English translation. Because accuracy varies depending on the text type, three Korean text types (text on factual information, a poem, and proverbs) were selected for this study. The results of ChatGPT’s Korean–English translation were evaluated by native English speakers. The following are the study’s main findings. First, ChatGPT translated the three types of text accurately, with almost no grammatical errors. Second, the accuracy of translation was highest in the text containing factual information and lowest in the proverbs containing many figurative expressions. Third, ChatGPT demonstrated some functions that were distinct from those of other translators. For example, it explains the figurative meaning of Korean proverbs in greater detail. According to the findings of this study, ChatGPT can be effectively used as a tool for Korean–English translation.
참고문헌 (33)
- 권서경, "생성형 인공지능 ChatGPT의 영어 독해 문항 풀이 능력 탐색", 영어교과교육, 22(2), pp.147~172 (2023), 한국영어교과교육학회
- 김경숙, "한국어 속담의 영어 기계번역에 미치는 격조사의 영향—구글번역기를 중심으로—", 언어학, 26(3), pp.139~157 (2018), 대한언어학회[DOI]
- 김영희, "로버트 프로스트와 T. S. 엘리엇의 크리스마스 트리－인간번역과 기계번역 차이연구", T. S. 엘리엇연구, 31(1), pp.1~21 (2021), 한국T.S.엘리엇학회
- 김인옥, "디지털교과서 및 번역기 활용 쓰기 활동이 6학년 학생들의 영어 쓰기 및 자기주도적 학습 태도에 미치는 영향", 초등영어교육, 26(2), pp.157~177 (2020), 한국초등영어교육학회[DOI]
- 김자경, "기사 헤드라인의 한-영 기계번역 고찰-헤드라인의 언어형식 측면을 중심으로", 언어학 연구, (58), pp.275~293 (2021), 한국중원언어학회[DOI]
- 김채은, "한영 기계번역에 나타나는 관계절 연구", 영어영문학21, 34(4), pp.279~305 (2021), 21세기영어영문학회[DOI]
- 김혜경, "역번역을 통한 기계번역의 한계와 발전 가능성 제고: 『채식주의자』를 중심으로", 동화와 번역, (37), pp.13~37 (2019), 동화와번역연구소
- 마승혜, "문학작품 기계번역의 한계에 대한 상세 고찰", 통번역학연구, 22(3), pp.65~88 (2018), 통번역연구소[DOI]
- 마승혜, "웹툰 한영 번역양상 및 멀티모달 기계번역(MMT) 활용 가능성 모색- 의성어", 의태어를 중심으로, 2021, pp.25(4), 103~124[DOI]
- 박수정, "챗GPT의 아이러니 번역 활용 가능성 고찰", 번역학연구, 24(2), pp.131~160 (2023), 한국번역학회[DOI]
- 박영란, "기계 번역에서의 영어속담 분석", 통번역교육연구, 16(1), pp.131~150 (2018), 한국통번역교육학회[DOI]
- 성민창, "ChatGPT로 분석한 2022 교육과정 활용 유의 사항:영어과 의사소통 기능과 예시문을 중심으로", 영어교과교육, 22(2), pp.173~195 (2023), 한국영어교과교육학회
- 신동광, "유도(guided) 쓰기 활동에서 ChatGPT의 활용 방안", 영어교과교육, 22(2), pp.197~217 (2023), 한국영어교과교육학회
- 윤여범, "알파고와 파파고: 인공지능과 영어교육의 관계", 한국초등교육, 31(4), pp.213~224 (2020), 초등교육연구원[DOI]
- 윤여범, "인공지능 시대의 영어 이야기" (2022), 한국문화사
- 윤여범, "한영 기계번역 발전 현황에 대한 문헌연구", 한국초등교육, 34(1), pp.1~15 (2023), 초등교육연구원
- 이동영, "Corpus - based Translation of Korean Weather News into English", 한국학연구, (57), pp.201~220 (2016), 한국학연구소[DOI]
- 이상빈, "기계번역에 관한 KCI 연구논문 리뷰: 인문학 저널 논문(2011∼2020년 초)의 논의내용과 연구방법을 중심으로", 통역과 번역, 22(2), pp.75~104 (2020), 한국통역번역학회[DOI]
- 이정화, "한국어 구어 문장 파파고 한-영 번역 오류 유형 고찰", 현대영어교육, 23(1), pp.56~65 (2022), 현대영어교육학회
- 이준호, "법률 특화 번역엔진 성능 평가 - 한영 계약서 번역을 중심으로 -", T&I REVIEW, 12(1), pp.169~192 (2022), 통역번역연구소[DOI]
- 이지은, "기계번역에서 이중주어 구문의 한영 번역 양상- 구글 번역과 네이버 파파고의 법조문 번역 사례 비교 -", T&I REVIEW, 12(1), pp.211~242 (2022), 통역번역연구소[DOI]
- 이창수, "한-영 신문사설 번역에서 나타나는 인간번역과 기계번역 간의 어휘 사용 차이 연구", 통역과 번역, 22(1), pp.245~262 (2020), 한국통역번역학회[DOI]
- 전상범, "영어음성학개론" (2005), 을유문화사
- 전혜리, "영어교육에서의 AI 활용 연구에 대한 체계적 문헌 고찰", 멀티미디어 언어교육, 24(1), pp.87~103 (2021), 한국멀티미디어언어교육학회[DOI]
- 조현용, "한국어 속담 교육 연구", 한국어교육, 18(2), pp.423~458 (2007), 국제한국어교육학회[DOI]
- 진실희, "소통적 통역 역량에 관한 연구: 연설문의 명제적 발화 및 대인적 발화 의도를 중심으로", 통번역학연구, 23(3), pp.263~290 (2019), 통번역연구소[DOI]
- 차수미, "초등영어교육에서 ChatGPT의 활용 방안 탐색", 멀티미디어 언어교육, 26(3), pp.130~150 (2023), 한국멀티미디어언어교육학회[DOI]
- 최윤희, "ChatGPT의 활용이 예비영어교사의 영어 요약하기 과정에 미치는 영향 탐색", 멀티미디어 언어교육, 26(2), pp.104~132 (2023), 한국멀티미디어언어교육학회[DOI]
- 최효은, "기계번역의 특허 전문용어 한영번역에서 나타나는 오류 양상 분석 – 구글 번역 결과를 중심으로", 언어학연구, 27(1), pp.217~244 (2022), 한국언어연구학회
- 안유영, "Performance of ChatGPT 3.5 on CSAT: Its Potential as a Language Learning and Assessment Tool", 영어교과교육, 22(2), pp.119~145 (2023), 한국영어교과교육학회
- Banitz, B., "Machine translation: A critical look at the performance of rule-based and statistical machine translation", Cad. Trad., Florianopolis, 40(1), pp.54~71 (2020)
- Bostrom, N., "Machines that think: Everything you need to know about the coming age of artificial intelligence" (2017), New Scientist
- 고성란, "An Analysis of Josa and Eomi in Translating Korean TV Dramas Into English With Artificial Intelligence", 영상영어교육, 23(2), pp.14~28 (2022), 영상영어교육학회