ChatGPT의 한국어 능력 평가에 대한 연구 - 한국어능력시험 읽기 영역 및 관용구를 중심으로 -
A Study on the Assessment of Korean Language Proficiency of ChatGPT - Focusing on the Reading Section of TOPIK and Idioms -
0
조회
0
다운로드
17
인용
0
참고문헌
키워드
초록
이 연구의 목적은 한국어능력시험(TOPIK) 읽기 영역 및 관용구의 의미 분석을 통해 ChatGPT의 한국어 능력 수준을 밝히고 ChatGPT를 한국어 교육에 활용할 수 있는가에 대해 검증해 보는 것이다. 이를 위해 한국어능력시험(TOPIK) 읽기 영역 기출문제를 ChatGPT가 풀도록 하였으며, 초급과 중급 수준의 한국어 학습자를 위한 관용구 목록에 대해 사전적 의미와 ChatGPT가 제시한 의미를 서로 비교하였다. ChatGPT는 읽기 영역 기출문제의 경우 몇 가지의 유형을 제외하고는 대부분 정답을 제시하였다. 이와는 다르게 관용구의 의미 분석에 대해서는 초급과 중급 수준의 관용구임에도 불구하고 사전적 의미와 동일하게 제시되는 비율이 약 56%에 불과하였다. 이러한 분석을 통해 ChatGPT에서 나타나는 오류의 유형과 ChatGPT를 활용할 때 유의해야 할 사항들에 대해 파악할 수 있었다. 한국어 관용구의 교육을 위하여 ChatGPT를 사용할 경우 ChatGPT가 해당 표현의 의미를 올바르게 인지하고 있는지에 대한 확인이 반드시 필요하며, 교육 목적에 부합하는 자세한 프롬프트의 작성을 통해 ChatGPT가 한국어 교육을 위한 교육 자료로 활용될 수 있다는 것을 확인할 수 있었다.
Abstract
The purpose of this study is to examine the level of Korean language proficiency of ChatGPT by analyzing the reading section of TOPIK and meaning of idioms to verify whether ChatGPT can be utilized for Korean language education. To accomplish this objective, ChatGPT was asked to solve reading questions of TOPIK. Additionally, a comparison was made between the dictionary meaning and the meaning provided by ChatGPT for a list of idioms designed for beginner and intermediate level of Korean language learners. In terms of the reading section, ChatGPT demonstrated a high accuracy rate in providing correct answers for the majority of question types, except for a few specific types. In contrast, regarding the semantic analysis of idioms, despite being designed for beginner and intermediate levels of Korean language education, ChatGPT exhibited a relatively low correspondence of approximately 56% between the meanings provided and the dictionary meanings. Through this analysis, it was possible to identify the types of errors exhibited by ChatGPT and the important considerations to be mindful of when utilizing ChatGPT. When using ChatGPT for the education of Korean idioms, it is essential to verify whether ChatGPT correctly understands the meanings of the idioms. Through the development of detailed prompts that align with educational objectives, it was possible to confirm that ChatGPT can be utilized as educational material for Korean language education.
참고문헌 (15)
- 강동훈, "챗지피티(ChatGPT)의 등장과 국어교육의 대응", 국어문학, 82(82), pp.469~496 (2023), 국어문학회
- 김현진, "한국어 교육용 관용 표현 연구", 한국어와 문화, 17, pp.99~129 (2015), 숙명여자대학교한국어문화연구소
- 김형민, "웹 기반 한국어교육 연구의 동향과 전망", 이중언어학, (80), pp.105~136 (2020), 이중언어학회[DOI]
- 김혜령, "한국어교육을 위한 인공지능 활용 연구 동향", 배달말, (71), pp.337~374 (2022), 배달말학회
- 변정호, "생성적 인공지능의 교육적 활용 방안 탐색: 생물학습을 위한 ChatGPT 활용을 중심으로", Brain, Digital, & Learning, 13(1), pp.1~17 (2023), 뇌·AI기반교육연구소[DOI]
- 신동광, "영어교육에서 AI 활용의 한계는 어디쯤일까?: 자동 지문 생성 및 자동 문항 생성의 활용 가능성", 영어교과교육, 21(3), pp.147~163 (2022), 한국영어교과교육학회
- 신동광, "내용중심 영어 교수 학습의 도구로서 ChatGPT의 활용 가능성 탐색", 영어교과교육, 22(1), pp.171~192 (2023), 한국영어교과교육학회
- 윤양인, "인공지능 언어모델과 회계교육：ChatGPT의 성능과 활용가능성을 중심으로", 전산회계연구, 21(1), pp.1~29 (2023), 한국전산회계학회[DOI]
- 이찬규, "인공지능 시대, 한국어 교육의 방향과 전망", 한국언어문화교육학회 학술대회, 2018, pp.159~164 (2018), 한국언어문화교육학회
- 장성민, "챗GPT가 바꾸어 놓은 작문교육의 미래 - 인공지능 시대, 작문교육의 대응을 중심으로 -", 작문연구, (56), pp.7~34 (2023), 한국작문학회[DOI]
- 정동준, "한국어능력시험(TOPIK)에서의 관용 표현 문항 출제 필요성 연구 -신체관용구를 중심으로-", 한국어교육학회 학술발표논문집, 2017(1), pp.131~148 (2017), 한국어교육학회
- 정한민, "ChatGPT를 이용한 문헌 작성 설계 및 이슈", 한국지식정보기술학회 논문지, 18(1), pp.31~40 (2023), 한국지식정보기술학회[DOI]
- Chomsky, N., "Noam Chomsky: The False Promise of ChatGPT", The New York Times, ~ (2023)
- "표준국어대사전"[URL]
- "고려대 한국어대사전"[URL]