생성형 AI의 한국어 문맥 해석 연구 : 챗GPT의 접속 부사 해석을 중심으로
A Study on the Interpretation of Korean Context by Generative AI : Focusing on the Interpretation of Conjunctive Adverbs by ChatGPT
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구의 목적은 생성형 AI의 한국어 문맥 해석 성능을 평가하는 것으로, 이를 위해 접속 부사 {그래서/ 그러나/ 그런데/ 그리고}가 쓰인 784개 텍스트를 대상으로 챗GPT의 접속 부사 사용을 평가하고 오류의 원인을 분석하였다. 분석 결과 첫째, 챗GPT의 접속 부사 사용 오류율은 약 21%로 총 784개 중 170개의 텍스트에서 의미 해석의 오류가 발생했다. 둘째, [인과/ 대조/ 전환/ 나열] 중에서 오류 비율은 [인과/ 전환]의 {그래서}와 {그런데}가 약 30%로 가장 높게 나타났다. 이는 챗GPT가 예측과 추론이 필요한 [인과] 관계 해석에는 한계가 있음을 의미한다. 셋째, 텍스트 유형에 따른 오류 비율은 ‘소설’이 29%로 가장 높게 나타나고 ‘논설문’이 14%로 가장 낮게 나타났다. 이는 챗GPT가 논리에 기반한 텍스트에서 문맥을 더 정확하게 해석한다는 것을 의미한다. 넷째, 챗GPT는 문맥 의미를 해석하는 과정에서 접속 부사의 위치를 잘못 계산하거나 구절 및 문장의 일부를 누락하는 등 텍스트 분석 과정에서 오류가 나타났다. 본 연구는 생성형 AI의 한국어 문맥 해석 성능과 한계를 문장 층위에서 분석하였다는 점에서 의의가 있으며 이는 생성형 AI의 효과적인 사용 방법과 성능 개선 방안을 모색하는 데에 도움을 줄 것이다.
Abstract
The purpose of this study is to evaluate the performance of generative AI in interpreting Korean texts. Accordingly, we analyzed ChatGPT’s use of conjunctive adverbs in 784 texts to evaluate its performance in interpreting the context of the texts. As a result of the analysis, first, the error rate in the use of conjunctive adverbs was approximately 21%, which means that errors in semantic interpretation occurred in 170 out of 784 texts. Second, among [causation/contrast/transition/listing], the error rate was highest in {geuraeseo} and {geureonde} in [causation/transition]. Third, the error rates differed by text type, with "novels" showing the highest error rate at 29%, and "argumentative texts" the lowest at 14%. This indicates that ChatGPT interprets context more accurately in texts based on logical reasoning. Fourth, ChatGPT made errors such as miscalculating the location of conjunctive adverbs or omitting parts of phrases and sentences during the text interpretation process. This study is significant for quantitatively evaluating ChatGPT's performance in interpreting Korean text contexts and analyzing error causes.
참고문헌 (23)
- 한국어교육 어휘 내용 개발(1단계), "강현화", 국립국어원, 1~247 (2012)
- 김정숙, "한국어능력시험 20년 발전사와 최근 동향-1997년 제1회 시험부터 2016년 제52회 시험까지", 한국어 교육, 28(3), pp.1~24 (2017)
- ChatGPT로 치러본 2024 대학수학능력시험, "김태용", 11~18, pp.지능정보윤리 이슈리포 제4집 4호 (2023)
- 2023년 국어 기초 어휘 선정 및 어휘 등급화 연구, "김한샘", 국립국어원, 1~209 (2023)
- 류선숙, "한국어 학습자의 작문 자료에 나타난 접속 부사 사용 양상 연구 : 빈도 정보를 중심으로", 문법 교육, 29, pp.143~168 (2017)
- 박건숙, "ChatGPT 한국어 성능 평가와 한국어교육에서의 활용방안-한국어능력시험 읽기 문항을 중심으로", 문화와 융합, 46(1), pp.17~29 (2024)
- 백미경, "ChatGPT의 한국어 능력 평가에 대한 연구-한국어능력시험 읽기 영역 및 관용구를 중심으로", 언어사실과 관점, 59, pp.279~308 (2023)
- 소프트웨어정책연구소, "생성형 AI 이용 현황 및 노동 대체 가능성에 대한 이용자 인식 조사", SW중심사회, 4, pp.42~51 (2024)
- 손기준, "생성형 AI 모델의 한국문화 이해 능력 평가 방법에 관한 연구", 정보처리학회 논문지, 13(9), pp.421~428 (2024)
- 장정줄, "국어의 접속사 연구", 석사, 국어국문학, pp.1983
- 전영옥, "구어와 문어의 접속 부사 실현 양상 비교 연구", 텍스트언어학, 22, pp.223~247 (2007)
- "한국어능력시험(TOPIK) 평가틀 안내" (2020)[URL]
- 한송화, "한국어 접속 부사의 사용 양상 : 텍스트 유형에 따른 사용 양상을 중심으로", 언어사실과 관점, 31, pp.139~170 (2013)
- 한송화, "한국어 학습자의 접속 부사 사용 양상 연구-숙달도와 언어권의 차이를 중심으로", 한글, 311, pp.257~303 (2016)
- 한희정, "한국어교육을 위한 접속 표현 연구-언어 사용역에 따른사용 양상을 중심으로", 박사, pp.2017
- Ahia, O., "Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models", Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp.9904~9923 (2023)
- Beaugrande, R. de, "텍스트 언어학 입문" (1995), 한신문화사
- Clark, K., "What Does BERT Look at? An Analysis of BERT's Attention", Proceedings of the 2019 ACL Workshop BlackboxNLP:Analyzing and Interpreting Neural Networks for NLP, pp.276~286 (2019)
- Jang D, "GPT-4can pass the Korean National Licensing Examination for Korean Medicine Doctors", PLOS Digital Health, 2(12), pp.e0000416~ (2023)
- "GPT-4 Technical Report" (2023)[URL]
- "Hello GPT-4o" (2024)[URL]
- Zhang, T., "Benchmarking Large Language Models for News Summarization", Proceedings of the 2023Conference on Empirical Methods in Natural Language Processing, pp.13848~ (2023)