생성형 AI를 활용한 KFL 말하기 정확성 자동채점 연구 - 어휘 및 문법 사용의 정확성을 중심으로 -
A Study on Automated Scoring of KFL Speaking Accuracy Using Generative AI - Focusing on the Accuracy of Vocabulary and Grammar Usage -
5
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구의 목적은 생성형 AI GPT 프롬프트 엔지니어링을 통하여 한국어 말하기 정확성 범주에 대한 자동채점 모델을 만들고 활용 가능성을 살펴보는 데 있다. 이를 위해 GPT를 API로 구글 시트에 연결하여 하이퍼파라미터를 튜닝하였다. 그리고 ORCA, CoT, Self-Refine, Self-Consistency 등의 프롬프트 기법을 적용하여 말하기 정확성 자동채점 프롬프트를 구성하였다. 다음으로 한국어 학습자 말뭉치에서 선별한 150개 파일에 대해 전문가 채점과 GPT 자동채점의 일치도를 살펴보았다. 분석 결과 QWK 계수는 .8068로 일치도가 매우 높은 것으로 나타났다. 혼동행렬로 채점 결과를 살펴본 결과 1, 2점 분류의 성능은 매우 높은 반면 3점 분류의 성능은 낮은 것으로 나타났다. 본 연구의 결과는 생성형 AI 활용 한국어 평가 분야의 기초자료로서 의의를 가진다.
Abstract
The purpose of this study is to develop an automated scoring model for the accuracy category of Korean speaking through generative AI GPT prompt engineering and to examine its applicability. To this end, GPT was connected to Google Sheets via API, and hyperparameters were tuned. Various prompting techniques, including ORCA, Chain-of-Thought (CoT), Self-Refine, and Self-Consistency, were applied to construct prompts for automated scoring of speaking accuracy. Subsequently, the consistency between expert ratings and GPT-based automated scoring was analyzed using 150 learner speech files selected from a Korean learner corpus. The analysis revealed a Quadratic Weighted Kappa (QWK) coefficient of .8068, indicating a high level of agreement. Examination of the confusion matrix showed that the model performed well in classifying scores of 1 and 2, but less effectively in classifying score 3. The findings of this study provide meaningful foundational data for the field of Korean language assessment utilizing generative AI.