ChatGPT 실시간 음성 대화 API 기반 한국어 학습자 삼중 파열음 발음 오류 평가의 설명 가능성 탐색
Exploring Explainability in the Evaluation of Korean L2 Learners’ Three-Way Stop Pronunciation Errors Using the ChatGPT Realtime API
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 GPT-4o Realtime API 기반 실시간 음성 대화 환경을 활용하여, 한국어 학습자의 삼중 파열음 발음 오류 평가에서 설명 가능성을 탐색하였다. 전사 기반 평가는 조음 안내에 한계가 있으므로, 음성을 직접 인식해 자연어로 응답하는 피드백의 교육적 잠재력을 실증적으로 검토하였다. AI-Hub의 인도네시아·베트남 학습자 40명의 120개 음성 자료에 대해 전문가 점수, Azure 점수, Realtime API의 발음 평가와 자연어 피드백을 수집하였다. Realtime API 응답은 오류 위치·원인·개선 및 격려로 주석화하고, 정합성 분석과 k-means 군집 분석을 수행하였으며, 세 체계 간 점수 분포는 기술통계와 Bland–Altman 분석으로 비교하였다. Realtime API와 Azure는 전문가보다 상대적으로 높은 점수를 산출했고, 양자 간 점수는 유사하였다. Realtime API는 오류 음절을 정확히 지목하고 구체적 개선 방향을 제시했으나, 원인 진술은 대체로 모호하여 ‘부분 정합’이 우세했다. 모든 문장에 격려가 포함되었으며, 칭찬, 수용, 명료성 강조, 연습 유도 등 다양한 유형이 나타났다. 삼중 파열음을 중심으로 Realtime API의 설명 가능성을 검토한 결과, 정량적 기준이 미흡한 상황에서도 학습자가 즉시 반응할 수 있는 음성 기반 설명형 피드백을 제공할 수 있음을 확인하였다. 향후 오류 원인의 음향음성학적 정합성과 실제 교육 적용 가능성에 대한 후속 검증이 필요하다.
Abstract
This study, motivated by the limitations of transcription-based evaluation for articulatory guidance, explores the explainability of pronunciation assessment using a GPT-4o Realtime API–based system, focusing on Korean L2 learners’ three-way stop consonants. A total of 120 utterances from 40 Indonesian and Vietnamese learners were analyzed, and expert ratings, Azure scores, and Realtime API assessments were collected. Realtime API outputs were annotated for error location, cause, correction, and encouragement. We examined explanation consistency, performed k-means clustering, and compared score distributions using descriptive statistics and Bland–Altman analysis. The Realtime API and Azure produced higher scores than experts and showed similar distributional patterns. The Realtime API accurately pinpointed erroneous syllables and provided concrete correction suggestions, although causal explanations were often vague, showing only partial consistency. All responses included encouragement (e.g., praise, acceptance, clarity emphasis, practice prompts). Focusing on Korean three-way stops, this study suggests that the Realtime API can deliver actionable, real-time, speech-based explanatory feedback; future work should validate acoustic-phonetic causes and explore classroom applicability.