경력별 한국어 교사의 문법성 오류 교정 양상 ― 다중 교정 말뭉치 기반 정량 연구 ―
Grammatical Error Correction Patterns among Korean Language Teachers by Teaching Experience ― A Quantitative Study Based on a Multi-Annotated Corpus ―
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 다중 교정 말뭉치를 활용하여 한국어 교사의 문법성 오류 교정(GEC) 양상이 교사 경력에 따라 어떻게 달라지는지 정량적으로 분석하였다. 연구 자료는 경력 1~9년의 한국어 교사 5명이 독립적으로 주석하고 교정한 3,548개의 중급 학습자 문장으로 구성되었다. 문법성 판정에 대한 평가자 간 일치도는 Fleiss' Kappa로, 오류 초점 일치도는 IoU 기반 구간 일치 방식으로 측정하였다. 편집 강도와 오류 분포는 혼합모형과 카이제곱 검정을 통해 비교하였다. 분석 결과, 전체 문장의 일치도는 Kappa=0.596이었으나 오류 의심 문장 하위집합에서는 Kappa=0.334로 낮아져 의미·담화적 경계에서 상당한 이견이 존재함을 확인했다. 경력과의 단순 선형 관계 대신 교사별로 유의미한 특성이 관찰되었다. 5인 다수결 합의를 정답으로 가정했을 때 단일 평가자의 F1 점수는 평균 F1=0.884로 나타났다. 특히 평가자 수에 따른 성능 향상 곡선 분석 결과 3인의 독립적 평가자가 신뢰도와 비용 간의 최적 균형점임을 확인했다. 본 연구는 일치도 평가를 위한 이중 준거를 제시하고, 경력이 단순한 엄격성이 아닌 오류 주목의 질적 특성에 영향을 미침을 보여주며, 한국어 GEC를 위한 다중 참조 골드 데이터 구축의 실증적 근거를 마련하였다.
Abstract
This study quantitatively examines how Korean language teachers’ grammatical error correction (GEC) patterns vary by teaching experience (1–9 years) using a multi-annotated corpus. The dataset contains 3,548 mid-level learner sentences independently annotated by five teachers. Inter-rater agreement was measured with Fleiss’ Kappa and IoU-based span matching. Editing intensity and distributional patterns were analyzed via mixed-effects models and Chi-square tests. Results show Kappa=0.596 for all sentences but a drop to Kappa=0.334 for the subset of suspected errors, indicating substantial divergence at semantic/discourse boundaries despite high agreement on explicit form errors. No simple linear relation with experience emerged; instead, distinct teacher profiles were observed, ranging from conservative edits (T1) to extensive rephrasing (T3). Compared with the five-rater majority, single-rater performance yielded a mean F1 of 0.884. The analysis suggests that three independent raters represent an optimal balance between reliability and cost. The study contributes (i) a dual criterion for agreement, (ii) evidence that experience influences the qualitative nature of attentional focus, and (iii) empirical support for multi-reference gold construction in Korean GEC.