GPT-4o를 이용한 물리치료사 시험 문제에 대한 난이도 분류 일치도 검증
Validation of Difficulty Classification Concordance using GPT-4o for Physical Therapy Exam Questions
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 물리치료 시험 문제 난이도 분류에서 GPT-4o의 타당성을 인간 전문가 평가와비교 검증하였다. 한국 3개 대학의 180명 물리치료 전문가(교수 11명, 학생 169명)가 GPT-4o가 5 단계로 분류한 525개 문항을 5점 리커트 척도로 평가했다. GPT-4o 분류는 인간 평가와 매우 높은상관관계를 보였으며(r = 0.988, p < 0.001), 인간 평가 변동의 97.6%를 설명했다. Bland-Altman 분석에서 체계적 편향은 최소였고(평균 차이 = -0.233), 평가자 간 신뢰도는 교수(ICC = 0.912)와 학생(ICC = 0.908) 모두 우수했으며, 기관 간 유의한 차이는 없었다(p = 0.794). 이는 GPT-4o가 물리치료 교육에서 신뢰할 수 있는 평가 도구로 활용될 수 있음을 시사한다.
Abstract
In this paper, we evaluated GPT-4o's validity for classifying physical therapy examination question difficulty compared to human expert assessments. A multi-institutional cross-sectional validation study was conducted across three South Korean universities with 180 physical therapy professionals (11 educators, 169 students) evaluating 525 questions previously classified by GPT-4o into five difficulty levels. Participants rated question difficulty using a 5-point Likert scale. GPT-4o classifications demonstrated exceptional correlation with human assessments (r = 0.988, p < 0.001), explaining 97.6% of variance in human ratings. Bland-Altman analysis revealed minimal systematic bias (mean difference = -0.233). Inter-rater reliability was excellent for educators (ICC = 0.912) and students (ICC = 0.908), with no significant institutional differences (p = 0.794). These findings support the use of GPT-4o as a reliable tool for educational assessment in physical therapy programs, with broad applicability for curriculum development and examination design.