GPT-3.5를 활용한 진로성숙도 문장완성검사 응답의 자동 정량화 및 문항반응이론 적용
Automated Quantification of Career-Maturity Sentence-Completion Test Responses Using GPT-3.5 and Application of Item Response Theory
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 문장완성검사를 통해 수집된 개방형 응답 데이터를 GPT‑3.5 언어모델로 자동 정량화하고, 이를 바탕으로 문항반응이론의 적용 가능성을 실증적으로 검토하고자 하였다. 구체적으로, AI-Hub의 고등학생 진로성숙도 문장완성검사 데이터셋을 이용하여, 상･중･하 3단계 전문가 태그를 기준으로 GPT-3.5 모형을 미세조정하고, 평가 텍스트를 리커트척도로 자동으로 재분류하였다. 등급반응모형을 사용해 정보량과 문항특성, 검사 정보함수를 비교한 결과, 재태그된 데이터는 초기 태그 대비 더 높은 정보량, 변별도, 난이도를 보여 다양한 능력 수준을보다 명확히 구분할 수 있었다. 이는 GPT-3.5 기반 응답 정량화가 문장완성검사의 평가 신뢰도와 객관성을 개선할 수 있으며, 향후 진로성숙도 진단을 비롯한 심리 및 교육평가 분야에서 차세대 평가 도구로서 기능할 수 있는 가능성을 시사한다
Abstract
This study explored the feasibility of leveraging a large language model (GPT-3.5) to automatically quantify open-ended responses in career maturity’s sentence- completion test (SCT), and examined the applicability of Item Response Theory (IRT) to the resulting data. Using the AI-Hub corpus of Korean high-school students’ SCT responses, we performed fine-tuning of GPT-3.5 on expert-annotated samples classified into three career-maturity levels (high, medium, low), and then rescored the entire corpus on a five-point Likert scale. The Graded Response Model analyses compared the original expert tags with GPT-derived scores in terms of item information, discrimination, difficulty, and test information functions. The GPT-based re-tagged data exhibited substantially higher information across θ, steeper discrimination parameters, and systematically ordered difficulty thresholds, indicating clearer separation among diverse ability levels. GPT-3.5–driven quantification can enhance the reliability, objectivity, and diagnostic precision of SCT-based career maturity assessments, positioning language models as promising tools for scalable and rigorous educational evaluation.