거대 언어 모델을 활용한 일차방정식 문항의 오개념 기반 오답지 자동 생성
Automatic generation of misconception–based distractors for linear equation items using large language models
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
교육의 디지털 전환과 함께 방대한 문항 은행 구축을 위한 자동 문항 생성(Automatic Item Generation, AIG) 연구의 중요성이 강조되고 있다. 그중, 학습자의 학습 결손을 진단하기 위한 매력적인 오답지(distractor) 생성의 중요성도 커지고 있다. 본 연구는 거대 언어 모델(Large Language Model, LLM)을 활용하여 중학교 수학 일차방정식 단원에서 오개념 기반의 오답지를 자동으로 생성하는 방안을 탐색하였다. GPT–4o 모델을 통해 논리적 오류를 포함한 5가지 오류 유형과 간단한일차방정식을 포함한 5가지 문항 유형을 기준으로 총 321개의 오답지를 생성하였다. 연구 결과, 오류 유형 중 세 가지 유형에서 약 60%의 성공률을 보였으나, 나머지 유형에서는 성공률이 낮거나 생성되지 않는 경우도 있었다. 문항 유형별 오답지생성 비율에서는 문장제 유형이 10.4%로 현저히 낮았으며, 다른 문항 유형에서는 평균 약 30%의 오답지가 성공적으로 생성되었다. 또한 생성된 오답지 중 일부는 오개념을 반영하기 위해 과도한 수식 변형을 보이거나 문제의 상황과 맞지 않는 비현실적인 답안을 제시하는 등의 한계를 드러냈다. 향후 연구에서는 오답지 생성의 정확성과 교육적 타당성을 높이기 위해학생들의 인지 과정을 더 잘 반영하는 프롬프트 개선 및 생성된 오답지의 실제 적용 가능성에 대한 추가적 논의가 필요하다.
Abstract
With the digital transformation in education, research on Automatic Item Generation (AIG) for building extensive item banks is becoming increasingly significant. In particular, generating effective distractors for diagnosing students’ learning deficiencies is crucial. This study explored methods for automatically generating misconception based distractors for linear equations in middle school mathematics using a Large Language Model (LLM). Employing GPT–4o, a total of 321 distractors were generated based on five error types, including logical errors, and five item types, such as simple linear equations. Results indicated approximately 60% success rates for three error types, whereas other types showed lower or no success. By item type, math word problems had notably low success (10.4%), while others averaged around 30%. Some generated distractors exhibited limitations, such as excessive algebraic manipulations or unrealistic solutions. Future studies should enhance prompt design to better reflect students’ cognitive processes and discuss practical applications of generated distractors.