과학 학습의 어려움 진단을 위한 LLM 기반 대화형 에이전트 설계 및 평가
Design and Evaluation of LLM-Based Conversational Agents for Diagnosing Science Learning Difficulties
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 대형 언어 모델 기반 대화형 에이전트를 활용해 과학 학습의 어려움을 진단하는 방안을 탐색했다. 과학 학습의 어려움 분류 방식과 정서적 지지 여부를 달리한 4개 프로토타입 모델을 개발하고, ChatGPT 4o에 학생 역할을 부여해 시뮬레이션 실험을 수행했다. 실험 결과, 환경적 요인을 세분화한 모델이 개인 요인을 세분화한 모델보다 더 높은 진단 정확도를 보였으며, 정서적 지지의 포함 여부는 유의미한 영향을 미치지 않았다. 이를 바탕으로 설계한 개선 모델을 중학교 3학년 학생 12명에게 적용하고 대화 내용을 분석한 결과, 지역사회 요인을 포함한 일부 영역의 진단이 누락됨을 확인했다. 또한 학생이 주제를 이탈하거나 대화를 회피할 경우 진단을 조기에 종료하는 문제가 나타났다. 본 연구의 결과로부터 과학 학습의 어려움을 진단하기 위한 대화형 에이전트의 설계 방향을 제안했다.
Abstract
This study explores the use of large language model-based conversational agents to diagnose science learning difficulties. Four prototype models were developed by varying the classification schemes of science learning difficulties and the inclusion of emotional support, and simulation-based experiments were conducted by using ChatGPT-4o in the roles of students. The results showed that models using detailed classifications of environmental factors achieved higher diagnostic accuracy than those using detailed classifications of individual factors, while the inclusion of emotional support did not have a statistically significant effect. Based on these findings, an improved model was designed and applied to twelve students in the ninth grade. Analysis of the interactions revealed that certain areas, including community-related factors, were sometimes omitted from the diagnosis. In addition, the diagnostic process was prematurely terminated when students deviated from the topic or refused to continue the conversation. Drawing on these results, the study proposes design recommendations for conversational agents aimed at diagnosing science learning difficulties.