대학생의 컴퓨팅 사고력 증진을 위한 LLM 활용 프로그래밍 교육용 프롬프트의 체계적 설계 및 검증
Systematic Design and Validation of Programming Education Prompts Utilizing LLMs to Enhance College Students' Computational Thinking Skills
2
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 LLM을 활용한 지속 가능한 프로그래밍 교육 솔루션 개발을 목적으로, 교육적 관점에 기반한프로그래밍 교육용 프롬프트(Programming Education Prompt, PEP)를 설계하고 그 효과성을 검증하였다. 기존 LLM 활용 연구들이 교육적 관점 부족과 API 기반 개별 서비스 개발에 집중하여 비용 및 확산문제 등의 한계를 보인 반면, 본 연구는 프롬프트 중심 접근을 통해 모든 교육 환경에서 제한 없이활용 가능한 솔루션을 제시하였다. 설계 기반 연구(Design-Based Research) 방법론을 적용하여 설계, 실행, 분석, 재설계의 반복적 순환 과정을 거쳤으며, 12명의 전문가 집단이 프롬프트 개발과 검증에 참여하였다. 개발된 PEP는 개념 학습, 프로그래밍 연습, 디버깅의 세 영역으로 구성되었으며, 전문가 검토 결과 모든영역에서 높은 타당도를 확보하였다(CVR=0.83-1.00). 15주 준실험(N=46)에서 PEP 집단은 알고리즘적사고 영역에서 통제집단 대비 통계적으로 유의한 향상을 보였다(p=.010). 평가 영역에서는 다중비교보정 후에는 통계적 유의성에 미치지 못하였으나(p=.022) 중간 크기의 실질적 효과를 확인할 수 있었다(δ =0.41). 이는 LLM 기반 프로그래밍 교육이 LLM의 단순 활용을 넘어 교육적 관점의 체계적 설계를 통해구현되어야 함을 시사하며, 프롬프트 중심 접근이 다양한 교육 환경에서 지속 가능한 대안임을 보여준다.
Abstract
This study aimed to develop a sustainable programming education solution utilizing LLMs by designing a Programming Education Prompt (PEP) based on pedagogical perspectives and validating its effectiveness. While existing LLM-based studies have shown limitations in cost and scalability issues by focusing on the lack of pedagogical perspectives and the development of individual API-based services, this study presented a solution that can be utilized without restrictions in all educational environments through a prompt-centric approach. Applying Design-Based Research methodology, the study went through iterative cycles of design, implementation, analysis, and redesign, with a group of 12 experts participating in the development and validation of the prompts. The developed PEP consisted of three domains: concept learning, programming exercise, and debugging, and expert review confirmed high validity in all domains (CVR=0.83-1.00). In a 15-week quasi-experiment (N=46), the PEP group showed statistically significant improvement in algorithmic thinking compared to the control group (p=.010). In the evaluation domain, statistical significance was not achieved after multiple comparison correction (p=.022), but a medium-sized practical effect was identified (δ=0.41). This suggests that LLM-based programming education should be implemented through systematic design from a pedagogical perspective beyond simple utilization, and demonst.