생성형 AI 활용 문제해결역량 평가 방법 연구
"Study on Evaluation Methods for Problem-solving Capabilities using Generative AI"
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
"대부분의 학생들이 생성형 AI를 활용하고 있으며, 대학기관에서도 학생들에게 올바른 생성형 AI의 활용을 장려하고 가이드라인을 제정하여 운영하고 있다. 그러나, 생성형 AI는 통계적으로 가장 가능성이 높은 답변을 제시하기 때문에 논리적인 이해에 있어 한계가 있을 수밖에 없다. 이에 따라, 창의적이고 논리적인 프롬프트(Prompt) 작성 교육과 평가방법이 필요하다. 이에본 논문에서는 학생들이 생성형 AI를 활용하여 제출하는 과제물에 대해, 학생들의 생성형 AI 활용 문제해결역량을 정량적으로 평가할 수 있는 방법을 제안하였다. 이를 위해, 생성형 AI에게 질의할 내용을 Logic-Tree로 표현한 문제해결과정을 제시하고, 문제해결역량을 Logic-Tree를 활용하여 평가한 수식을 도출하였다. 그리고 제안한 평가방법의 이해를 돕기 위해, 특정 학생의Logic-Tree를 적용한 문제해결사례에서 측정된 평가 요소 값들을 제시하였고, 해당 학생의 생성형 AI를 이용한 문제해결역량최종 평가점수 사례를 제시하였다. 그리고 본 평가 방법에 대한 교육전문대학원생의 만족도 조사 결과를 바탕으로 제안한 정량적 평가 방법의 유효성을 분석하였다."
Abstract
"Most students are using generative AI, and universities are also encouraging students to use generative AI correctly and establishing guidelines. However, generative AI has limitations in logical understanding because it presents statistically the most probable answers. Accordingly, creative and logical prompt writing education and evaluation methods are necessary. In this paper, we propose a method to quantitatively evaluate students’ problem-solving ability using generative AI for assignments submitted using generative AI. To this end, we present a problem-solving process that expresses the content to be queried to generative AI as a Logic-Tree, and derive a formula for evaluating problem-solving ability using the Logic-Tree. In addition, to help understand the proposed evaluation method, we present the evaluation factor values measured in a specific student’s problem-solving case applying the Logic-Tree, and present an example of the final evaluation score of the student’s problem-solving ability using the generative AI. And the validity of the proposed quantitative evaluation method was analyzed based on the results of a survey on the satisfaction of graduate school students regarding this evaluation method."