Key-Line 조건에 따른 생성형 AI 활용 문제 해결 역량 평가 방법 분석
Analysis of Evaluation Method for Problem-solving Capabilities using Generative AI according to Key-Line Conditions
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
대학 학부생들의 생성형 AI 활용 역량을 향상하기 위해서는, 관련 강좌의 개발과 함께 생성형 AI를 활용한 문제해결역량을평가하는 방법이 지속적으로 연구되어야 한다. 기존 연구에서는 생성형 AI 활용 결과물에 대해 정량적인 상대평가방법이 있었으며, 문제 해결에 생성형 AI를 활용하는 구조를 설계한 Logic-Tree에서 문제분해깊이 수, Key-Line 재사용 회수와 Key-Line 총개수를 측정하여 정량적으로 평가하였다. 본 논문에서는 기존 연구에서 제시되지 않은 평가방법으로서, 문제 해결에 생성형 AI를 활용하는 Logic-Tree 설계 시 1차 Key-Line 개수를 제한하는 문제들로 평가하는 방법을 제안하였다. 본 논문에서 제안한 평가문제들은 1차 Key-Line 개수를 2개부터 6개까지 적용하였다. 이를 통해 5가지 Logic-Tree 설계 평가문제를 제시하고 Logic-Tree설계 점수를 정량적으로 산출하는 방법을 제안하였다. 제안한 평가방법을 적용한 강좌를 통해 100명 학생 응답자들의 LogicTree 들을 수집하고 분석하였다. 결과 분석에서, Logic-Tree 문제분해깊이 수, Key-Line 재사용 회수와 Key-Line 총개수 특성들이 각 문제에서 제한한 1차 Key-Line 개수와 비례하는 상관관계를 나타내었다. 또한, 100명 평가 점수 분포에서, 제안한 평가방법이 정규 분포를 갖는 적절한 평가 변별력과 높은 난이도 특성을 나타내었다.
Abstract
To improve undergraduate students’ ability to utilize generative AI, ongoing research is needed, both in developing relevantcourses and in evaluating their problem-solving skills using generative AI. Previous studies have quantitatively assessed the outcomes of generative AI, measuring the depth of problem decomposition, the number of key-line reuses, and the total number ofkey-lines in logic trees designed to utilize generative AI for problem solving. This paper proposes an evaluation method not previously presented in previous studies: a method that limits the number of primary key-lines in logic trees designed to utilize generativeAI for problem solving. The proposed evaluation problems range from two to six primary key-lines. Through these evaluations,five logic-tree design evaluation problems were presented and a method for quantitatively calculating logic-tree design scores wasproposed. Logic-trees from 100 student respondents were collected and analyzed through a course utilizing the proposed evaluationmethod. Analysis of the results revealed that the number of logic-tree problem decomposition depths, the number of key-line reuses,and the total number of key-lines were proportionally correlated with the number of primary key-lines restricted for each problem. Furthermore, the proposed evaluation method demonstrated adequate evaluation discrimination with a normal distribution and highdifficulty, based on the distribution of 100 evaluation scores.