비구조화된 문제 해결 과정에서 스캐폴딩 제공 생성형 AI 챗봇 개발
Development of a generative AI chatbot to support ill-structured problem-solving through scaffolding
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 학습자들의 비구화된 문제 해결 과정을 지원하기 위해 스캐폴딩을 제공하는 생성형 AI 챗봇 ‘Probot’을 개발하고 사용성 평가를 실시하였다. 첫 번째 단계로는 선행연구 수집 및 검토를 통해각 비구조화된 문제 해결 과정에서의 개념적 및 메타인지적 스캐폴딩을 설계한 후 전문가 타당도 검증을 진행하였다. 두 번째 단계로는 최종적으로 도출된 스캐폴딩 설계안을 기반으로 프롬프트 엔지니어링을 실시하여 개발한 Probot에 대한 사용성 평가를 진행하였다. 사용성 평가에서는 10명의 학습자들을 대상으로 Probot을 활용하여 비구조화된 문제를 해결할 수 있도록 하였으며, 이후 학습자 인식을측정하기 위한 설문조사와 인터뷰를 진행하였다. 수집된 설문조사 결과는 기술통계를 진행하였으며, 인터뷰는 주제분석을 실시하였다. 본 연구의 주요 결과는 다음과 같다. 첫째, 문제 표상 및 문제해결안 생성 및 선정 단계에서는 개념적 스캐폴딩과 메타인지적 스캐폴딩 모두 설계되었으며, 문제해결안정당화는 개념적 스캐폴딩, 문제해결안 검토 및 평가는 메타인지적 스캐폴딩이 설계되었다. 둘째, 설문조사 결과, 학습자들은 전반적으로 Probot에 대해 유용성, 사용 용이성, 지속 사용 의도, 몰입감 측면에서 긍정적으로 인식하였으나, 의인화 측면에서 낮은 인식이 나타난 것을 확인하였다. 셋째, 인터뷰 결과 학습자들이 Probot이 깊은 사고를 촉진하여 문제 해결을 지원했다는 측면을 긍정적으로 인식하는 것으로 나타났다. 넷째, 사용성 평가 결과를 기반으로 의인화 측면을 개선시키기 위한 프롬프트원칙을 추가하여 최종 개발을 하였다. 본 연구결과를 바탕으로 향후 스캐폴딩 제공 생성형 AI 챗봇설계와 관련한 시사점을 논의하였다.
Abstract
This study developed and evaluated the usability of a generative AI chatbot, Probot, to provide scaffolding for ill-structured problem-solving. In the first phase, conceptual and metacognitive scaffolding strategies were designed for each stage of the ill-structured problem-solving based on a review of prior studies, followed by expert validation of the scaffolding design. In the second phase, prompt engineering was conducted using the finalized scaffolding design. Usability was evaluated with 10 learners to solve an ill-structured problem using Probot, followed by a survey and interviews. Survey data were analyzed using descriptive statistics, while interview data were analyzed through thematic analysis. The key findings are as follows. First, both conceptual and metacognitive scaffolding were incorporated into the problem representation and solution generation/selection stages, while conceptual scaffolding was used for solution justification and metacognitive scaffolding for solution review and evaluation. Second, survey results indicated generally positive perceptions of usefulness, ease of use, intention to continue use, and engagement, but lower ratings for anthropomorphis. Third, interview findings revealed that Probot was perceived as fostering deep thinking and aiding problem-solving. Fourth, based on the usability evaluation, additional prompt design principles were incorporated to improve anthropomorphic qualities in the final version. Drawing on these results, the study discusses implications for designing generative AI chatbots that provide scaffolding in ill-structured problem-solving contexts.