GPTs 기반 문제해결 맞춤형 챗봇 제작 및 수학적 성능 분석
Development and mathematical performance analysis of custom GPTs-Based chatbots
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
본 연구는 폴리아의 문제해결 단계에 따라 풀이를 제공하는 GPTs 기반 맞춤형 챗봇을 제작하여 수학적 성능을검증하였다. 우선 맞춤형 챗봇 베타 버전을 제작하여 수학적 성능을 검증한 후 대표적인 오류를 수정하여 최종 맞춤형 챗봇을 완성하였다. 완성된 맞춤형 챗봇은 초등 수학6학년 교과서에 제시된 이미지 형태의 65개 문제 중 평균약 57.8개를 옳게 해결하여 약 89.0%의 정답률을 보였으며, 베타 버전에 비해 약 4%p 높은 정답률을 나타냈다. 또한 그림이 문제를 해결하는 데 핵심적인 역할을 하지않는 50개 문제의 경우 평균 45.5개를 옳게 해결하여 약91.0%의 정답률을 보였다. 완성된 맞춤형 챗봇의 답변 중대표적인 오류는 문제 인식 오류이며, 문제에 인식하기 어려운 그림이 사용되었거나 문제 구성이 복잡한 경우에 해당 오류가 나타났다. 다음으로 개념 혼동 오류, 문제 이해오류 등이 나타났다. 본 연구에서 개발한 문제해결 맞춤형챗봇은 범용적인 챗봇인 ChatGPT보다 우수한 수학적 성능을 보였다. 또한 학년 수준에 적절하도록 풀이 과정의조정이 가능하여 학생 개별화 맞춤형 지도에 활용할 수있으며, 누구나 제작이 가능하여 교사 개인별 수업 보조등 수학교육에서의 다양한 활용 가능성을 엿볼 수 있다.
Abstract
This study presents the development and performance evaluation of a custom GPT-based chatbot tailored to provide solutions following Polya's problem-solving stages. A beta version of the chatbot was initially deployed to assess its mathematical capabilities, followed by iterative error identification and correction, leading to the final version. The completed chatbot demonstrated an accuracy rate of approximately 89.0%, correctly solving an average of 57.8 out of 65 image-based problems from a 6th-grade elementary mathematics textbook, reflecting a 4 percentage point improvement over the beta version. For a subset of 50 problems, where images were not critical for problem resolution, the chatbot achieved an accuracy rate of approximately 91.0%, solving an average of 45.5 problems correctly. Predominant errors included problem recognition issues, particularly with complex or poorly recognizable images, along with concept confusion and comprehension errors. The custom chatbot exhibited superior mathematical performance compared to the general-purpose ChatGPT. Additionally, its solution process can be adapted to various grade levels, facilitating personalized student instruction. The ease of chatbot creation and customization underscores its potential for diverse applications in mathematics education, such as individualized teacher support and personalized student guidance.
참고문헌 (28)
- 강윤지, "수학 문장제 해결과 관련한 ChatGPT 의 교수학적 활용 방안 모색", 수학교육 논문집, 38(1), pp.49~67 (2024)
- 교육부, "수학 6-1" (2021), 비상교육
- "교육부", 2022
- 권오남, "ChatGPT의 수학적 성능 분석 : 국가수준 학업성취도 평가 및 대학수학능력시험 수학 문제 풀이를중심으로", 수학교육 논문집, 37(2), pp.233~256 (2023)
- 생성형 AI 교육자료: ChatGPT 사례 중심으로, "김귀훈", 서울특별시교육청, ~ (2023)
- 김덕진, "AI 2024 트렌드 & 활용백과" (2023), 스마트북스
- 김덕진, "챗봇 2025 트렌드 & 활용백과" (2025), 스마트북스
- 김성여, "수학 6-1" (2023), 아이스크림 미디어
- 김진중, "최고의 프롬프트 엔지니어링 강의" (2024), 리코멘드
- 류희찬, "수학 6-1" (2023), 금성출판사
- 박성선, "수학6-1" (2023), YBM
- 선주오, "대화형 수학 튜터링 시스템을 위한 데이터셋 설계 및 구축", 석사, pp.2024
- 손태권, "수학교육에서의 인공지능 : 지능형 교수시스템에 대한 체계적 문헌 검토", 수학교육학연구, 34(2), pp.187~208 (2024)
- 서지영, "랭체인으로 LLM기반의 AI 서비스 개발하기" (2024), 길벗
- 신항균, "수학6-1" (2023), 비상교육
- 안병곤, "수학 6-1" (2023), 두산동아
- 유호석, "제가 만든 GPT는 당신이 만든 GPT와전혀 다릅니다" (2024), 리코멘드
- 이규남, "프롬프트 엔지니어링으로 인공지능 제대로 일 시키기" (2023), 제이펍
- 이지혜, "인공지능을 활용한 맞춤형 수학학습 프로그램 개발", East Asian Mathematical Journal, 36(2), pp.273~289 (2020)
- 한대희, "수학 6-2" (2023), 천재교과서
- 허민, "제가 쓰는 챗GPT는 당신이 쓰는 챗GPT 와 전혀 다릅니다" (2023), 리코멘드
- Afzaal, M., "Explainable AI for data-driven feedback and intelligent action recommendations to support students self-regulation", Frontiers in Artificial Intelligence, 4, pp.1~20 (2021)
- "CLIP embeddings to improve multimodal RAG with GPT-4 Vision" (2024)[URL]
- Chelli, M., "Hallucination rates and reference accuracy of ChatGPT and bard for systematic reviews : Comparative analysis", Journal of Medical Internet Research, 26, pp.e53164~ (2024)
- Doc, N. V., "Teaching mathematics with the assistance of an AI chatbot to enhance mathematical thinking skills for high school students", International Journal of Current Science Research and Review, 6(12), pp.8574~8580 (2023)
- Holmes, W., "인공지능 시대의 미래교육: 가르침과 배움의 함의" (2020), 박영story
- Gallagher, M. A., "Making word problems meaningful", Mathematics Teaching : Learning & Teaching PK-12, 114(8), pp.580~590 (2021)
- Yeh, C. Y. C., "Enhancing achievement and interest in mathematics learning through Math-Island", Research and Practice in Technology Enhanced Learning, 14(5), pp.1~19 (2019)