본문 바로가기
KERD
논문KCI 등재

ChatGPT의 수학적 성능 분석: 국가수준 학업성취도 평가 및 대학수학능력시험 수학 문제 풀이를 중심으로

Analyzing Mathematical Performances of ChatGPT: Focusing on the Solution of National Assessment of Educational Achievement and the College Scholastic Ability Test

정원|이경원|신병철|윤정은|오세준|권오남
한국수학교육학회|2023.06|수학교육 논문집 (Communications of Mathematical Education)|제37권 제2호|pp. 233-256|DOI https://doi.org/10.7468/jksmee.2023.37.2.233

0

조회

0

다운로드

27

인용

0

참고문헌

키워드

ChatGPT대학수학능력시험국가수준 학업성취도 평가college scholastic ability test수학적 성능mathematical performancesnational assessment of educational achievement

초록

이 연구는 수학교육에서의 ChatGPT의 활용 방안 도출을 위한 기초 연구로서 국가수준 학업성취도 평가 및 대학수학능력시험 문제에 대한 ChatGPT의 응답을 분석하였다. ChatGPT는 생성형 인공지능 모델로서 여러 분야에서 주목받고 있으며, 교육계에서도 ChatGPT 활용 방안에 대한 요구의 목소리가 높아지고 있다. 이에 이 연구에서는 3개년국가수준 학업성취도 평가 및 대학수학능력시험 문제에 대한 ChatGPT 3.5의 응답에 대해서 정답률, 풀이 과정의 정확도, 오류 유형을 분류하여 분석하였다. ChatGPT의 국가수준 학업성취도 평가 문제 및 대학수학능력시험 문제의정답률은 각각 37.1%, 15.97%로 나타났다. ChatGPT의 풀이 과정의 정확도는 5점 만점으로 산출하였을 때, 국가수준학업성취도 평가는 3.44점, 대학수학능력시험은 2.49점으로 산출되었다. ChatGPT의 수학 문제를 풀이하는 데 나타나는 오류 유형은 절차적 오류와 기능적 오류로 나뉘었다. 절차적 오류는 다음 단계로의 식을 연결 짓는 과정이나 계산상의 오류를 가리키며, 기능적 오류는 ChatGPT가 텍스트를 인식, 판단, 출력하는 과정에서 발생하는 오류였다. 이러한 분석은 정답률만이 ChatGPT의 수학적 성능을 판단하는 기준이 되어서는 안 되며, 풀이 과정의 정확도나 오류유형까지도 복합적으로 고려해야 함을 시사한다.

Abstract

This study conducted foundational research to derive ways to use ChatGPT in mathematics education by analyzing ChatGPT's responses to questions from the National Assessment of Educational Achievement (NAEA) and the College Scholastic Ability Test (CSAT). ChatGPT, a generative artificial intelligence model, has gained attention in various fields, and there is a growing demand for its use in education as the number of users rapidly increases. To the best of our knowledge, there are very few reported cases of educational studies utilizing ChatGPT. In this study, we analyzed ChatGPT 3.5 responses to questions from the three-year National Assessment of Educational Achievement and the College Scholastic Ability Test, categorizing them based on the percentage of correct answers, the accuracy of the solution process, and types of errors. The correct answer rates for ChatGPT in the National Assessment of Educational Achievement and the College Scholastic Ability Test questions were 37.1% and 15.97%, respectively. The accuracy of ChatGPT's solution process was calculated as 3.44 for the National Assessment of Educational Achievement and 2.49 for the College Scholastic Ability Test. Errors in solving math problems with ChatGPT were classified into procedural and functional errors. Procedural errors referred to mistakes in connecting expressions to the next step or in calculations, while functional errors were related to how ChatGPT recognized, judged, and outputted text. This analysis suggests that relying solely on the percentage of correct answers should not be the criterion for assessing ChatGPT's mathematical performance, but rather a combination of the accuracy of the solution process and types of errors should be considered.

참고문헌 (24)

  1. 강동훈, "챗지피티(ChatGPT)의 등장과 국어교육의 대응", 국어문학, 82(82), pp.469~496 (2023), 국어문학회
  2. 2018년 국가수준 학업성취도 평가 결과 분석-수학-, "구자옥", 한국교육과정평가원, ~, pp.연구자료 ORM 2019-45-3 (2019)
  3. "교육부, ‘챗GPT 활용원칙’ 만든다…이대에 정책연구 의뢰" (2023)[URL]
  4. 김세영, "개별화 맞춤형 수학 학습을 지원하는 AI 기반 플랫폼 분석", 수학교육 논문집, 36(3), pp.417~438 (2022), 한국수학교육학회[DOI]
  5. 박혜연, "수학 교수·학습을 위한 인공지능 플랫폼 분석 연구", 수학교육 논문집, 36(1), pp.1~21 (2022), 한국수학교육학회[DOI]
  6. 신동광, "내용중심 영어 교수 학습의 도구로서 ChatGPT의 활용 가능성 탐색", 영어교과교육, 22(1), pp.171~192 (2023), 한국영어교과교육학회
  7. 2019년 국가수준 학업성취도 평가 결과 분석: 중학교 수학, "이재봉", 한국교육과정평가원, ~, pp.연구자료 ORM 2020-23-3 (2019)
  8. 2019년 국가수준 학업성취도 평가 결과 분석: 고등학교 수학, "이재봉", 한국교육과정평가원, ~, pp.연구자료 ORM 2020-23-7 (2020)
  9. 2020년 국가수준 학업성취도 평가 결과 분석: 중학교 수학, "이재봉", 한국교육과정평가원, ~, pp.연구자료 ORM 2021-51 (2021)
  10. 2020년 국가수준 학업성취도 평가 결과 분석: 고등학교 수학, "이재봉", 한국교육과정평가원, ~, pp.연구자료 ORM 2021-55 (2021)
  11. 장성민, "챗GPT가 바꾸어 놓은 작문교육의 미래 - 인공지능 시대, 작문교육의 대응을 중심으로 -", 작문연구, (56), pp.7~34 (2023), 한국작문학회[DOI]
  12. 정제영, "챗GPT 교육 혁명" (2023), 포르체
  13. "美 의사시험 합격한 챗GPT, 수능 수학 성적은 '9등급'" (2023)[URL]
  14. 한국교육과정평가원, "2024학년도 대학수학능력시험 학습 방법 안내", 수능 CAT 2023-2-1, ~ (2023)
  15. ChatGPT usage and limitations, "Azaria, A.", HAL Open Science, ~, pp.hal-03913837 (2022)
  16. Devlin, J., "Bert : Pre-training of deep bidirectional transformers for language understanding", arXiv preprint arXiv:1810.04805, ~ (2018)
  17. Frieder, S., "Mathematical capabilities of ChatGPT", arXiv preprint arXiv:2301.13867, ~ (2023)
  18. Hinton, G. E., "A fast learning algorithm for deep belief nets", Neural Computation, 18(7), pp.1527~1554 (2006)
  19. Kung, T. H., "Performance of ChatGPT on USMLE : Potential for AI-assisted medical education using large language models", PLoS Digital Health, 2(2), pp.e0000198~ (2023)
  21. Stake, R. E., "The art of case study research" (1995), Sage publications
  22. Strauss, A., "Basics of qualitative research" (1990), Sage publications
  23. Vaswani, A., "Attention is all you need", Advances in Neural Information Processing Systems, 30 (2017)
  24. Weaver, W., "Machine translation of languages" (1955), MIT Press

관련 논문AI추천

수학 문장제 해결과 관련한 ChatGPT의 교수학적 활용 방안 모색강윤지한국수학교육학회 · 수학교육 논문집2024 · 제38권 제1호생성형 인공지능의 수학 문제 풀이에 대한 성능 분석: ChatGPT 4, Claude 3 Opus, Gemini Advanced를 중심으로권오남, 심효섭, 오세준, 윤정은, 정유진, 조윤주한국수학교육학회 · 수학교육2024 · 제63권 제3호GPTs 기반 문제해결 맞춤형 챗봇 제작 및 수학적 성능 분석권미선한국수학교육학회 · 초등수학교육2024 · 제27권 제3호GPTs 기반 예비 교사 교육 맞춤형 챗봇 개발 및 수학교육적 성능 분석권미선한국수학교육학회 · 수학교육2024 · 제63권 제3호ChatGPT의 수학교육 활용 가능성 탐색: 분수 문제에 관한 학생의 산출물과 예비교사의 담화 사례를 중심으로손태권한국수학교육학회 · 초등수학교육2023 · 제26권 제2호대규모 언어모델의 초등학교 수학 문제 풀이 성능 분석: OpenAI o1, Claude 3.5 Sonnet, Gemini 1.5 Pro를 중심으로김수진, 김용성한국교육정보미디어학회 · 교육정보미디어연구2025 · 제31권 제3호

이 간행물의 다른 논문 (9건)

수학과 교육과정 성취기준에 포함된 수행 동사 국제 비교: 한국, 미국, 영국, 호주의 수학과 교육과정을 중심으로권점례, 정수용, 정혜윤pp. 105-134이중 척도 모델에 대한 초등학교 6학년 학생들의 이해 분석: 분수의 나눗셈을 중심으로곽기우, 김소현, 방정숙pp. 135-157도구로서 인공지능과 교과로서 인공지능에 대한 중등 수학 교사의 인식 탐색권민성, 김지현, 심영훈pp. 159-181초등학생의 수학 청해력 실태 조사 연구김리나pp. 183-197수학학습에서 구분-대조 가설에 의한 교차연습의 효과류지민, 박미정pp. 199-212
원문 보기