본문 바로가기
KERD
논문KCI 등재

수학교과에서 자동문항생성 기반의 디지털 평가 활용 방안: CAFA 시스템을 중심으로

The utility of digital evaluation based on automatic item generation in mathematics: Focusing on the CAFA system

김성연
한국수학교육학회|2022.11|수학교육 (The Mathematical Education)|제61권 제4호|pp. 581-595|DOI https://doi.org/10.7468/mathedu.2022.61.4.581

1

조회

0

다운로드

3

인용

0

참고문헌

키워드

수학Mathematics자동문항생성Automatic Item GenerationDigital Assessment디지털 평가문항모형CAFAItem Model

초록

본 연구의 목적은 수학 교과에서 자동문항생성을 활용하여 지식의 핵심 구조인 온톨로지모형 기반의 문항모형을 CAFA 시스템을 통해 제작하는절차를 명세하고, 생성된 문항 사례들을 탐색하는 데 있다. 이를 위한 사례로 수학 3의 대푯값과 산포도 단원의 평가준거 성취기준을 바탕으로개념과 계산을 포함한 내용적 특성과 적용을 포함한 과정적 특성을 바탕으로 형성평가에 적합한 문항모형을 제작하였다. 하나의 문항모형에서생성된 문항 유형은 최선답형, 정답형, 합답형, 미완성문장형, 부정형, 진위형, 배합형 등이었으며, 매체로는 Google Chart, HTML, TTS, 그림, 비디오 등을 활용할 수 있는 것으로 나타났다. 이를 바탕으로 자동문항생성 기반의 디지털 평가 활용방안에 대한 시사점을 학생, 예비교사, 일반교사그리고 특수교육 측면에서 논의하고, 본 연구의 한계점과 향후 연구방향을 제시하였다.

Abstract

The purpose of this study is to specify the procedure for making item models based on ontology models using automatic item generation in the mathematics subject through the CAFA system, and to explore the generated item instances. As an illustration for this, an item model was designed as a part of formative assessment based on the content characteristics, including concepts and calculations, and process characteristics, including application, using the representative values and the measures of dispersion in Mathematics of the 9th grade based on the evaluation criteria achievement standards. The item types generated in one item model were a best answer type, a correct answer type, a combined-response type, an incomplete statement type, a negative type, a truefalse type, and a matching type. It was found that HTML, Google Charts, TTS, figures, videos and so on can be used as media. The implications of the use of digital evaluation based on automatic item generation were suggested in the aspects of students, preservice teachers, general teachers, and special education, and the limitations of this study and future research directions were presented.

참고문헌 (53)

  1. Ala-Mutka, K., "Mapping digital competence: Towards a conceptual understanding", pp.7~60 (2011), Institute for Prospective Technological Studies
  2. Bejar, I. I., "Item generation for test development", pp.199~217 (2002), Erlbaum
  3. Bejar, I. I., "A feasibility study of on-the-fly item generation in adaptive testing", ETS Research Report Series, 2002(2), pp.1~44 (2002)[DOI]
  4. Boo, J., "Computer versus paper-and-pencil assessment of educational development : A comparison of psychometric features and examinee preferences", Psychological Reports, 111(2), pp.443~460 (2012)[DOI]
  5. Carroll, S. N., "Fourth grade student experiences in mathematics assessment: Computer versus paper-pencel testing modality", Doctor, pp.2021
  6. Introduction to Assessment Engineering. Assessment, Testing, and Measurement Technical Report Series, "Choi, J. H.", George Washington University, ~ (2017)
  7. Choi, J., "Evaluation of Automatic Item Generation Utilities in Formative Assessment Application for Korean High School Students", Journal of Educational Issues, 4(1), pp.68~89 (2018)[DOI]
  8. Choi, J. H., "Assessment engineering for learning analytics", Educational Development, 210, pp.42~45 (2019)
  9. Choi, J. H., "Educational innovation in the digital age : A plan to implement an intelligent learning analysis platform based on big data", Educational Development, 214, pp.44~50 (2020)
  10. Choi, J. H., "CAFA Model Example Book" (2022), Pubple
  11. Choi, J. H., (2012), CAFA Lab, Inc
  12. 추연구, "다문화교육과 특수교육의 통합교육적 접근", 지적장애연구, 16(2), pp.333~353 (2014), 한국지적장애교육학회
  13. Dardick, W., "Teacher empowered assessment system : Assessment for the 21st century", Journal of Applied Educational and Policy Research, 2(2), pp.87~98 (2016)
  14. Deane, P., "Model analysis and model creation : Capturing the task-model structure of quantitative item domains", ETS Research Report Series, 2006(1), pp.63~ (2006)[DOI]
  15. Embretson, S. E., "Automatic item generation : A more efficient process for developing mathematics achievement items?", Journal of Educational Measurement, 55(1), pp.112~131 (2018)[DOI]
  16. System for automatic generation of examination papers in discrete mathematics, "Fridenfalk, M", International Association for Development of the Information Society, ~ (2013)
  17. Gierl, M. J., "Automatic item generation: Theory and practice" (2012), Routledge
  18. Gierl, M. J., "Instructional topics in educational measurement(ITEMS)module : Using automated processes to generate test items", Educational Measurement : Issues and Practice, 32(3), pp.36~50 (2013)[DOI]
  19. Gierl, M. J., "Developing a taxonomy of item model types to promote assessment engineering", Journal of Technology, Learning and Assessment, 7(2), pp.1~51 (2008)
  20. Holling, H., "Automatic item generation of probability word problems", Studies in Educational Evaluation, 35(2-3), pp.71~76 (2009)
  21. Jeong, J. C., "Design and implementation of iterative contents based on SCORM in mathematics", Proceeding of the Winter Conference of the Korea Society of Computer and Information, 16, pp.153~158 (2008)
  22. 강나루, "중학생의 수학학습양식 및 유형 분석", 한국학교수학회논문집, 16(2), pp.363~381 (2013), 한국학교수학회
  23. Kang, S. K., "Research on mathematical automatic item generation based on dynamic knowledge-base", Proceeding of the Korean Information Science Society Conference (2020)
  24. Kellogg, M., "Construction of a dynamic item generator for K-12 mathematics", National Council on Measurement in Education Conference (2015)
  25. A study on the development of educational indicators and indexes (IV ), "Kim, C. H.", Korean Educational Development Institute, ~ (2015)
  26. Kim, H. I., "Development of web-based mathematics learning model for self-directed learning", Proceeding of the Korean Information Science Society Conference, 27(1B), pp.678~680 (2000)
  27. 김혜련, "포스트 코로나시대 초등 예비교사 대상 영어과교육 수업의 운영 방향 탐색", 교육연구, 81, pp.119~139 (2021), 교육문제연구소[DOI]
  28. 김선희, "외국의 중등 교육과정 분석을 통한 통계 영역 교육과정 개선 방안 탐색", 학교수학, 22(3), pp.631~650 (2020), 대한수학교육학회
  29. 김유정, "고등학생들의 과학 그래프 작성 및 해석 과정에서 나타난 오류", 한국과학교육학회지, 29(8), pp.978~989 (2009), 한국과학교육학회
  30. 김원, "수학 교사 공동체 관련 국내·외 연구 동향", 수학교육 논문집, 34(4), pp.439~464 (2020), 한국수학교육학회
  31. LaDuca, A., "Item modeling procedure for constructing content-equivalent multiple choice questions", Medical education, 20(1), pp.53~56 (1986)[DOI]
  32. 이상구, "시각장애청소년을 위한 3D 프린팅 촉각수학교재 모델 개발 연구 - 함수 지도와 관련하여 -", 수학교육 논문집, 30(4), pp.515~530 (2016), 한국수학교육학회
  33. Lee, E. H., "A summary-concept based analysis of the representative values and the measures of dispersion in the 9th grade textbook of Korean middle school", Master, pp.2010
  34. Lee, S. M., "Mathematical connection in teaching correlation-Analysis of 2015 Revised Mathematics Curriculum and textbooks-", Master, pp.2020
  35. Lim, H. J., "Study on the design and properties of automatically generated items: focusing on polynomial factorization", doctor, pp.2017
  36. Luecht, R. M., "Automatic item generation", pp.69~86 (2012), Routledge
  37. he guide of revision of educational curriculum, "Ministry of Education", Ministry of Education, ~, pp.Ministry of Education Notice No. 2015-80 (2015)
  38. 2018 Multicultural education support plan, "Ministry of Education", Ministry of Education, ~ (2018)
  39. "In order to strengthen digital public education, we will promote teacher competency enhancement and teacher recruitment" (2022)[URL]
  40. Mislevy, R. J., "On the roles of external knowledge representations in assessment design", Journal of Technology, Learning, and Assessment, 8(2), pp.1~56 (2010)[DOI]
  41. 오정석, "한글 워드넷을 이용한 동적 문제 출제 시스템 설계", 한국정보기술학회논문지, 4(5), pp.37~44 (2006), 한국정보기술학회
  42. 오규설, "자동문항생성 기법을 활용한 읽기 평가 개발에 대한 시론 -사실적 독해 문항 모형을 중심으로", 청람어문교육, (87), pp.7~34 (2022), 청람어문교육학회[DOI]
  43. 백희수, "중학생의 수학학습양식 선호유형의 범주화와 학습 특성 비교", 학교수학, 15(1), pp.15~35 (2013), 대한수학교육학회
  44. 2015 Revision mathematics curriculum proposal development study II, "Park, K. M.", Korea Foundation for the Advancement of Science and Creativity, ~ (2015)
  45. Park, J. H., "A study on teaching method for mathematics underachiever through step-by-step learning card-focused on ‘number and operations’ unit of 9th grade", Master, pp.2017
  46. 서경혜, "교사 전문성 개발을 위한 대안적 접근으로서 교사학습공동체의 가능성과 한계", 한국교원교육연구, 26(2), pp.243~276 (2009), 한국교원교육학회[DOI]
  47. Schwinning, N., "Concepts and Realizations of Flexible Exercise Design and Feedback Generation in an e-Assessment System for Mathematics", CICM Workshops, pp.1~10 (2014)
  48. Sinharay, S., "Automatic item generation", pp.193~205 (2012), Routledge
  49. Singley, M. K., "Item Generating for test development", pp.361~384 (2002), Lawrence Erlbaum
  50. Vescio, V., "A review of research on the impact of professional learning communities on teaching practice and student learning", Teaching and Teacher Education, 24(1), pp.80~91 (2008)[DOI]
  51. Automatic item generator for mathematical achievement items: MathGen3.0. Technical report IES1005A-2014 for Institute of Educational Sciences Grant R305A100234, "Wilson, J.", Cognitive Measurement Laboratory, Georgia Institute of Technology, ~ (2014)
  52. "Ontology, Wikipedia, Wikimedia Foundation" (2022)[URL]
  53. Xinxin, Z., "Using Automatic Item Generation to Create Content for Computerized Formative Assessment", doctor, pp.2019

관련 논문AI추천

고등학교 수학 과목 자동문항생성 문항모델의 Q-matrix 타당성 검정 연구권종겸, 류지훈, 조영진사범대학부속중등교육연구소 · 중등교육연구2025 · 제73권 제2호수학 구성형 답안의 자동 채점 연구에 관한 체계적 문헌 고찰김수훈, 하민수한국교육과정평가원 · 교육과정평가연구2024 · 제27권 제4호수학교육에서 AI 코스웨어의 디지털 유형학적 분석강다혜, 손태권한국수학교육학회 · 초등수학교육2024 · 제27권 제3호대규모 검사에서 구성형 수학문항을활용하기 위한 컴퓨터 채점의 타당화 분석김명화, 최대호한국교육개발원 · 한국교육2003 · 제30권 제3호자동문항생성 기법을 활용한 읽기 평가 개발에 대한 시론 -사실적 독해 문항 모형을 중심으로오규설청람어문교육학회 · 청람어문교육2022 · 제87호초등학생용 컴퓨터화 개방형 수학 시험 방식의 사용가능성 검증김용국, 박주용한국인지과학회 · 인지과학2010 · 제21권 제2호

이 간행물의 다른 논문 (6건)

Beyond adaptation: Transforming pedagogies of teaching elementary mathematics methods course in the online environment여승현, 권민성pp. 521-537교육적 지도서 개발 사례에 적용한 소설적 글쓰기 기법으로 살펴 본 예술기반 연구의 수학교육연구 활용 가능성 논의서희주pp. 539-557수학 교수학적 어휘의 변화: 텍스트 마이닝 기법을 이용한 교실수업 어휘 연구의 확장김희정, 이기마pp. 559-579종이에서 컴퓨터로의 매체 전환에 따른 평가 결과의 변화 탐색: 고등학교 수학 국가수준 학업성취도 평가를 중심으로정혜윤, 이경화, 김영준, 송창근pp. 597-612고등학생이 지각한 수학 수업방식이 수학자기효능감에 미치는 영향력에 대한 유형탐색: REBUS-PLS를 적용하여송효섭, 정희선pp. 613-629
원문 보기