본문 바로가기
KERD
논문KCI 등재

다변량일반화가능도 이론을 적용한 자동문항생성 기반 평가에서의 신뢰도 탐색

Exploring the Reliability of an Assessment based on Automatic Item Generation Using the Multivariate Generalizability Theory

김성연|정진민
과학교육연구소 (Science Education Research Institute)|2023.08|과학교육연구지 (Journal of Science Education)|제47권 제2호|pp. 211-224|DOI 10.21796/jse.2023.47.2.211

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

신뢰도평가reliabilityassessment자동문항생성다변량일반화가능도 이론automated item generationmultivariate generalizability theory

초록

본 연구의 목적은 예시 자료를 활용하여 자동문항생성을 기반으로 생성된 평가도구의 신뢰도를 산출하는 방안을 제시하는 데 있다. 이를 위해 학생들마다 다른 문항에 응답하는 설계와 평가 점수에 다중 오차요인을 반영할 수 있는 다변량일반화가능도이론을 예시 자료에 적용하여 분석하였다. G-연구 분석 결과, 대부분의 설계에서 잔차 효과 다음으로 고전검사이론의 진점수에 해당하는 학생 효과가 크게 나타났다. 또한 문항 내용 영역을 고정한 설계에서 학생들의 상대적 순위는 문항 유형이나 문항에 따라 변하지 않았으며, 문항 유형을 고정한 설계에서 내용 영역에 따라 난이도는 거의 변화가 없는 것으로 나타났다. D-연구 분석 결과, 원자료는 적정 수준 이상의 신뢰도를 확보하였으며, 수와 연산, 기하, 확률 및 통계 영역의 문항 수를 줄이거나 문자와 식과 함수 영역의 가중치를 높게 반영함으로써 원자료보다 높은 신뢰도를 산출할 수 있는 것으로 나타났다. 본 연구에서 제시한 효율적인 측정 조건은 예시 평가 자료에 제한되지만 본 연구에서 활용한 방법은 자동문항생성 기반의 다양한 평가 상황에서 측정학적 특성을 바탕으로 신뢰도를 산출하고, 효율적인 측정 조건을 탐색하는 데 적용 가능하다.

Abstract

The purpose of this study is to suggest how to investigate the reliability of the assessment, which consists of items generated by automatic item generation using empirical example data. To achieve this, we analyzed the illustrative assessment data by applying the multivariate generalizability theory, which can reflect the design of responding to different items for each student and multiple error sources in the assessment score. The result of the G-study showed that, in most designs, the student effect corresponding to the true score of the classical test theory was relatively large after residual effects. In addition, in the design where the content domain was fixed, the ranking of students did not change depending on the item types or items. Similarly, in the design where the item format was fixed, the difficulty showed little variation depending on the content domains. The result of the D-study indicated that the original assessment data achieved a sufficient level of reliability. It was also found that higher reliability than the original assessment data could be obtained by reducing the number of items in the content domains of operation, geometry, and probability and statistics, or by assigning higher weights to the domains of letters and formulas, and function. The efficient measurement conditions presented in this study are limited to the illustrative assessment data. However, the method applied in this study can be utilized to determine the reliability and to find efficient measurement conditions for the various assessment situations using automatic item generation based on measurement traits.

참고문헌 (45)

  1. Brennan, R. L., "Generalizability Theory" (2001), Springer
  2. Brennan, R. L, (2001), University of Iowa
  3. Choi, I., "Prospects of computer adaptive testing and performance testing : Language testing in the 21st century", Language Research, 36(1), pp.205~241 (2000)
  4. Choi, J., "Educational innovation in the digital age : A plan to implement an intelligent learning analysis platform based on big data", Educational Development, 214, pp.44~50 (2020)
  5. Choi, J., "Evaluation of automatic item generation utilities in formative assessment application for Korean high school students", Journal of Educational Issues, 4(1), pp.68~89 (2018)
  6. Choi, J., (2023), CAFA Lab, Inc
  7. Choi, J., "CAFA model example book" (2022), Pubple
  8. Churchill Jr, G. A., "A paradigm for developing better measures of marketing constructs", Journal of marketing research, 16(1), pp.64~73 (1979)
  9. Cronbach, L. J., "Generalizability analysis for performance assessments of student achievement or school effectiveness", Educational and Psychological Measurement, 57(3), pp.373~399 (1997)
  10. Dunbar, S. B., "Quality control in the development and use of performance assessments", Applied Measurement in Education, 4(4), pp.289~303 (1991)
  11. Falcão, F., "A suggestive approach for assessing item quality, usability and validity of Automatic Item Generation", Advances in Health Sciences Education, 5, pp.1~25 (2023)
  12. Gierl, M. J., "Instructional topics in educational measurement(ITEMS)module : Using automated processes to generate test items", Educational Measurement : Issues and Practice, pp.36~50 (2013)
  13. Haladyna, T. M., "Developing and validating test items" (2013), Routledge
  14. 정한호, "교육현장에서 이루어지고 있는 컴퓨터 기반 평가(CBT)에 대한 질적 연구: 학생 경험을 중심으로", 교육공학연구, 25(4), pp.73~100 (2009), 한국교육공학회
  15. Jeong, J., "Design and implementation of iterative contents based on SCORM in mathematics", Proceeding of the Winter Conference of the Korea Society of Computer and Information, 16, pp.153~158 (2009)
  16. Kang, S., "Research on mathematical automatic item generation based on dynamic knowledge-base", Proceeding of the Korean Information Science Society Conference, pp.302~304 (2020)
  17. Keller, L. A., "Using multivariate generalizability theory to assess the effect of content stratification on the reliability of a performance assessment", Advances in Health Sciences Education, 15(5), pp.717~733 (2010)
  18. Kim, S., "An analysis of sources of variation in the observational rating system-comparisons of observer agreement, interrater reliability, and generalizability theory", Journal of Educational Evaluation, 5(1), pp.37~56 (2001)
  19. 김성연, "미국 수학교사의 교수 질 평가도구 분석을 통한 우리나라 수학교원능력개발평가에서의 일반화가능도 이론 활용성 탐색", 수학교육 논문집, 28(4), pp.431~455 (2014), 한국수학교육학회
  20. Kim, S., "Exploring the application of multivariate generalizability theory to teacher evaluation for professional development in Korea based on the analysis of classroom observations in the US", The Journal of Korean Education, 41(1), pp.5~29 (2014)
  21. 김성연, "수학적 창의성 태도 검사에서 수학영재와 일반학생의 다집단일반화가능도 분석", 수학교육 논문집, 31(1), pp.49~70 (2017), 한국수학교육학회[DOI]
  22. 김성연, "수학교과에서 자동문항생성 기반의 디지털 평가 활용 방안: CAFA 시스템을 중심으로", 수학교육, 61(4), pp.581~595 (2022), 한국수학교육학회[DOI]
  23. 김성연, "교사의 디지털 역량 함양을 위한 CAFA 시스템 활용 제안", 한국콘텐츠학회 논문지, 23(4), pp.475~493 (2023), 한국콘텐츠학회[DOI]
  24. 김성연, "관찰․추천제에 의한 수학영재 선발 시 사용되는 교사추천서와 자기소개서 평가에 대한 다변량 일반화가능도 이론의 활용", 영재교육연구, 23(5), pp.671~695 (2013), 한국영재학회
  25. 김성연, "과학 창의성 검사의 효율적인 측정 조건 탐색", 중등교육연구, 64(1), pp.49~75 (2016), 사범대학부속중등교육연구소[DOI]
  26. 김성숙, "정의적 성취특성 측정의 오차요인 및 성취수준별 척도의 동등성 분석", 교육과정평가연구, 21(1), pp.153~172 (2018), 한국교육과정평가원[DOI]
  27. 김성연, "수학영재 선발에서 교사추천서와 자기소개서 채점내용 가중치에 따른 신뢰도 분석", 영재와 영재교육, 13(1), pp.43~65 (2014), 한국영재교육학회[DOI]
  28. Kim, S., "Generalizability Theory" (2001), Kyoyookbook
  29. 김성숙, "다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색", 교육평가연구, 25(4), pp.679~700 (2012), 한국교육평가학회
  30. Kim, S., "Multivariate generalizability theory for reliability with item models : Industrial mathematics test example", NCME 2023 Annual Meeting (2023), NCME
  31. (2022)[URL]
  32. 이현숙, "혼합형 검사의 문항 유형별 가중치에 따른 신뢰도 및 다변량 일반화가능도 분석", 교육평가연구, 25(1), pp.95~116 (2012), 한국교육평가학회
  33. 이진아, "다변량 일반화가능도 이론을 활용한 창의적 사고력 검사(TTCT- 도형 A형) 독창성 평가 최적화 조건 탐색", 창의력교육연구, 17(2), pp.57~77 (2017), 한국창의력교육학회
  34. 이재화, "직업계 고등학교 졸업생 대상 ‘Math & 코딩’을 활용한 대학 미분적분학 교육 사례 연구", 수학교육 논문집, 36(4), pp.611~626 (2022), 한국수학교육학회[DOI]
  35. 이선영, "다변량 일반화가능도 이론을 활용한 창의성 예비검사의 신뢰도 분석", 창의력교육연구, 15(3), pp.83~107 (2015), 한국창의력교육학회
  36. 박선호, "영어 이머젼 교육에 관한 초등학교 교사들의 인식", Foreign Languages Education, 11(4), pp.259~283 (2004), 한국외국어교육학회
  37. Lim, H., "Study on the design and properties of automatically generated items: focusing on polynomial factorization", master, pp.2017
  40. 오규설, "자동문항생성 기법을 활용한 읽기 평가 개발에 대한 시론 -사실적 독해 문항 모형을 중심으로", 청람어문교육, (87), pp.7~34 (2022), 청람어문교육학회[DOI]
  41. Shavelson, R. J., "Sampling variability of performance assessments", Journal of Educational Measurement, 30(3), pp.215~232 (1993)
  42. 송인섭, "다변량 일반화가능도 이론을 통한 인식론적 신념 검사 타당화 연구", 교육방법연구, 24(1), pp.107~130 (2012), 한국교육방법학회[DOI]
  43. Vallevand, A. L., "Reliability, validity and sources of errors in assessing physician performance in an Oobjective Structured Clinical Examination: A generalizability theory analysis", doctoral, pp.2008
  44. Webb, N. M., "Generalizability theory: Inferences and practical applications", pp.49~66 (1983), Jossey-Bass
  45. Wilhelm, A. G., "Generalizing from observations of mathematics teachers' instructional practice using the instructional quality assessment", Journal for Research in Mathematics Education, 46(3), pp.270~279 (2015)

관련 논문AI추천

고등학교 수학 과목 자동문항생성 문항모델의 Q-matrix 타당성 검정 연구권종겸, 류지훈, 조영진사범대학부속중등교육연구소 · 중등교육연구2025 · 제73권 제2호다변량 일반화가능도 이론을 활용한 창의성 예비검사의 신뢰도 분석김성연, 김정하, 백근찬, 이병윤, 이선영한국창의력교육학회 · 창의력교육연구2015 · 제15권 제3호주관식 시험을 포함하고 있는 A국가고사의 채점자 효과에 대한 일반화가능도 연구김창환, 이규민한국교육과정평가원 · 교육과정평가연구2008 · 제11권 제1호수학적 창의성 검사의 채점 영역별 가중치 분석김성연한국수학교육학회 · 수학교육2016 · 제55권 제2호관찰․추천제에 의한 수학영재 선발 시 사용되는 교사추천서와 자기소개서 평가에 대한 다변량 일반화가능도 이론의 활용김성연, 한기순한국영재학회 · 영재교육연구2013 · 제23권 제5호수학적 창의성 태도 검사에서 수학영재와 일반학생의 다집단일반화가능도 분석김성연한국수학교육학회 · 수학교육 논문집2017 · 제31권 제1호

이 간행물의 다른 논문 (7건)

초등 과학 교사용 지도서 각론에 대한 초등교사들의 인식과 요구손정우, 정창희pp. 117-126초등학생의 디지털 소양 함양을 위한 예비 초등교사의 과학 수업 실행 탐색정은영, 서미림pp. 127-138액션러닝을 활용한 환경교육 프로그램이 초등학생의 환경소양과 자기효능감에 미치는 영향소금현, 전진pp. 139-153문헌고찰을 통한 물리적 도구와 가상도구의 사용이 과학 개념학습에 미치는 시사점강석민, 김성연pp. 154-1661920년대 통신교육 교재 『중학강의록』의 화학강의 내용 분석박종석, 이영미pp. 167-179
원문 보기