컴퓨터 기반 단계적 검사 모듈의 특성에 따른 능력 모수 추정의 정확성 비교
A comparison of the accuracy of ability parameter estimation according to the characteristics of computerized multistage testing modules
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
최근 개별 맞춤형 학습에 대한 요구가 점차 증가하고 있으며, 이를 위해 학생들의 능력 수준을 보다 정확하게 파악하는 것이 선행될 필요가 있다. 본 연구의 목적은 컴퓨터 기반 단계적 검사를 활용하여 모듈의 특성에 따른 피험자 능력 모수 추정의 정확성에 대해 파악하는 것이다. 2모수 로지스틱 모형을 사용하였으며, 모듈 선택 기준으로 MFI 방법을 활용하였다. 주요 결론은 다음과 같다. 첫째, 1-3-3 MST 설계에서 모듈의 길이를 4문항으로 구성하는 경우에도 추정의 정확성이 높으며, 각 단계별 모듈의 길이가 길어질수록 추정의 정확성이 증가한다. 둘째, 변별도가 높은 모듈이 검사에 포함되면, 피험자의 능력 모수가 더 정확하게 추정된다. 셋째, 변별도가 낮은 모듈을 앞 단계, 변별도가 높은 모듈을 뒤 단계에 배치할 때 피험자 능력 모수 추정의 정확성이 증가한다. 본 연구에서의 결과를 토대로 후속 연구에 대한 제언을 논의하였다.
Abstract
Recently, the demand for individually tailored learning is gradually increasing. Thus, it is necessary to ascertain the ability level of students more accurately in advance. The purpose of this study was to find out the accuracy of the examinee's ability parameter estimation according to the characteristics of computerized multistage testing modules. A two-parameter logistic model was used, and the MFI method was used as the module selection criterion. The main conclusions are as follows: First, even when the module length consisted of four items in the 1-3-3 MST design, the accuracy of the estimation was high. Also, the accuracy of the estimation increased with module length. Second, if a module with a high degree of discrimination was included in the testing, the examinee’s ability parameter was more accurately estimated. Third, the accuracy of the examinee’s ability parameter estimation increased when a module with low discrimination was placed in the first stage of testing, and a module with high discrimination is placed in the last stage. Based on the results, recommendations for follow-up studies were discussed.
참고문헌 (20)
- 강란숙, "비대면 환경에서 ‘맞춤형 학습’ 수업 운영 사례－캡스톤 디자인 중심 수업 사례를 중심으로", 문화와융합, 42(10), pp.253~281 (2020), 한국문화융합학회
- 백순근, "컴퓨터를 이용한 개별적응검사" (1998), 원미사
- 컴퓨터 기반 국가수준 학업성취도 평가 도입을 위한 검사 설계 방안, "서민희", 한국교육과정평가원, ~, pp.연구보고 RRE 2020-3 (2020)
- OECD 국제 학업성취도 평가 연구: PISA 2021 예비검사 시행 기반 구축, "조성민", 한국교육과정평가원, ~, pp.연구자료 ORM 2019-120 (2019)
- National assessment program–Literacy and numeracy (NAPLAN)2018: Technical report, "ACARA", ACARA, ~ (2018)
- Breithaupt, K. J., "Computerized multistage testing: Theory and applications", pp.343~354 (2014), CRC Press
- Han, K. T., "MSTGen : simulated data generator for multistage testing", Applied Psychological Measurement, 37(8), pp.666~668 (2013)
- Han, K. T, "Components of the item selection algorithm in computerized adaptive testing", Journal of Educational Evaluation for Health Professions, 15, pp.7~ (2018)[DOI]
- Han, K. T., "Framework for developing multistage testing with intersectional routing for short-length tests", Applied Psychological Measurement, 44(2), pp.87~102 (2020)
- An approach to assembling optimal multistage testing modules on the fly, "Han, K. T.", ~, pp.GMAT Research Reports RR-13-01 (2013)
- Han, K. T., "Computerized multistage testing:Theory and applications", pp.119~133 (2014), CRC Press
- Magis, D., "Computerized adaptive and multistage testing with R: Using packages catR and mstR" (2017), Springer International Publishing
- Mead, A. D., "An introduction to multistage testing", Applied Measurement in Education, 19(3), pp.185~187 (2006)
- Öztürk, N. B., "How the length and characteristics of routing module affect ability estimation in ca-MST?", Universal Journal of Educational Research, 7(1), pp.164~170 (2019)
- Sahin, M. G, "Analyzing different module characteristics in computer adaptive multistage testing", International Journal of Assessment Tools in Education, 7(2), pp.191~206 (2020)
- Sari, H. I., "Computer adaptive multistage testing : Practical issues, challenges and principles", Journal of Measurement and Evaluation in Education and Psychology, 7(2), pp.388~406 (2016)
- Yan, D., "Computerized multistage testing: Theory and applications", pp.3~20 (2014), CRC Press
- Zheng, Y., "Advancing methodologies to support both summative and formative assessments" (2014), Information Age Publishing
- Zheng, Y., "On-the-fly assembled multistage adaptive testing", Applied Psychological Measurement, 39(2), pp.104~118 (2015)
- Multistage adaptive testing for a large-scale classification test: The designs, automated heuristic assembly, and comparison with other testing modes, "Zheng, Y.", ACT, Inc, ~, pp.ACT Research Report Series, 2012 (6) (2012)