TIMSS 2019 과학 문항에서 컴퓨터 기반 평가와 지필 평가 간의 검사 매체 차이 탐색
The Study of the Mode Effect between Computer-based and Paper-based Science Tests in TIMSS 2019
2
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 연구는 국제 학업성취도 평가인 TIMSS 2019 사전검사에서 지필 평가와 컴퓨터 기반 평가로 시행된 과학 평가 문항 을 분석하여 검사 매체에 따라 문항 정답률에 영향을 미치는지를 문항 및 학년별로 살펴보았다. 그 결과, 4학년과 8학년 모두 검 사 매체에 따른 과학과 문항 정답률 차이가 크지 않았다. 학년별로 살펴보면, 8학년보다는 4학년의 경우 정답률 차이가 상대적 으로 크게 나타났다. 문항별로 살펴보면, 선다형 문항보다는 서답형 문항의 경우 정답률 차이가 상대적으로 크게 나타났다. 검 사 매체 영향에 대한 과학과 평가 문항 내용을 분석한 결과로는 선다형 문항은 지필 평가와 컴퓨터 기반 평가 문항간의 차이가 거의 없었으나, 서답형 문항은 지필 평가에 비해 서답형 문항의 정답률이 낮아지는 경향을 보였다. 또한, 학년별로는 4학년 학생 들이 8학년 학생들보다 서답형 문항에서 정답률이 낮아지는 것으로 나타났다. 본 연구를 토대로, 우리나라 컴퓨터 기반 평가의 개발과 현장 도입과 관련된 시사점을 제공하고 컴퓨터 기반 평가가 학교 평가로 잘 정착하기 위한 교육적 함의를 고찰하고자 한다.
Abstract
This study analyzed the science assessment items that were conducted by the paper and the computer-based assessment in the TIMSS 2019 pre-test, which is an international academic achievement assessment. We examined whether the test mode influenced the percentage of items answered correctly by each graders. As a result, there was no significant difference in the correct answer rates of science items according to the test media in 4th and 8th graders. Looking at the each graders, the difference in the percentage of correct answers was relatively large in the fourth grader rather than the eighth grader. In terms of items, the difference in the percentage of correct answers was relatively larger for the constructed items than the multiple choice questions. As a result of analyzing the content of science and assessment items on the influence of the test media, the multiple choice items showed little difference between the paper and the computer-based assessment items, but the answertype items tended to have a lower percentage of correct answers than the paper-based assessment. In addition, by grade, 4th graders showed lower percentages of correct answers in the constructed items than 8th graders. This study provides implications related to the development and introduction of computer-based assessment in Korea, and suggests an educational implications for computerbased assessment to be well established as school evaluation.
참고문헌 (26)
- Lee, C. H., "KICE ISSUE PAPER", ORM 2018-39-22, ~ (2018)
- "BC’s Digital Literacy Framework" (2017)[URL]
- "The National Curriculum for England. GOV.UK. Framework document" (2020)[URL]
- "The Australian curriculum" (2020)[URL]
- Bocconi, S., "European Commission", Joint Research Centre, ~ (2016)
- Korea Education Research Information Service, "Kim, S. H.", ~, pp.KR 2017-4 (2017)
- PISA 2018 Technical Report, "OECD", OECD, ~ (2020)
- Mullis, I. V. S., "TIMSS 2019 Overview eTIMSS and paper TIMSS Item Development Activities", pp.2017
- Choi, Y. H., , Journal of Learner-Centered Curriculum and Instruction, 19, pp.1335~ (2019)
- AERA, A, "American Educational Research Association", ~ (1999)
- Way, W. D., , annual meeting of the National Council on Measurement in Education (2006)
- Song, J. J, "A Validity Study of Computer-based Tests in An Elementary Social Study: Comparability with Paperand-pencil Tests", MD, pp.2009
- 김성렬, "온라인 시험의 가능성 탐색", 한국교원교육연구, 24(1), pp.347~367 (2007), 한국교원교육학회[DOI]
- Lee, M. J, , The Journal of Education Research, 24, pp.121~ (2004)
- Lim, H. J., , Education Evaluation Research, 14, pp.193~ (2001)
- Karay, Y., , Teaching and Learning in Medicine, 27, pp.57~ (2015)
- Anakwe, B, , Journal of Education for Business, 84, pp.13~ (2008)
- Akdemir, O., , Computers & Education, 51, pp.1198~ (2008)
- Park, D. S., , Korean Educational Evaluation Society, 15, pp.247~ (2002)
- Pommerich, M, , The Journal of Technology, Learning and Assessment, 2 (2004)
- Prisacari, A. A., , Computers in Human Behavior, 77, pp.1~ (2017)
- 신상근, "마킹 기능이 컴퓨터 기반 읽기 평가의 결과 및 수험자의 인식에 미치는 영향", 교과교육학연구, 18(4), pp.1305~1321 (2014), 교과교육연구소[DOI]
- 임은정, "Computer-Based Test(CBT) 개발 및 CBT에 대한 학생들의 인식", Korean Journal of Medical Education, 20(2), pp.145~154 (2008), 한국의학교육학회
- Pomplun, M., , Journal of Educational Computing Research, 32, pp.153~ (2005)
- 노태희, "상황맥락적인 피드백을 활용한 CAI가 화학 학습에 미치는 효과", 대한화학회지, 51(2), pp.193~200 (2007), 대한화학회
- Paek, S., , Center for Education Research, 22, pp.68~ (2006)