중학생 과학탐구활동 수행평가 시 채점 방식 및 척도의 수에 따른 신뢰도 분석
An Analysis on Reliabilities of Scoring Methods and Rubric Ratings Number for Performance Assessments of Middle School Students' Science Investigation Activities
0
조회
0
다운로드
7
인용
0
참고문헌
키워드
초록
중학생의 과학탐구활동 수행평가 시 총체적 채점과 분석적 채점의 신뢰도를 비교 분석하였으며, 분석적 채점을 하는 경우에는 신뢰도 확보를 위하여 채점척도의 수준을 어느 정도로 분석적으로 해야 하는지를 조사하였다. 중학생들이 작성한 4개의 과학탐구과제에 대한 활동지를 두 명의 채점자가 총체적 채점 방식, 분석적 채점 방식, 분석적 채점 중 채점척도를 2, 3, 4～7수준으로 다르게 하여 채점하였다. 총체적 채점 방식은 과제 간 내적 일치도가 높게 나타났으며, 분석적 채점 방식은 채점자간 신뢰도가 높게 나타났다. 또한 채점척도 3수준의 경우는 4～7수준의 경우와 활동간 내적 일치도와 채점자간의 신뢰도가 유사하게 나타났으나, 능력추정치별 학생의 분포, 문항곤란도 및 문항특성곡선의 경우 채점척도 3수준의 경우가 적절한 것으로 나타났다. 이러한 연구 결과는 과학탐구활동 수행평가 시 총체적 채점 방식을 선택하는 경우는 과제 간 내적일치도를 높일 수 있으며 분석적 채점 방식에 비해 낮게 나타나는 채점자 간 일치도를 높이기 위한 채점자간 협의등 방안이 필요하다는 것을 시사한다. 또한 분석적 채점 방식을 선택하는 경우는 채점척도 3수준으로 충분히 신뢰도를 확보할 수 있다는 점을 시사한다.
Abstract
In this study, reliabilities of holistic scoring method and analytic scoring method were analyzed in performance assessments of middle school students' science investigation activity. Reliabilities of 2, 3, and 4~7-level rubric ratings for analytic scoring methods were compared to figure out optimized numbers of rubric ratings. Two trained raters rated four activity sheets of 60 students by two rating methods and three kinds of rubric ratings. Internal consistency reliabilities of holistic scoring methods were higher than those of analytic scoring methods, while intra-rater reliabilities of analytic scoring were higher than those of holistic scoring methods. Internal consistency reliabilities and intra-rater reliabilities of 3-level rubric rating showed similar patterns of 4~7 rubric ratings. But students' discriminations, item difficulties and item-response curves showed that the 3-level rubric ratings was reliable. These results suggest that holistic scoring method could be adapted to increase internal consistency reliabilities with improvement in intra-rater reliabilities by rater's conferences. Also, the 3-level rubric rating would be enough for good reliability in case of adapting analytic scoring methods.
참고문헌 (31)
- 김경희, "채점척도에 따른 채점자의 일관성과 피험자 능력 추정의 정확성 비교", 교육평가연구, 14(1), pp.327~347 (2001)
- 김명숙, "영어작문 수행평가의 채점행위 분석 연구", 교육평가연구, 12(2), pp.25~54 (1999)
- 김석우, "고등학교 과학과 수행평가 실태분석 및 개선방안", 교육평가연구, 20(4), pp.53~73 (2007), 한국교육평가학회
- 박정, "문항반응이론을 활용한 수행형 평가문항 분석방법", 교육학연구, 39(2), pp.215~232 (2001)
- 박정, "문항 유형에 따른 과학 능력 추정의 효율성 비교", 한국과학교육학회지, 22(1), pp.122~131 (2002), 한국과학교육학회
- 성태제, "타당도와 신뢰도" (2002), 학지사
- 성태제, "문항반응이론의 이해와 적용" (2005), 교육과학사
- 유준희, "과학과 수행평가", 열린교육연구, 7(1), pp.247~262 (1999)
- 이관용, "기초 심리통계학" (1993), 법문사
- 이규민, "초등학교 과학과 수행평가의 총체적 채점과 분석적 채점 방식에 대한 일반화가능도 분석", 아동교육, 16(4), pp.169~184 (2007), 한국아동교육학회
- 이기영, "중등학교 과학 수행평가의 평가 유형과 채점 방식 및 신뢰도 분석", 한국과학교육학회지, 25(2), pp.173~183 (2005)
- 지은림, "사회과 보고서 수행평가를 위한 총체적 채점과 분석적 채점의 비교", 교육평가연구, 12(2), pp.11~24 (1999)
- 지은림, "논술형 수행평가를 위한 채점방법들의 비교", 경희대학교 교육문제연구소 논문집, 16, pp.235~246 (2000)
- 한국교육과정평가원, "제7차 교육과정에 따른 성취기준 평가기준" (2001)
- American Association for the Advancement, "ATLAS of science literacy. Vol. 1" (2001), American Association for the Advancement of Science
- Black, P. J., "APU science - the past and the future", School Science Review, 72(258), pp.28~43 (1990)
- Black, P. J., "Testing: friend or foe? : Theory and Practice of Assessment and Testing" (1998), Falmer Press
- Etkina, E., "Developing and assessing student scientific abilities", Physical Review Special Topics - Physics Education Research, 2(2) (2006)
- Hafner, J. C., "Quantitative analysis of the rubric as an assessment tool: an empirical study of student peer-group rating", International Journal of Science Education, 25(12), pp.1509~1528 (2003)
- Halonen, J. S., "A rubric for learning, teaching, and assessing scientific inquiry in psychology", Teaching of Psychology, 30(3), pp.196~ (2003)
- Herman, J. L., "A practical guide to alternative assessment. Alexandria" (1992), ASCD
- Klein, S. P., "Analytic versus holistic scoring of science performance tasks", Applied Measurement in Education, 11(2), pp.121~137 (1998)
- Linn, R. L., "Complex, performance-based assessment: Expectations and validation criteria", Educational Researcher, 20(8), pp.15~21 (1991)
- Mullis, I. V. S., "TIMSS 2007 assessment frameworks" (2005), TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College
- Plake, B. S., "A standard-setting method designed for complex performance assessments: categorical assessments of student work", Educational Assessment, 6(3), pp.197~215 (1999)
- Qualification and Curriculum Authority, "Science: Programme of study for key stage 4 in the national curriculum 2007", Qualifications and Curriculum Development Agency (2007)
- The setup assessment system: An overview, "Roberts, L.", University of California, ~, pp.SA-97-1 (1997)
- Alternative approaches to scoring: The effects of using different scoring methods on the validity of scores from a performance assessment, "Waltman, K.", ~, pp.CSE Technical Report, 488 (1998)
- Wilson, M., "From principles to practice: An embedded assessment system", Applied Measurement in Education, 13(2), pp.181~208 (2000)
- Wilson, M., "Setup courseⅠ, issues, evidence and you: Achievement evidence from pilot implementation" (1995), University of California
- Woolnough, B. E., "Toward holistic view of precesses in science education. in: Skills and processes in science education: a critical analysis", pp.115~134 (1989), Routledge