국어과 수행 평가의 평가자 신뢰도 보고 방안 탐색 -고등학생 요약문 평가 결과를 중심으로-
Comparison of Approaches for Estimating Reliability in Performance Assessment of Korean Language Arts - based on high school students' summary writing assessment-
0
조회
0
다운로드
15
인용
0
참고문헌
키워드
초록
본 연구의 목적은 국어과 수행평가의 확대 시행을 위하여 평가자 신뢰도 정보를 추정하는 다양한 방안들을 탐색하고 결과를 비교 분석하였다. 이를 통해 객관적이고 효율적인 신뢰도 산출 방안에 정보를 마련하고, 평가 상황에 적합한 신뢰도 산출 방안에 대하여 제시하였다. 이 연구에서는 19명의 현직 국어교사들을 대상으로 하여 고등학생 40명의 요약문 평가 결과에 대한 신뢰도 정보를 다양한 신뢰도 추정 방법등을 통해 추정하였다. 또한 각 신뢰도 추정 방법의 특징과 신뢰도 계수 간의 차이 정도를 비교 분석하였다. 이 연구에서는 SPSS 프로그램을 활용하여 상관계수, Cronbach α, 급내상관계수인 ICC와 FACETS 프로그램과 EduG 프로그램을 통해 Rasch 모형에 기반한 평가자 신뢰도 분석과 일반화 가능도 이론에 기반 한 신뢰도 분석을 실시하였다. 비교 결과는 다음과 같다. 첫째, 평가자 간 신뢰도는 상관계수, Cronbach α, 급내상관계수인 ICC를 활용할 수 있고, 평가자 내 신뢰도는 Rasch 모형에 기반한 평가자 신뢰도 분석과 일반화 가능도 이론에 의한 계수 값을 활용할 수 있다. 둘째, 평가자 간 신뢰도는 평가자 일치도 정도에 기반을 한 분석으로 상관분석에 기반을 두고 있기 때문에, 계수 간 비교가 다소 용이한 편이다. 그러나 Cronbach α의 경우 그 일치도가 과잉 추정되는 문제가 발생하므로, 평가자 내 신뢰도 정보를 함께 활용하거나 일반화가능도 계수를 함께 제시하여 줄 필요가 있다.
Abstract
The purpose of this study was to compare methods used for estimating reliability of Performance Assessment based on high school students' summary writing assessment. 19 Korean language teachers assessed 40 summary writing of high school students. the rating data was analyzed by the computer program FACETS (ver 3.66.1, Linacre, 2004). In this study, Reliability of ratings was examined several ways, including generalizability analysis, rasch model analysis, coefficient alpha, Intra-class Correlation Coefficients, and Pearson r. The followings are the summary of the major findings;(1) Coefficient alpha, Intra-class Correlation Coefficients, and Pearson r under Classical Test Theory (CTT) were used to estimate inter-rater reliability. And generalizability theory and the many-facet rasch model were each used to estimate intra-rater reliability. Especially, MFRM provides information about rater's the severity/lenience measures and consistency explaining intra-rater reliability. (2) Cronbach’s alpha tended to overestimate reliability coefficient. To adjust of the over-estimation, generalizability coefficients and reliability of MFRM can be used for alternative reliability indices.
참고문헌 (32)
- 김라연, "총체적 쓰기 평가와 분석적 쓰기 평가의 상관 연구", 이중언어학, 35(35), pp.103~126 (2007), 이중언어학회
- 박영목, "작문 교육론" (2008), 역락
- 박인기, "국어과 수행평가" (1993), 역락
- 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－", 국어교육학연구, 37(37), pp.367~391 (2010), 국어교육학회
- 최숙기, "논설문 평가에 나타난 국어교사의 평가 특성 및 편향 분석", 교육과정평가연구, 14(1), pp.201~228 (2011), 한국교육과정평가원
- 백순근, "수행평가의 이론과 실제" (1996), 대한교과서
- 오택환, "쓰기 수행평가에서 동료평가자간 신뢰도 분석", 국어교육연구, 47(47), pp.91~116 (2010), 국어교육학회(since1969)
- 신동일, "NEW FACETS을 활용한 채점자료 분석방법", Foreign Languages Education, 12(2), pp.191~212 (2005), 한국외국어교육학회
- 이규민, "초등학교 과학과 수행평가의 총체적 채점과 분석적 채점 방식에 대한 일반화가능도 분석", 아동교육, 16(4), pp.169~184 (2007), 한국아동교육학회
- 이현숙, "다국면 라쉬모형을 적용한 논술 채점 상황에서 채점 설계 및 채점자 특성이 채점의 정확성에 미치는 효과", 교육평가연구, 21(4), pp.129~152 (2008), 한국교육평가학회
- 신동일, "언어교육평가 연구를 위한 FACETS: 기초과정편" (2009), 글로벌콘텐츠
- 조재윤, "말하기 평가 방법간 신뢰도분석 연구－초등학생의 설득하는 말하기를 중심으로－", 국어교육학연구, 27(27), pp.493~515 (2006), 국어교육학회
- 조재윤, "일반화가능도 이론을 이용한 쓰기 평가의 오차원 분석 및 신뢰도 추정 연구", 국어교육, 128(128), pp.325~358 (2009), 한국어교육학회
- 최숙기, "Rasch 모형을 활용한 요약문 평가 준거 개발 및 타당도 분석 －고등학생 설명문 텍스트 요약하기를 중심으로－", 독서연구, 25(25), pp.415~451 (2011), 한국독서학회
- 지은림, "RASCH 모형의 이론과 실제" (2000), 교육과학사
- Bond, T. G., "Applying the Rasch Model: Fundamental Measurement in the Human Sciences(2nd ed.)" (2007), Lawrence Erlbaum Associates, Inc
- Bartko, J. J., "On various intraclass correlation reliability coefficients", Psychological Bulletin, 83, pp.762~765 (1976)
- Cherry, Roger D., "Reliability Issues in Holistic Assessment. Assessing Writing: A Critical Sourcebook", pp.2009, Bedford
- Manual for GENOVA: A generalized analysis of variance system, "Crick , G. E.", ~, pp.American College Testing Tech. Bul. No. 43 (1983)
- Engelhard, G., Jr., "Examining rater errors in the assessment of written composition with a many-faceted Rasch model", Journal of Educational Measurement, 31, pp.93~112 (1994)
- Felder, R., "Learning and teaching styles in engineering education", Engineering Education, 78(7), pp.674~681 (1988)
- Friend, R., "Effects of strategy instruction on summary writing of college students", Contemporary Educational Psychology, 26, pp.3~24 (2001)
- Gilfert, S, "Two Composition Scoring Methods : The Analytic vs. Holistic Method", Bulletin of Faculty of Foreign Languages, 1, pp.17~22 (1992)
- Kane, M. T., "The generalizability of class means", Review of Educational Research, 47(1), pp.267~292 (1977)
- Linacre, J. M., "Many-facet Rasch measurement" (1993), MESA Press
- Landis J. R., "The measurement of observer agreement for categorical data", Biometrics, 33, pp.159~174 (1977)
- McNamara, T. F., "Measuring second language performance" (1996), Addison Wesley Longman Ltd
- Nunnally, J. C., "Psychometric theory" (1978), McGraw-Hill
- Shavelson, R. J., "Generalizability theory : A primer" (1991), Sage Publications
- Shrout, P. E., "Intraclass correlations : Uses in assessing rater reliability", Psychological Bulletin, 86, pp.420~428 (1979)
- Wright, B. D., "Measuring the impact of judge severity on examination scores", Applied Measurement in Education, 3, pp.331~345 (1990)
- Wright, B.D., "Rating Scale Analysis" (1982), MESA Press