작문 평가 준거의 평가자 간 해석 차이에 대한 연구
A study on Different Interpretation of Writing Evaluative Criteria among Raters
1
조회
0
다운로드
9
인용
0
참고문헌
키워드
초록
본 연구는 한국과 미국의 작문 능력 비교 평가를 위해 도출된 작문 평가 준거의 평가자 간 해석 차이에 대해 탐구하는 것을 목적으로 한다. 이를 위하여 평가자 3인이 동일한 평가 준거를 사용하여 중학교 2학년 학생 29명의 글(설명글 15편, 설득글 14편)을 독립적으로 평가하였다. 평가자 간 일치도 확인 결과, 평가자 3인 사이의 의견 일치도는 설명하는 글이 77.86%, 설득하는 글이 76.45%였다. 준거별 일치도의 경우 ‘문체의 적절성’ 준거를 제외한 모든 준거가 신뢰할 수 있는 수준인 70%를 넘었다. 이후 평가자 간의 논의를 통해 다음과 같은 평가 범주 해석상의 쟁점들을 도출할 수 있었다. 첫째로, ‘내용’ 범주에서는 주제와 소재, 세부 내용 등 평가 준거의 표현에 대한 평가자의 이해 차이로 인해 준거의 일관된 적용에 어려움이 있었다. 둘째로 ‘조직’ 범주의 평가에 있어 글의 내용이나 분량의 개입이 불가피했다. 이는 ‘내용’과 ‘조직’ 범주의 독립적인 평가의 어려움을 보여준다. 셋째로 ‘표현’ 범주 중 ‘문체의 적절성’ 준거에 있어 쓰기 목적별 어조 및 문체의 예시를 포함한 준거 상세화 작업의 필요성을 확인했다. 마지막으로 ‘표기’ 범주에서 표기상 오류, 언어 관습의 적용을 평가하는 데 있어 척도 적용의 일관성 문제가 있었다. 본 연구는 학생 글 표본의 수가 한정되어 있고 쓰기 평가 준거의 타당성을 통계적으로 검증한 것은 아니라는 점에서 한계가 있다. 그러나 기존 작문 교육 연구 영역에서 평가 준거에 대한 해석의 차이를 바탕으로 평가 준거를 더욱 타당한 쓰기 평가 도구로 발전시켜 나가기 위한 단계적 연구라는 점에서 의의가 있다.
Abstract
The purpose of this study is to examine how three raters interpretate writing evaluative criteria differently when they apply them to assess writing ability of secondary school students in Korea and the United States. Three raters independently evaluated a total of 29 (15 explanatory and 14 persuasive) essays written by 8th-grade students. As a result of the interrater agreement, an exact agreement rate among the three raters on the total criteria was 77.86% for explanatory essay and 76.45% for persuasive essay. All criteria except the ‘appropriateness of style’ criterion exceeded the acceptable rate of the exact agreement (70%). The following issues about interpreting the categories of the rubric were drawn during the rater discussion. First, in the ‘Ideas’ category, there was a high possibility of interference of several criteria due to different interpretations of some terms between the raters, such as theme, topic, and details. Secondly, the content or amount of the article influenced the raters’ evaluation of the ‘Organization’ category. Third, in the ‘Presentation’ category, interpreting the ‘appropriateness of style’ required further information on tone and style in each writing purpose. Finally, in the ‘Conventions’ category, the raters applied the evaluative criterion less consistently when assessing conventional errors. This study has limitations in terms of its small sample size and no statistical testing on the validity of the rubric. Nonetheless, this study is meaningful as it examines differences of raters’ interpretation systematically in order to move forward to the large-scale study on rubric validation.
참고문헌 (25)
- 가은아, "설명문 쓰기 능력 발달 연구－초6에서 고1 학생들을 중심으로－", 청람어문교육, (41), pp.139~168 (2010), 청람어문교육학회[DOI]
- 가은아, "쓰기 결과 평가의 절차와 실제: 발현, 평가, 해석 오차의 해소를 중심으로", 학습자중심교과교육연구, 17(8), pp.531~552 (2017), 학습자중심교과교육학회[DOI]
- 김주환, "중학생들의 작문능력 실태 조사 연구", 교육과정평가연구, 20(1), pp.271~295 (2017), 한국교육과정평가원[DOI]
- 박소희, "작문 능력의 국제 비교를 위한 평가 준거 탐색", 리터러시 연구, 11(6), pp.223~254 (2020), 한국 리터러시 학회[DOI]
- 박영민, "중학생 쓰기 수행의 성별 차이 연구", 한말연구, (22), pp.46~75 (2008), 한말연구학회[DOI]
- 박영민, "예비 국어교사의 성별 및 학생 성별 인식에 따른 평가 차이 분석", 교육과정평가연구, 13(2), pp.239~258 (2010), 한국교육과정평가원
- 박혜영, "미국의 초·중등 작문 평가의 특징과 시사점 탐색 - 국가 및 주 수준 표준화 작문 평가를 중심으로 -", 작문연구, (44), pp.73~107 (2020), 한국작문학회[DOI]
- 서수현, "요인 분석을 통한 쓰기 평가의 준거 설정에 대한 연구", 박사, 국어교육, pp.2008
- 서수현, "쓰기 평가 협의 과정에 나타난 쓰기 평가자의 인식 연구", 국어교육학연구, (44), pp.335~367 (2012), 국어교육학회[DOI]
- 신현숙, "분석적 평가에 의한 논증글 쓰기 수행의 발달적 차이", 교육학연구, 46(1), pp.1~29 (2008), 한국교육학회
- 양경희, "쓰기에 나타나는 자기중심성에 대한 교육적 이해", 작문연구, (13), pp.407~435 (2011), 한국작문학회
- 이삼형, "쓰기 능력 발달 양상에 관한 연구", 국어교육, (118), pp.127~147 (2005), 한국어교육학회
- 이순영, "초등학교 1학년의 설명문 쓰기 능력 연구 - 취학 첫 학기 아동의 초기 문식성 발달의 관점에서 -", 교육과정평가연구, 19(2), pp.107~131 (2016), 한국교육과정평가원
- 이순영, "초등학교 1학년생의 쓰기 발달 연구: 학기와 장르에 따른 양적 변화를 중심으로", 한국초등교육, 28(2), pp.93~108 (2017), 초등교육연구원[DOI]
- 정미경, "국어교사의 성별에 따른 쓰기평가 특성 분석", 교원교육, 27(4), pp.73~93 (2011), 교육연구원
- 최승식, "고등학생의 작문능력 실태 조사 연구", 리터러시 연구, 9(4), pp.89~123 (2018), 한국 리터러시 학회[DOI]
- An Investigation of the impact of the 6+1 Trait Writing Model on grade 5 student writing achievement: Final Report, "Coe, M.", National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, US Department of Education, ~ (2011)
- "ELA Performance Task Writing Rubrics-Explanatory"[URL]
- "ELA Performance Task Writing Rubrics-Argumantative"[URL]
- Landis, J. R., "The measurement of observer agreement for categorical data", Biometrics, 33(1), pp.159~174 (1977)
- McHugh, M. L., "Interrater reliability : the kappa statistic", Biochemia Medica, 22(3), pp.276~282 (2012)
- "Writing framework for the 2017 National Assessment of Educational Progress" (2017)[URL]
- Smith, M. A., "Assessing writing, teaching writers : Putting the analytic writing continuum to work in your classroom" (2016), Teachers College
- Spandel, V., "Creating writers through 6-trait writing assessment and instruction" (2009), Pearson
- Stemler, S. E., "A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability", Practical Assessment, Research & Evaluation, 9(4), pp.1~11 (2004)[DOI]