채점자 경력 요인 및 작문 평가방식이 평가 결과에 미치는 영향 - 한국어 작문 평가를 중심으로 -
Effects of Rater Factors and Writing Assessment Methods on Evaluation Results - Focusing on Evaluation of Korean Writing
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 연구는 첫째, 채점자의 경력 요인과 한국어 작문 평가방식이 평가 결과에 미치는 영향과 요인 간 상호작용 효과를 밝히고 둘째, 평가 결과에 영향을 미치는 오차원과 한국어 작문 평가의 효율적인 측정 조건을 찾는 데에 목적이 있다. 이를 위하여 Two-way ANOVA와 t-test, 일반화가능도이론을 적용하여 분석하였다. 연구 자료는 60회차 TOPIK Ⅱ 쓰기 4번 문항 답안지 70부로 채점자의 강의 경력 및 쓰기 시험 채점 경력 유무로 집단을 구분하여 분석적 채점을 진행하였다. 연구 결과, 채점자 경력 요인이 평가 결과에 미치는 영향은 통계적으로 유의미하였다. 유경력자 집단이 무경력자 집단에 비해 보다 일관적인 채점을 하였으며 두 평가방식 모두 유경력자 집단이 더 엄격한 채점을 하였다. 또한 특정 평가 범주에서 채점자 경력요인별, 평가방식별로 유의미한 차이가 나타났는데 이러한 차이는 채점자 훈련 및 채점 회의 등을 통해 줄일 수 있을 것으로 예상된다. 반면 평가방식이 평가 결과에 미치는 영향은 미미한 것으로 드러났다.
Abstract
This study aims to reveal the effects of the evaluating experience on the evaluation of Korean writing. Further, it aspires to find the source of error that affects the evaluation and efficiency in evaluating Korean writing. To this end, a two-way ANOVA, t-test, and generalizability theory were applied. The research was conducted using 70 samples from the 60th TOPIK II Writing Question 4 to determine the various scoring methods utilized by subjects with differing experience evaluation levels. The results showed that the group of experienced subjects had greater reliability and severity. Significant differences were found in specific scoring criteria determined by the evaluator’s career factors and methods. Conversely, the impact of the evaluation method on the evaluation results was found to be insignificant.
참고문헌 (24)
- 강민석, "다국면 라쉬 모형을 통한 한국어 쓰기 평가에서의 채점 경향연구", 석사, pp.2014
- 김성숙, "학문 목적 한국어 쓰기 능력에 대한 분석적 평가의 일반화가능도 검증", 한국어교육, 22(3), pp.29~48 (2011), 국제한국어교육학회[DOI]
- 김수현, "한국어 학습자의 쓰기 수행 평가 신뢰도 분석 - 다국면 라쉬 모형을 사용하여", 한국어 의미학, 61, pp.1~31 (2018), 한국어의미학회
- 김인숙, "지필쓰기 평가와 컴퓨터쓰기 평가의 차이 분석: 중학생 논설문평가를 중심으로", 석사, pp.2015
- 김정숙, "한국어 쓰기 능력 평가 방안- 종합적 채점과 분석적 채점 결과를 중심으로", 이중언어학, (43), pp.81~99 (2010), 이중언어학회[DOI]
- 박영민, "‘손글씨 설명문’과 ‘워드 설명문’ 평가 과정에서 나타나는 국어교사 눈동자 움직임의 차이", 국어교육학연구, 49(2), pp.193~224 (2014), 국어교육학회[DOI]
- 안수현, "한국어능력시험(TOPIK) 쓰기 평가의 채점 특성 연구", 한국어교육, 28(1), pp.173~196 (2017), 국제한국어교육학회[DOI]
- 이은하, "학문 목적 한국어 쓰기 수행 평가의 채점자 신뢰도 검증 - 다국면 Rasch 모형을 활용하여 -", 새국어교육, (103), pp.311~354 (2015), 한국국어교육학회[DOI]
- 이인혜, "한국어 쓰기 평가의 채점 방식에 따른 채점자 신뢰도 연구 : 종합적 채점 및 분석적 채점을 중심으로", 석사, 국어국문학과, pp.2012
- 이인혜, "한국어 교사의 쓰기 평가 효능감과 평가 특성 연구", 이중언어학, (56), pp.231~266 (2014), 이중언어학회[DOI]
- 정지윤, "한국어 쓰기 평가의 영향 요인에 대한 교차분류 다층분석: 평가자, 평가 방법을 중심으로", 석사, pp.2017
- 주현정, "컴퓨터 기반 작문과 지필 작문의 비교 연구: 동일한 필자가 수행하는 두 가지 작문 활동의 비교를 중심으로", 석사, pp.2011
- Emerling, F., "Identifying ethnicity and gender from anonymous essays", Community College Review, 19(3), pp.29~33 (1991)
- Hamp‐Lyons, L., "Communicative writing profiles : An investigation of the transferability of a multiple‐trait scoring instrument across ESL writing assessment contexts", Language Learning, 41(3), pp.337~373 (1991)[DOI]
- Heaton, J. B., "Writing English Language Tests: Longman Handbook for Language Teachers" (1988), Longman Group UK Ltd
- Lee, H. K., "A Comparative Study of ESL Writers' Performance in a Paper-Based and a Computer-Delivered Writing Test", Assessing Writing, 9(1), pp.4~26 (2004)[DOI]
- Moore, M. A., "The effects of computer communications on the reading and writing performance of fifth-grade students", Computers in Human Behavior, 8, pp.27~38 (1992)
- Online assessment in mathmatics and writing: Reports from the NAEP technology-based assessment project. research and development series, "National Center for Education Statistics", National Center for Education Statistics, ~ (2005)
- Powers, D., "They Think Less of My Handwritten Essay If Others Word Process Theirs?", Journal of Educational Measurement, 31(3), pp.220~233 (1994)[DOI]
- Robinson, S., "Technical manual; Handwriting research corporation" (1990), Annual Meeating of the American Psychological Association
- Russell, M., "Effects of handwriting and computer-print on composition scores: follow-up to Powers, Fowles, Farnum, &Ramsey", Practical Assessment, Research & Evaluation, 9(1), pp.231~255 (2004)[DOI]
- Sprouse, J. L., "The Pygmalion Effect and Its Influence on the Grading and Gender Assignment on Spelling and Essay Assessments(ERIC document No. ED 374096)", Master’s, pp.1994
- Sweedler-Brown, C. O., "ESL essay evaluation: The influence of sentence-level and rhetorical features", Journal of Second Language Writing, 2(1), pp.3~17 (1993)[DOI]
- Weigle, S. C., "Assessing writing" (2002), Ernst Klett Sprachen