국어교사의 쓰기평가 신뢰도에 영향을 미치는 인지 과정 특성 분석
An Analysis of Cognition Process Characteristics Influencing the Reliability of Writing Assessment of Korean Language Teachers
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
이 연구의 목적은 국어교사의 쓰기평가 인지 과정을 분석하여, 평가자의 신뢰도에 영향을 미치는 인지 과정의 특성을 탐색하는 데 있다. 이를 위해 국어교사 7명이 학생 글 20편을 평가한 과정을 촬영한 비디오 영상을 바탕으로 평가 시간과 회귀 빈도를 지표로 쓰기평가 인지 과정을 분석하였으며 평가 결과에 대한 평가자의 신뢰도를 측정하였다. 먼저 20편의 학생 글에 대한 쓰기평가 총 소요 시간은 1491초에서 6016초까지 다양하게 나타났으며, 평가자 신뢰도가 낮은 경우 쓰기 과제와 쓰기평가 기준을 이해하는 데 인지 부담이 큰 것으로 나타났다. 쓰기평가의 인지 과정을 각 단계별로 살펴본 결과, 쓰기평가 기준을 표상화하는 2단계에서 평균 7.57편을 평가한 이후, 평가 시간이 짧아지면서 인지 부담이 줄어드는 것으로 나타났다. 또한 일관성이 과적합이나 부적합한 경우에는 2단계에서 더 많은 학생 글을 적용해 보아야 하는 것으로 나타났다. 다음으로 쓰기평가 인지 과정에서의 상위인지를 포착하기 위해 회귀 빈도를 살펴본 결과, 평가자별 회귀 빈도는 2회에서 23회까지 폭넓게 나타났다. 또한 쓰기평가 인지 과정에서의 회귀 빈도로 관찰된 상위인지의 활성화는 평가자 간 신뢰도와 평가자 내 신뢰도 모두에 영향을 미치는 것으로 나타났다.
Abstract
The purpose of this study is to analyze the writing assessment cognition process of Korean language teachers and explore the characteristics of cognition processes that affect the reliability of raters. To this end, videos of seven Korean language teachers evaluating 20 student writings were filmed as data. Based on these videos, the writing assessment recognition process was analyzed based on the time spent on the assessment and the frequency of regression, and the rater's reliability in the assessment results was measured. First of all, the total time required for writing assessment for 20 student writings differed greatly from 1,491 seconds to 6016 seconds, and if the rater's reliability is low, the cognitive burden is high to understand the writing task and writing assessment criteria. Looking at the cognition process of writing assessment at each stage, it was found that after an average of 7.57 episodes were evaluated in the second stage of presenting the writing assessment criteria, the cognitive burden was reduced as the assessment time was shortened. In addition, if the consistency of the rater is over-fitting or mis-fitting more student writing should be applied in the second phase. The frequency of regression per rater reviewed to capture meta-cognition in the writing assessment cognition process varied from 2 to 23. Also it is analyzed that activation of meta-cognition observed by regression frequency affects both inter-rater and intra-rater reliability.
참고문헌 (27)
- 김성숙, "일반화가능도 이론" (2001), 교육과학사
- 박영민, "논술 평가자의 주관적 경험 분석", 우리어문연구, (33), pp.493~523 (2009), 우리어문학회
- 박영민, "눈동자 움직임 분석과 작문교육 연구", 작문연구, (18), pp.35~61 (2013), 한국작문학회
- 성태제, "타당도와 신뢰도" (2002), 학지사
- 오세영, "작문 평가자의 학생글 읽기 과정 연구", 우리말글, 72, pp.129~167 (2017), 우리말글학회[DOI]
- 윤금준, "반성적 쓰기를 활용한 상위인지 강화가 논술 쓰기 능력 및 쓰기효능감에 미치는 영향", 석사, pp.2016
- 이지원, "채점 수 누적에 따른 쓰기 평가 과정의 눈동자 움직임 연구", 국어교육학연구, 50(4), pp.395~424 (2015), 국어교육학회[DOI]
- 언어교육평가 연구를 위한 FACETS 프로그램, "장소영", 글로벌콘텐츠, ~ (2009)
- 정분의, "학생 글 채점 누적에 따른 국어교사의 인지 부담 변화", 작문연구, (42), pp.30~57 (2019), 한국작문학회[DOI]
- 최숙기, "국어과 수행 평가의 평가자 신뢰도 보고 방안 탐색 -고등학생 요약문 평가 결과를 중심으로-", 작문연구, (14), pp.395~424 (2012), 한국작문학회
- Cumming, A., "Decision making while rating ESL", EFL writing tasks: A descriptive framework, 2002, pp.86(1), 67~51
- Flower, L., "The pregnant pause: An inquiry into the nature of planning", Research in the Teaching of English, 15(3), pp.229~243 (1981)
- Freedman, J. R., "Research on Writing: Principles and methods" (1983), London
- Hayes, J. R., "Perspectives on Writing:Research, Theory, and Practice" (2000), International Reading Association
- Kahneman, D., "Thinking, fast and slow" (2011), Farrar, Straus and Giroux
- Kowal, S, "Writing in Real Time" (1987), Ablex Publish Corporation
- Linacre, J. M., "Many-facet Rasch Measurement" (1989), MESA Press
- Lumley, T., "The process of the assessment of writing performance: the rater’s perspective", PhD, Department of Linguistics and Applied Linguistics, pp.2000
- Lumley, T., "Assessment criteria in a large-scale writing test: What do they really mean to the raters?", Language Testing, 19(3), pp.246~276 (2002)
- MaNamara, T. F., "Measuring Second Language Performance" (1996), Longman
- Matsuhashi, A., "Pausing and planning: The tempo of written discourse production", Research in the Teaching of English, 15, pp.113~134 (1981)
- Matsuhashi, A., "What Writers Know: The Language, Process, and Structure of Written Discourse" (1982), Academic Press
- Panadero, E., "The Use of Scoring Rubrics for Formative Assessment Purposes Revisited: A Review", Educational Research Review, 9, pp.129~144 (2013)
- Smith, D., "Rater judgments in the direct assessment of competency-based second language writing ability", Studies in immigrant English language assessment, 1, pp.159~189 (2000)
- Tavares, W., "Exploring the impact of mental workload on rater-based assessments", Advances In Health Sciences Education, pp.1~13 (2012)
- Wolfe, E. W., "A study of expertise in essay scoring", PhD, pp.1995
- Wolfe, E. W., "The relationship essay reading style and scoring proficiency in a psychometric scoring system", Assessing Writing, 4, pp.83~106 (1997)