일관성 수준에 따른 논설문 평가 과정의 인지적 차이 분석
An Analysis on the Cognitive Differences in Process of Assessment in Persuasive Writing according to the Level of Consistency
0
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
이 연구의 목적은 프로토콜 분석을 통해 국어 교사의 평가 과정 모형을 제시하고, 일관성 수준에 따른 논설문 평가 과정의 인지적 차이를 탐색해 국어 교사의 평가 일관성을 적합하게 유지할 수 있는 방안을 모색하는 것이다. 이 연구를 통해 얻은 주요 결론은 다음과 같다. 첫째, 국어 교사의 논설문 평가 과정은 ‘읽기 및 이해하기’, ‘동시적 평가하기’, ‘종합적 평가하기’ 과정으로 이루어져 있으며, 각 과정은 다양한 정보 처리 행동들을 통해 처리된다. 둘째, 적합한 일관성 수준을 지닌 평가자는 과·부적합 일관성 수준을 지닌 평가자보다 글의 수준을 판단하는 데 더 많은 인지적 노력을 쏟는다. 셋째, 적합한 일관성 수준을 지닌 평가자는 과·부적합 일관성 수준을 지닌 평가자보다 글을 읽고 이해하는 데 더 많은 인지적 노력을 쏟는 것으로 나타났다. 또한 최종 점수를 내리기 전에 글의 일반적 특징, 구체적 특징 등을 근거로 제시하거나, 개선 방안을 제안하고, 다른 글과 비교함으로써 점수에 대한 근거를 찾는 데 많은 인지적 노력을 쏟으며, 평가를 할 때 평가 기준의 외적 요인인 글의 양은 고려하지 않는 경향이 있는 것으로 나타났다. 이 결과를 토대로 국어 교사가 자신의 평가 일관성을 적합하게 유지할 수 있도록 돕는 평가자 훈련 방안을 제시하였다.
Abstract
The purpose of this study is to propose a model of the Korean language teacher’s process of assessment by analyzing protocols and to seek solution for maintaining consistency of assessment by exploring cognitive differences according to level of consistency. The main conclusions obtained from this study are as follows. First, process of assessment in persuasive writing consist of ‘reading and understanding’, ‘concurrent assessment’, ‘overall assessment’, each of which are handled through a variety of process actions. Second, raters with appropriate consistency level put more cognitive effort into determining the level of writing than raters with overfit, misfit consistency level. Third, raters with appropriate consistency level put more cognitive effort into reading and understanding text and finding the basis for scores than raters with overfit, misfit consistency level by presenting general and specific characteristics of the writing, proposing method of improvement, and comparing them with other articles. And they tend not to take into account the quantity of text that is external factor in criteria when assess. Through these, methods of rater training are presented to help Korean language teachers maintain their consistency of assessment appropriately.
참고문헌 (28)
- 권태현, "쓰기 성취기준에 따른 학생 예시문 선정에 관한 연구", 박사, 국어교육전공, pp.2014
- 박영민, "예비국어교사의 중학생 논설문 평가에서 발견되는 엄격성 및 일관성의 특성", 국어교육학연구, (43), pp.253~283 (2012), 국어교육학회[DOI]
- 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－", 국어교육학연구, (37), pp.367~391 (2010), 국어교육학회[DOI]
- 박종임, "국어교사의 쓰기 평가 특성 연구", 박사, 국어교육전공, pp.2013
- 박종임, "작문 채점에서의 인지적 과정 모형에 대한 이론적 고찰", 청람어문교육, (52), pp.57~85 (2014), 청람어문교육학회[DOI]
- 백유진, "국어교사의 쓰기 평가 지식과 효능감이 논설문 평가에 미치는영향", 석사, pp.2018
- 서수현, "요인 분석을 통한 쓰기 평가의 준거 설정에 대한 연구", 박사, 국어교육, pp.2008
- 오세영, "작문 평가자의 학생글 읽기 과정 연구", 우리말글, 72, pp.129~167 (2017), 우리말글학회[DOI]
- 유진은, "한 학기에 끝내는 양적연구방법과 통계분석" (2015), 학지사
- 이성영, "국어과 교사의 쓰기 영역 평가 전문성 기준과 모형", 국어교육, (117), pp.349~372 (2005), 한국어교육학회
- 이종승, "교육, 심리, 사회 연구방법론" (2009), 교육과학사
- 장은주, "채점의 일관성 유형에 따른 국어교사의 쓰기 평가 특성 분석", 박사, pp.2015
- 전명재, "사고 구술(Think aloud)을 통한 쓰기 과정 연구", 석사, 국어교육, pp.2002
- 천경록, "읽기 교육방법과 사고구술", 한국초등국어교육, (21), pp.39~65 (2002), 한국초등국어교육학회
- Campbell, D. T., "Convergent and discriminant validation by multitrait-multimethod matrix", Psychological Bulletin, 56(2), pp.81~105 (1959)
- Cohen, J., "Statistical power analysis for the behavioral sciences" (1988), Lawrence Erlbaum Associates
- Crisp, V., "An investigation of rater cognition in the assessment of projects", Educational Measurement : Issues and Practice, 31(3), pp.10~20 (2012)
- Cronbach, L. J., "Essentials of psychological testing" (1990), Harper and Row
- Denzin, N., "Sociological Methods" (1978), McGraw-Hill
- Eckes, T., "Operational rater types in writing assessment : Linking rater cognition to rater behavior", Language Assessment Quarterly, 9(3), pp.270~292 (2012)
- Ericsson, K. A., "Protocol Analysis : Verbal Reports as Data" (1993), MIT Press
- Freedman, J. R., "Research on Writing：Principles and methods", pp.75~98 (1983), Longman
- Kondo-Brown, K., "A FACETS analysis of rater bias in measuring Japanese L2 writing performance", Language Testing, 19(1), pp.3~31 (2002)
- 설현수, "문항반응이론의 이론과 실제" (2003), 서현사(서울)
- Pula, J. J., "Validating holistic scoring for writing assessment: Theoretical and empirical foundations", pp.237~265 (1992), Hampton Press
- Schaefer, E., "Rater bias patterns in an EFL writing assessment", Language Testing, 25, pp.465~493 (2008)
- Wolfe, E. W., "Uncovering rater’s cognitive processing and focus using think-aloud protocols", Writing Assessment, 2(1), pp.37~56 (2005)
- Wolfe, E. W., "Learning how to rate essays：A study of scorer cognition", Paper presented at the Annual Meeting of the American Educational Research Association (1994)