논문KCI 등재
사고구술을 활용한 쓰기 평가 특성 분석 연구
The Characteristics of Writing Assessment Process Using Think-Aloud Protocol Analysis
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
주제분류한국어와문학
초록
이 연구에서는 중학생 논술 평가에서 나타나는 평가자의 평가 특성을 살펴보기 위해서 평가 과정에서 생성한 사고구술 프로토콜을 분석하였다. 또한 이러한 평가 과정 특성을 살펴보는 것이 FACETS 분석에 의한 평가 일관성 적합도 결과의 원인을 추측하는 데에 어떤 도움을 줄 수 있는지를 살펴보았다. 평가 과정 특성별 점유율을 분석한 결과, 일관성 적합 평가자들은 부적합․과적합 평가자들에 비하여 세부적인 평가 근거를 제시하고 있었다. 또한 부적합 평가자와 과적합 평가자의 평가 과정 프로토콜을 기반으로 평가 과정을 분석함으로써 부적합과 과적합 경향의 원인을 추측하는 데에 도움을 받을 수 있다는 것을 알 수 있었다. 이러한 연구 결과는 향후 쓰기 평가자 훈련 방법을 마련하는 것에 기여할 수 있을 것이다.
Abstract
The purpose of this study is to analyze the characteristics of writing assessment process that affects on rater consistence. For that, the data from 6 raters' writing scoring analyzed using Rasch Measurement Model. After that, the writing assessment process analyzed using think-aloud protocol. The findings are these. First, consistence fit raters show lower nonevaluated comment than overfit․misfit raters. Second, consistence fit raters show higher specific comment than overfit․misfit raters. Third, consistence misfit rater affected by subjective impression strongly and overfit rater tend to use the scoring scales inappropriately.
참고문헌 (33)
- 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－", 국어교육학연구, (37), pp.367~391 (2010), 국어교육학회
- 박종임, "Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원인 분석 -중학생 서사문 채점을 중심으로-", 우리어문연구, (39), pp.301~335 (2011), 우리어문학회
- 이영식, "영어작문평가에 대한 채점자 훈련의 원리", 영어교육, 53(1), pp.179~200 (2000)
- Curran, J. P., "Recalibration of raters to criterion : A methodological note for social skills research", Behavioral Assessment, 2, pp.261~268 (1980)
- Ericsson, K. A., "Protocol analysis: Verbal reports as data (rev. ed.)" (1993), MIT Press
- Freedman, J. R., "Holistic assessment of writing: Experimental design and cognitive theory, In Research on Writing: Principles and methods", pp.75~98 (1983), London
- Hamp-Lyons, L., "Second language writing: Assessment issues, In Second language writing: Research insights for the classroom", pp.69~87 (1990), Cambridge University Press
- Hamp-Lyons, L., "Assessing second language writing in academic contexts" (1991), Ablex
- Huot, B. A., "The influence of holistic scoring procedures on reading and rating student essays, In Validating holistic scoring for writing assessment", pp.206~236 (1993), Hampton
- Kazdin, A. E., "Artifact, bias, and complexity: The ABC's of reliability", Journal of Applied Behavior Analysis, 10, pp.141~150 (1977)
- Kazdin, A. E., "Observer effects: Reactivity of direct observation, In Using observers to study behavior", pp.5~19 (1982), Jossey-Bass
- Linacre, J. M., "Objectivity for judge-mediated certification examinations", Paper presented at annual meeting of the American Education Research Association (1989)
- Linacre, J. M., "Many-faceted Rasch measurement" (1989), MESA Press
- Linacre, J. M., "A User's Guide to Facets: Rasch measurement computer program (version 3.0)" (1996), MESA Press
- Linacre, J. M., "FACETS" (1990), MESA Press
- Longabaugh, R., "The systematic observation fo behavior in naturalistic settings, In Handbook of cross-cultural psychology: Vol. 2" (1980), Allyn & Bacon
- Lunz, M, E., "Judge consistency and severity across grading periods", Evaluation and the Health Professions, 13, pp.425~444 (1990)
- McNamara, T, F., "Measuring Second Language Performance" (1996), Longman
- McNamara, T, F., "Item Response Theory and the validation of an ESP test for health professionals", Language Testing, 7(1), pp.52~75 (1990)
- McNamara, T, F., "Language Testing" (2000), Oxford University Press
- Medley, D. M., "Systematic observation, In Encyclopedia of educational research (5th ed.)", pp.1841~1851 (1982), Macmillan
- Morrow, K., "Communicative language testing; revolution or evolution?, In The Communicative Approach to Language Teaching", pp.143~158 (1979), Oxford University Press
- Moss, P. A., "Can there be validity without reliability?", Educational Researcher, 23(2), pp.5~12 (1994)
- Mullen, K., "Teaching and learning english as a second language : trends in research and practice, In Teaching and learning english as a second language : trends in research and practice", pp.309~320 (1977), TESOL
- Pula, J. J., "A model of background influences on holistic raters, In Validating holistic scoring for writing assessment: Theoretical and empirical foundations", pp.237~265 (1993), Hampton
- Stansfield, C., "A long-term research agenda for the Test of Written English", Language Testing, 5, pp.160~186 (1988)
- Stiggins, R. J., "NCME instructional module on design and development of performance assessments", Educational Measurement : Issues and Practice, 59, pp.33~42 (1987)
- Vaughan, C., "Holistic assessment: What goes on in the rater's mind?, In Assessing second language writing in academic contexts", pp.11~125 (1991), Ablex
- White, E., "Holiticism", College Composition and Communication, 35, pp.400~409 (1984)
- Wolcott, W., "An overview of writing assessment: Theory, research, and practice" (1988), National Council of Teachers of English
- Wolfe, E. W., "A study of expertise in essay scoring", 박사, pp.1995
- Wolfe, E. W., "The relationship essay reading style and scoring proficiency in a psychometric scoring system", Assessing Writing, 4, pp.83~106 (1997)
- Wolfe, E. W., "Uncovering rater's cognitive processing and focus using think-aloud protocols", Journal of Writing Assessment, 2(1), pp.37~56 (2005)
관련 논문AI추천
일관성 수준에 따른 논설문 평가 과정의 인지적 차이 분석백유진한국작문학회 · 작문연구2020 · 제44호작문 채점에서의 인지적 과정 모형에 대한 이론적 고찰박종임청람어문교육학회 · 청람어문교육2014 · 제52호L2 한국어 쓰기 채점자의 편향과 인지 처리 과정에 대한 고찰 - 주장하는 글을 중심으로 -김춘영우리말글학회 · 우리말글2024 · 제103권 국어교사의 쓰기평가 신뢰도에 영향을 미치는 인지 과정 특성 분석윤금준청람어문교육학회 · 청람어문교육2021 · 제79호예비 국어교사의 설명문 분석적 채점에서 나타나는 특성에 대한 연구박찬흥한국작문학회 · 작문연구2018 · 제39호작문 평가자의 학생글 읽기 과정 연구오세영우리말글학회 · 우리말글2017 · 제72권