L2 한국어 쓰기 채점자의 편향과 인지 처리 과정에 대한 고찰 - 주장하는 글을 중심으로 -
An Examination of Bias and Cognitive Processing in L2 Korean Writing Raters - Focusing on Argumentative Writing -
2
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 L2 한국어 쓰기 중 주장하는 글쓰기 평가에서 채점자가 보이는 편향과 인지 처리 과정을 분석하고, 채점의 타당성과 일관성의 증진 방안에 대한 논의를 주요 목적으로 한다. 이를 위해 L2 한국어 쓰기 채점자 10명이 한국어 학습자 15명의 주장하는 글쓰기를 완전 교차 채점한 후, 그 결과를 라슈 모형에 근거한 FACETS 프로그램을 통해 분석하고, 채점 과정을 사고 구술한 자료를 전사하여 인지 처리 단계별 수행 행동을 중심으로 채점자 프로토콜 분석을 실시하였다. 주요 연구 결과는 다음과 같다. 첫째, 주장하는 글쓰기 평가에서의 채점자 편향을 분석한 결과, 교육 경력이나 채점 경험에 따라 채점의 안정화 전략과 채점자의 편향 양상이 다르게 나타났다. 또한 텍스트의 난이도와 과제의 완료 여부 등이 채점 편향에 영향을 미치는 주요 원인임을 알 수 있었다. 둘째, 주장하는 글쓰기 평가의 채점자 인지 처리 과정 분석 결과, 텍스트 이미지 형성하기, 해석하기, 평가적 읽기, 점수 결정하기의 4개 단계에서 타당성 높은 채점자와 그렇지 않은 채점자 간의 인지 처리 양상과 하위 정보 처리 행동의 차이를 확인할 수 있었다.
Abstract
This study aims to analyze the biases and cognitive processing of raters in evaluating argumentative writing in L2 Korean writing and to discuss strategies for enhancing the validity and consistency of scoring. To achieve this, 10 raters of L2 Korean writing performed a fully crossed evaluation of argumentative essays written by 15 Korean language learners. The results were analyzed using the FACETS program based on the Rasch model, and the raters’ think-aloud protocols during the scoring process were transcribed and analyzed, focusing on their cognitive processing stages and specific actions. The main findings of the study are as follows: First, an analysis of rater bias in evaluating argumentative writing revealed that stabilization strategies and bias patterns varied depending on the raters’ teaching experience and scoring background. Additionally, factors such as the difficulty level of the text and the completeness of the task were identified as key contributors to scoring bias. Second, an analysis of the cognitive processing stages of raters in evaluating argumentative writing identified differences in the cognitive processing patterns and sub-level information processing behaviors between raters with high validity in scoring and those with lower validity. The cognitive processing stages were categorized into four phases: forming a text image, interpreting, evaluative reading, and making a scoring decision. This study provides insights into the underlying causes of scoring biases and proposes strategies for improving the validity of rater evaluations in L2 Korean argumentative writing.
참고문헌 (36)
- 강민석, "다국면 라쉬 모형을 통한 한국어 쓰기 평가에서의 채점 경향 연구", 석사, pp.2015
- 김동수, "사고구술법을 통한 한국어 쓰기 평가자의 숙련도별 평가 과정 연구", 석사, pp.2014
- 김수현, "한국어 학습자의 쓰기 수행 평가에 대한 신뢰도 연구", 석사, pp.2019
- 김승주, "교실 단위 작문 평가에서 활용 가능한 작문 자동 채점 프로그램의 설계 방안에 대한 연구-인지공학적 설계 접근과 채점자의 인지 부하 요인을 고려하여-", 청람어문교육, 83, pp.157~203 (2021), 청람어문교육학회
- 김정숙, "한국어 능력 시험의 개선 방안 연구(Ⅱ)-평가 문항 유형을 중심으로-", 한국어 교육, 16(2), pp.91~108 (2005), 국제한국어교육학회
- 김해미, "장르 특성을 활용한 주장하는 글쓰기 교육 연구", 어문론집, 81, pp.335~374 (2020), 중앙어문학회
- 남미정, "한국어 쓰기 자동 채점을 위한 언어 자질 탐색 연구", 언어사실과 관점, 57, pp.9~32 (2022), 연세대학교 언어정보연구원
- 박종임, "작문 채점에서의 인지적 과정 모형에 대한 이론적 고찰", 청람어문교육, 52, pp.57~85 (2014), 청람어문교육학회
- 박지수, "한국어 쓰기 평가의 채점자 요인 연구", 석사, pp.2021
- 백유진, "글 유형에 따른 예비국어교사의 평가 특성 분석", 교원교육, 37(2), pp.163~183 (2021), 한국교원대학교 교육연구원
- 서유남, "한국어능력시험 쓰기 평가 개선방안 연구", 석사, pp.2003
- 신동일, "채점 경향 분석을 위한 Rasch 측정모형 적용 연구", 외국어교육, 8(1), pp.249~272 (2001), 한국외국어교육학회
- 오세영, "대학생 필자의 학문적 글쓰기 과정에 나타난 장르 인식과 글쓰기 변형의 상관 분석 연구", 우리말글, 76, pp.61~107 (2018), 우리말글학회
- 윤나영, "한국어 쓰기 평가에서의 채점 편향 분석 연구-논설문에서의 찬반 입장을 중심으로-", 언어와 문화, 19(3), pp.225~253 (2023), 한국언어문화교육학회
- 이인혜, "한국어 교사의 쓰기 평가 효능감과 평가 특성 연구", 이중언어학, 56, pp.231~266 (2014), 이중언어학회
- 이해영, "국어 시험의 현황과 개선 방안 : 한국어능력시험의 현황과 개선 방안", 국어교육학연구, 20, pp.197~235 (2004), 국어교육학회
- 장미, "논설문 채점 진행에 따른 국어교사의 채점 전략 변화 분석", 박사, pp.2020
- 장소영, "언어교육평가 연구를 위한 FACETS 프로그램" (2009), 글로벌콘텐츠
- 최혜민, "텍스트 종류에 따른 한국어 쓰기의 내용 평가 기준 연구-설명문, 논설문, 감상문을 중심으로-", 한성어문학, 30, pp.218~252 (2011), 한성대학교 한성어문학회
- Atkinson, R. C., "Human memory : A proposed system and its control processes", Psychology of Learning and Motivation, 2, pp.89~195 (1968)
- Bachman, L. F., "Language assessment in practice" (2010), Oxford University Press
- Crisp, V., "An investigation of rater cognition in the assessment of projects", Educational Measurement : Issues and Practice, 31(3), pp.10~20 (2012)
- Cumming, A., "Expertise in evaluating second language compositions", Language Testing, 7(1), pp.31~51 (1990)
- Eckes, T., "Operational rater types in writing assessment : Linking rater cognition to rater behavior", Language Assessment Quarterly, 9(3), pp.270~292 (2012)
- Freedman, S. W., "Research on writing: Principles and methods", pp.75~98 (1983), Longman
- Jia, W., "Rater cognitive processes in integrated writing tasks : From the perspective of problem-solving", Language Testing in Asia, 13(1), pp.50~ (2023)
- Kondo-Brown, K., "A FACETS analysis of rater bias in measuring Japanese second language writing performance", Language Testing, 19(1), pp.3~31 (2002)
- Linacre, J. M., "Many-facet Rasch measurement" (1989), MESA Press
- Lumley, T., "Rater characteristics and rater bias : Implications for training", Language testing, 12(1), pp.54~71 (1995)
- Lumley, T., "Assessing second language writing: The rater's perspective (Vol. 3)" (2005), P. Lang
- McNamara, T., "Measuring second language performance" (1996), Longman
- Milanovic, M., "Performance testing, cognition and assessment: Selected papers from the 15th Language Testing Research Colloquium", pp.92~114 (1996), Cambridge University Press
- Sakyi, A. A., "Fairness and validation in language assessment: Selected papers from the 19th Language Testing Research Colloquium", pp.129~152 (2000), Cambridge University Press
- Weigle, S. C., "Assessing writing" (2002), Cambridge University Press
- Wolfe, E. W., "Uncovering Rater’s cognitive processing and focus using think-aloud protocols", Journal of Writing Assessment, 2(1), pp.37~56 (2005)
- Wright, B. D., "The Rasch model as a foundation for the Lexile framework", ~ (1994)