서울대학교 신입생 글쓰기 평가 결과 분석 - 글의 수준에 따른 평가 준거별 특성 비교 -
Analysis of the Writing Assessment for First-Year Students at Seoul National University - Characteristics of the evaluation criteria according to the standards of written text -
0
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
이 연구는 서울대학교에서 시행한 2022학년도 신입생 글쓰기 평가 결과를 분석하여 이들의 글쓰기 능력을 절대 수준으로 분류하고, 글의 수준에 따른 평가 준거별 특성을 탐색하였다. 분석적 채점을 통해 1,257명이 작성한 논증 에세이를 평정하고, 총점 구간을 기준으로 수정된 앙고프(Angoff) 방법을 통해 전체 응시자가 작성한 글을 세 개의 수준으로 나누었다. 다분형 문항반응이론을 사용하여 평가 준거별 난이도와 변별도를 확인하였으며, 설명적 순차 설계(explanatory sequential design)의 혼합 방법론을 적용하였다. 분석 결과 ① ‘근거의 적절성’, ‘근거의 충분성’, ‘주장의 적절성과 명료성’, ‘글 전체 구성’의 설명력이 일반적으로 높다는 점, ② 내용 범주에 해당하는 ‘접근 방법과 아이디어의 참신성’, ‘예상 반론 고려’가 상위 수준에서 상대적으로 높은 변별력을 지닌 반면 중·하위 수준에서 그에 미치지 못한다는 점, ③ 표현 범주에 해당하는 ‘맞춤법과 관습’이 하위 수준에서 상대적으로 높은 변별력을 지닌 반면 중·하위 수준에서 그에 미치지 못한다는 점을 확인할 수 있었다.
Abstract
This study analyzed the 2022 writing assessment for first-year students conducted at Seoul National Uuniversity and explored the characteristics of the students’ essays using evaluation criteria according to the standard of written text. The argumentative essays of 1,257 students were evaluated with analytic scoring, and the texts were divided into three levels using the modified Angoff method based on the total score. Polytomous item response theory was used to confirm the difficulty and discriminability of each evaluation criterion, and a mixed method of explanatory sequential design was applied. The main results are as follows. First, “evidence validity,” “evidence sufficiency,” “appropriateness and clarity of claim,” and “organization of the whole text” have generally high explanatory power. Second, “novelty of approaches and ideas” and “consideration of counterarguments,” corresponding to the contents category, have relatively high discriminability at the upper level. Third, “spelling and convention,” corresponding to the expressions category, has relatively high discriminability at the lower level.
참고문헌 (34)
- 김라연, "독자가 인식하는 좋은 글과 나쁜 글의 기준에 대한 연구 -의학 전공생의 의학 칼럼 읽기를 중심으로", 국어교육학연구, 52(4), pp.269~302 (2017), 국어교육학회[DOI]
- 金正子, "쓰기 評價 方法 연구 : 評價基準의 設定과 그 適用을 중심으로", 석사, 국어교육학, pp.1992
- 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용, "노은희", 한국교육과정평가원, ~ (2013)
- 한국어 문장 수준 서답형 문항 자동채점 프로그램 고도화 개발 및 적용, "노은희", 한국교육과정평가원, ~ (2016)
- 한국어 문장 수준 서답형 문항 자동채점 프로그램 개발 및 적용, "노은희", 한국교육과정평가원, ~ (2015)
- 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~ (2012)
- 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증, "노은희", 한국교육과정평가원, ~ (2014)
- 민병곤, "논증 교육의 내용 연구 : 6, 8, 10학년 학습자의 작문 및 토론 분석을 바탕으로", 박사, 국어교육, pp.2004
- 민병곤, "대학 신입생의 글쓰기 능력 진단 체제 개발 연구 - 서울대학교 신입생 글쓰기 평가를 중심으로", 리터러시 연구, 13(6), pp.45~76 (2022), 한국 리터러시 학회
- 인공지능 활용 국어능력 진단체계 개발 기초 연구, "민병곤", 국립국어원, ~ (2022)
- 박영목, "작문 능력 평가 방법과 절차", 국어교육, 99, pp.1~29 (1999), 한국어교육학회
- 박영민, "인문계 고등학생의 쓰기 지식과 쓰기 수행의 상관 및 성별·학년별 차이 연구", 국어교육, (128), pp.175~202 (2009), 한국어교육학회
- 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－", 국어교육학연구, (37), pp.367~391 (2010), 국어교육학회[DOI]
- 평가를 활용한 초·중등학생 글쓰기 능력 평가 신장 방안 연구(Ⅱ), "박혜영", 한국교육과정평가원, ~ (2021)
- 원진숙, "쓰기 평가 기준 설정 연구", 한국어학, 2, pp.287~315 (1995), 한국어학회
- 유상희, "지식 탐구의 도구로서 논증적 글쓰기에 대한 고찰- CCSS 범교과 문식성 영역을 중심으로 -", 작문연구, (32), pp.83~116 (2017), 한국작문학회[DOI]
- 이영호, "학습 논술 교육 연구 : 학습 과정에서의 논증 능력을 중심으로", 박사, 국어교육과 국어교육전공, pp.2012
- 이용상, "한국어 쓰기 평가를 위한 자동채점의 가능성 탐색", 이중언어학, (86), pp.171~191 (2022), 이중언어학회[DOI]
- 장성민, "학습 목적 글쓰기 교육에 대한 반성적 검토 - 2015 국어과 교육과정의 성취기준 분석을 중심으로 -", 국어교육, (155), pp.63~106 (2016), 한국어교육학회
- 장성민, "Q 방법론을 활용한 ‘좋은 글’에 대한 예비 국어교사의 인식 유형 탐색", 청람어문교육, (77), pp.65~117 (2020), 청람어문교육학회[DOI]
- 장성민, "좋은 설득문에 대한 예비 국어교사의 인식 유형 탐색 - Q 방법론의 적용 -", 작문연구, (50), pp.7~33 (2021), 한국작문학회[DOI]
- 장성민, "대학수학능력시험 “국어” 작문 영역 평가의 타당성 검토 - 선다형 점수와 수행형 점수의 상관관계를 중심으로 -", 작문연구, (29), pp.163~209 (2016), 한국작문학회
- 정희모, "대학생 글에 대한 총체적 평가와 분석적 평가의 결과 비교 연구", 청람어문교육, (39), pp.251~273 (2009), 청람어문교육학회[DOI]
- 최승식, "고등학생들의 설득하는 글쓰기 양상 분석", 작문연구, (53), pp.7~34 (2022), 한국작문학회[DOI]
- Bejar, I. I., "Rater cognition: Implications for validity", Educational Measurement : Issues and practice, 31(3), pp.2~9 (2012)
- Chen, C. F. E., "Beyond the design of automated writing evaluation: Pedagogical practices and perceived learning effectiveness in EFL writing classes", Language Learning & Technology, 12(2), pp.94~112 (2008)
- Creswell, J. W., "A concise introduction to mixed methods research" (2014), Sage
- Perelman, L., "When “the state of the art” is counting words", Assessing Writing, 21, pp.104~111 (2014)
- Purves, A. C., "In search of an internationally-valid scheme for scoring compositions", College Composition and Communication, 35(4), pp.426~438 (1984)
- Ramesh, D., "An automated essay scoring systems: a systematic literature review", Artificial Intelligence Review, 55, pp.2495~2527 (2021)
- Vaughan, C, "Assessing second language writing in academic contexts", pp.111~125 (1991), Albex Publishing Corporation
- Weigle, S. C., "Assessing writing" (2002), Cambridge University Press
- Williams, J. M, "논증의 탄생" (2008), 홍문관
- Wolfe, E. W., "Identifying rater effects using latent trait models", Psychology Science, 46, pp.35~51 (2004)