본문 바로가기
KERD
논문KCI 등재

대학수학능력시험 “국어” 작문 영역 평가의 타당성 검토 - 선다형 점수와 수행형 점수의 상관관계를 중심으로 -

A Review of the Validity of the CSAT Indirect Writing Assessment

민병곤|장성민
한국작문학회 (Korean Writing Association)|2016.06|작문연구|제29호|pp. 163-209

1

조회

0

다운로드

21

인용

0

참고문헌

키워드

대학수학능력시험College Scholastic Ability Test(CSAT)작문 교육Korean Language EducationArgument논증국어 교육Writing Education자료 통합적 글쓰기Writing from SourcesIndirect Writing AssessmentWriting Performance작문 간접평가작문 수행의견 제시형 글쓰기수사적 인식Opinion EssayRhetoric Awareness
주제분류한국어와문학

초록

이 연구는 그 동안 선다형 문항을 통해 학습자의 작문 능력을 측정할 수 있는 것으로 밝혀 온 현행 대학수학능력시험의 간접평가 방식에 대해 문제를 제기하고, 일반계 고등학교에 재학 중인 2학년 학습자 127명을 대상으로 대학수학능력시험 작문 영역의 선다형 문항(15문항) 점수와 의견 제시형 글쓰기(opinion essay)를 수행하기 위한 자료 통합적 글쓰기 점수 사이의 상관관계를 평가 준거별, 성별에 따라 분석하였다. 연구의 주요 결과를 정리하면 다음과 같다. 첫째, 선다형 문항과 수행형 문항 점수의 총점 간 상관관계는 .471로 그리 높지 않게 나타났으며, 두 점수 간 상호 예언력을 갖는 학생의 비율은 21.5%에 불과했다. 둘째, 수행형 문항의 항목별 점수에 대한 선다형 점수의 상관관계는 ‘고쳐 쓰기’를 제외한 전 항목에서 ‘표현’, ‘조직’, ‘내용’ 순으로 나타났다. 상관관계에서 벗어난 글쓰기 결과물에 대해 질적 내용분석을 실시한 결과 대부분 ‘내용’ 항목에 편차가 벌어진 반면 선다형 점수의 예언력은 ‘표현’ 항목에서 제한적으로 유효함을 확인할 수 있었다. 셋째, 남학생이 여학생에 비해 전체적으로 높은 상관관계를 보였다. 넷째, 여학생은 ‘고쳐 쓰기’ 유형의 선다형 문항에서, 남학생은 ‘계획하기’와 ‘내용 조직하기’ 유형의 선다형 문항에서 수행형 문항의 모든 평가 항목과 비교적 고른 상관을 보였다.

Abstract

This study aims to analyze the correlation between the College Scholastic Ability Test(CSAT) multiple-choice test score and a writing performance-based test score. For this purpose, data were collected from 127 academic high school students. Further, quantitative and qualitative analysis by sub-criteria were employed to evaluate performance by gender and the efficacy of the ‘Writing From Sources’ product. The results were as follows. First, the correlation coefficient between the CSAT multiple-choice test total score and the writing performance-based test total score was .471. The ratio of participant predictability by either score was merely 21.5%. Second, there was a higher correlation between the “Expressions” score and the CSAT multiple-choice test total score. This correlation was also identified via qualitative content analysis on writing products. Third, the correlation coefficient for female students was significantly higher than that for male students overall. Fourth, sub-areas of the CSAT multiple-choice test scores demonstrating the most prominent effect on writing performance by gender were as follows: “Planning” and “Organizing Ideas” for male students, and “Editing for Purpose and Style” in the case of female students.

참고문헌 (53)

  1. 김유미, "비판적 담화분석을 활용한 읽기 교육 연구", 박사, 국어교육과 국어교육전공, pp.2014
  2. 김정자, "학생의 글에 대한 교사 반응의 의의", 새국어교육, (89), pp.107~128 (2012), 한국국어교육학회
  3. 김혜연, "쓰기 과정에서 생성하기와 검토하기의 역동적 상호작용", 박사, 국어교육과 국어교육전공, pp.2014
  4. 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~, pp.RRE 2012-6 (2012)
  5. 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용, "노은희", 한국교육과정평가원, ~, pp.RRE 2013-5 (2013)
  6. 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증, "노은희", 한국교육과정평가원, ~, pp.RRE 2014-6 (2014)
  7. 한국어 문장 수준 서답형 문항 자동채점 프로그램 개발 및 적용, "노은희", 한국교육과정평가원, ~, pp.RRE 2015-9 (2015)
  8. 박영민, "자료 텍스트의 관계 유형과 작문 교육", 청람어문교육, (27), pp.155~182 (2003), 청람어문교육학회
  9. 박영민, "쓰기 지식과 쓰기 동기가 중학생의 설명문 쓰기 능력에 미치는 영향", 새국어교육, (84), pp.127~152 (2010), 한국국어교육학회
  10. 박영민, "국가 수준 학업성취도 평가 개선을 위한 ‘쓰기’ 평가 이론의 정립", 국어교육, (134), pp.87~112 (2011), 한국어교육학회
  11. 박영민, "인문계 고등학생의 쓰기 지식과 쓰기 수행의 상관 및 성별·학년별 차이 연구", 국어교육, (128), pp.175~202 (2009), 한국어교육학회
  12. 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－", 국어교육학연구, (37), pp.367~391 (2010), 국어교육학회
  13. 박영민, "중학생 논설문 평가의 모평균 추정과 평가 예시문 선정", 국어교육, (131), pp.437~461 (2010), 한국어교육학회
  14. 박종임, "국어교사의 쓰기 평가 특성 연구", 박사, 국어교육전공, pp.2013
  15. 박종임, "Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원인 분석 -중학생 서사문 채점을 중심으로-", 우리어문연구, (39), pp.301~335 (2011), 우리어문학회
  16. 박찬흥, "쓰기 간접평가에 대한 비판적 고찰－중등 성취도 평가 쓰기 선다형 문항을 중심으로－", 청람어문교육, (56), pp.37~66 (2015), 청람어문교육학회
  17. 서종훈, "담화 갈래와 평가 주체에 따른 쓰기 평가의 상관 연구", 우리말교육현장연구, 8(1), pp.73~108 (2014), 우리말교육현장학회
  18. 윤혜성, "대학수학능력시험 언어 영역 쓰기 문항 분석 연구 : 『작문』과목 교육과정과의 연관성을 중심으로", 석사, 국어교육전공, pp.2012
  19. 이도영, "수능 관련 국어교육 정책과 철학", 제61회 국어교육학회 전국학술대회 자료집, pp.51~57 (2016)
  20. 이영진, "논술교육이 수능 성적에 미치는 영향 분석", 청람어문교육, (39), pp.173~211 (2009), 청람어문교육학회
  21. 이수진, "쓰기 직접 평가를 위한 텍스트 분석 평가의 실행 방안", 작문연구, (13), pp.142~166 (2011), 한국작문학회
  22. 이재기, "국어 영역간 성취도의 상관관계 분석", 국어국문학, 141, pp.115~148 (2005), 국어국문학회
  23. 장성민, "경험적 논거를 활용한 설득적 글쓰기 교육 내용 연구", 석사, 국어교육과 국어교육전공, pp.2013
  24. 장성민, "고등학교 교과서에 나타난 작문 맥락 분석 - “국어Ⅱ”의 설득적 글쓰기 단원을 중심으로", 작문연구, (23), pp.107~145 (2014), 한국작문학회
  25. 장성민, "고등학생 필자의 다문서 읽기를 통한 작문 과제 수행에 관한 연구", 작문연구, (25), pp.191~225 (2015), 한국작문학회
  26. 장성민, "고등학생의 자료 통합적 글쓰기에서 자료의 텍스트 유형이 글의 구조에 미치는 영향", 작문연구, (27), pp.181~225 (2015), 한국작문학회
  27. 전제응, "초등학교 국가 수준 학업성취도 평가 국어과 쓰기 영역의 문항 분석과 개선 방안", 학습자중심교과교육연구, 14(10), pp.587~607 (2014), 학습자중심교과교육학회
  28. 최승식, "설명문 쓰기의 담화종합 과정 연구", 박사, pp.2015
  29. 한국교육과정평가원, "2017학년도 대학수학능력시험 대비 학습 방법 안내(CAT 2016-3-3)", 한국교육과정평가원, ~ (2016)
  30. 한지완, "대학수학능력시험 언어영역 점수와 논술 시험 점수의 상관관계 연구", 석사, 국어교육, pp.2007
  31. Anmarkrud, Ø., "Multiple-documents literacy: Strategic processing, source awareness, and argumentation when reading multiple conflicting documents", Learning and Individual Differences, 30, pp.64~76 (2014)
  32. Boldt, H., "Evaluation of ESL student writing on text-responsible and non-text responsible writing tasks", MEXTESOL Journal, 24(3), pp.13~33 (2001)
  33. Test development plan with specifications for placement instruments anchored to the model standards, "Butler, F. A.", University of California, Los Angeles. Center for the Study of Evaluation, ~ (1996)
  34. Breland, H. M., "Perceptions of writing skills", Written Communication, 1(1), pp.101~119 (1984)
  35. Britton. J., "The development of writing abilities" (1975), Macmillan
  36. Flower, L., "Reading-to-write: Exploring a cognitive and social process" (1990), Oxford University Press
  37. Jacobs, H. L., "Testing ESL Composition: A Practical Approach" (1981), Newbury House
  38. Hartman, D., "Lively discussions! Fostering engaged reading", pp.106~133 (1996), IRA
  39. Leki, I., "Completely different worlds: EAP and the writing experiences of ESL students in university courses", TESOL quarterly, 31(1), pp.39~69 (1997)
  40. Lewkowicz, J. A., "Investigating authenticity in language testing", doctor, pp.1997
  41. McLaughlin, M., "Handbook of research on teaching the English Language Arts", pp.278~282 (2011), Taylor and Francis
  42. Mendelsohn, D., "Professor's ratings of language use and rhetorical organizations in ESL compositions", TESL Canada Journal, 5(1), pp.09~26 (1987)
  43. Perelman, Ch., "The realm of rhetoric" (1977), University of Notre Dame press
  44. Effects of applying different time limits to a proposed GRE writing test, "Powers, D. E.", ETS, ~ (1997)
  45. Purves, A. C., "Reflections on research and assessment in written composition", Research in the Teaching of English, 26, pp.108~122 (1992)
  46. Santos, T., "Professors' Reactions to the Academic Writing of Nonnative- Speaking Students", Tesol Quarterly, 22(1), pp.69~90 (1988)
  47. Smith, W. L., "Some effects of varying the structure of a topic on college students' writing", Written Communication, 2(1), pp.73~89 (1985)
  48. Spendel, V. & Culham, R., "A Handbook for Student Performance Assessment in an Era of Restructuring" (1996), ASCD
  49. Spivey, N. N., "Discourse synthesis: Constructing texts in reading and writing", doctor, pp.1984
  50. Spivey, N. N., "Readers as writers composing from sources", Reading Research Quarterly, 24(1), pp.7~26 (1989)
  51. Spivey, N. N., "The Contructivist Metaphor: Reading, Writing, and the Making of Meaning" (1997), Academic Press
  52. Weigle, S. C., "Assessing writing" (2002), Ernst Klett Sprachen
  53. Weigle, S. C., "Integrating reading and writing in a competency test for non-native speakers of English", Assessing writing, 9(1), pp.27~55 (2004)

관련 논문AI추천

쓰기 간접평가에 대한 비판적 고찰－중등 성취도 평가 쓰기 선다형 문항을 중심으로－박찬흥청람어문교육학회 · 청람어문교육2015 · 제56호쓰기 평가 방식에 관한 학생들의 인식 차이 분석이영진한국작문학회 · 작문연구2012 · 제14호미국 SAT 작문 평가 문항 분석을 통한 대학수학능력시험 국어 영역의 작문 평가 개선 방안 탐색최숙기한국작문학회 · 작문연구2018 · 제36호수능 국어 영역 `화법과 작문` 평가 문항의 양호도 조사 연구권태현, 김승현청람어문교육학회 · 청람어문교육2019 · 제71호대학생의 유형별 글쓰기에서 나타나는 채점요인 간의 관계 분석박찬흥한국작문학회 · 작문연구2018 · 제38호중학생의 설명글 쓰기 능력 평가 연구김주환, 이순영, 천해주한국어문교육연구소 · 한국어문교육2022 · 제40호

이 간행물의 다른 논문 (8건)

합법적 주변 참여에 기반한성인의 직무 글쓰기 발달 양상 연구 - 4, 5급 공무원 직무 필자를 중심으로 -최숙기pp. 1-28평가자에 따른 작문 평가 결과의 비교 연구 - 채점(scoring) 및 총평(description)의 양상을 중심으로 -송지언pp. 29-63최명길의 상소문에 나타난 글쓰기 방법 연구 - 병자봉사(丙子封事)를 대상으로 -이영호pp. 65-93초등학생의 ‘필자 정체성’ 측정 도구 개발 연구서수현pp. 95-130쓰기를 통한 에토스 구축의 가능성 모색 - 정체성과의 연관을 중심으로 -장지혜pp. 131-161
원문 보기