대학글쓰기 평가의 신뢰도와 타당도 향상을 위한 한 방안
The Validity and Reliability of College Writing Assessment
2
조회
0
다운로드
43
인용
0
참고문헌
키워드
초록
이 논문은 대학글쓰기의 신뢰도와 타당도 문제를 검토해 보기 위해 작성되었다. 현재 한국의 대학글쓰기 평가에서 많이 사용하는 방법은 총체적 평가이다. 총체적 평가는 효율성이 높아 시간과 경비를 절약할 수 있는 방법이다. 그런데 총체적 평가에 관한 외국 문헌을 보면 평가자 훈련이 없으면 총체적 평가방법의 신뢰도는 낮게 나왔다. 한국의 대학글쓰기 평가에서도 교수자자 1인이 주관적으로 학생의 글을 평가하는 경우가 많기 때문에 신뢰도와 타당도는 높지 않을 것으로 추정된다. 전통적인 평가이론에서 보면 신뢰도와 타당도는 모두 중요하다. 그렇지만 글쓰기 평가의 경우 최근 학자들은 타당도에 더 많은 관심을 쏟고 있다. 쓰기 능력은 매우 복합적이며 풍부하고 다차원적이어서 단편적으로 평가할 수 없기 때문이다. 그래서 수치로 환산되지 않는 측면을 따져보아야 하고 묘사적인 평가 설명도 해주어야 한다. 대학글쓰기 평가가 신뢰도와 타당도를 높이려면 평가 표본 수를 늘리고, 평가자 훈련을 실시하며, 다양한 장르에 대한 복합적인 평가방법을 시행할 필요가 있다. 이 논문에서 대학글쓰기에 적용 가능한 평가방법을 소개했다. 평가의 신뢰도와 타당도를 높이기 위해 평가표본 수를 늘리고, 평가 척도를 줄이며, 학생들을 평가에 참여시키는 방법을 강구해야 한다. 또 단순히 점수만 제공하는 평가를 지양하고 해석적이고 묘사적인 평가를 해주어야 한다.
Abstract
This paper was written to examine the validity and reliability of college writing assessment in korea. The assessment method most used for college writing in Korea is holistic scoring. Holistic scoring can save time and money because it is highly efficient. However based on the on-going study, Holistic scoring will be less significant without proper training. Because a professor will assess a student's writing as he or she sees fit, There will no be a high degree of validity and reliability in the grading. The assessment of writing considers reliability and validity to be important, but recent research shows much more relevance in validity. Because writing skills vary and are multi-dimensional, they can not be assessed merely in terms of numbers but must be qualified individually to reflect the interpretative and communicative skills of the writer. In order to improve reliability and validity in college writing, the number of evaluated samples should be increased and training in holistic scoring should also be carried out across various genres. This paper introduces scoring to be able to applied to college writing. Elbow developed holistic scoring such as minimal holistic scoring, multiple trait scoring and ETS. The evaluation scale is to be simple. As a result the reliability is raised because of these methods, and the validity is also raised by encouraging to participate students. To improve raise reliability and validity development, these methods need to be implemented.
참고문헌 (31)
- 김경자, "국어 쓰기 영역 수행 평가의 신뢰도 분석과 개선 방안", 수련어문논집, (26)
- 김라연, "총체적 쓰기 평가와 분석적 쓰기 평가의 상관 연구", 이중언어학, (35), pp.103~126 (2007), 이중언어학회
- 박영목, "작문 능력 평가방법과 절차", 국어교육, (99) (1999)
- 박영목, "쓰기 평가 연구의 주요 과제", 작문연구, (6), pp.9~38 (2008), 한국작문학회
- 박영민, "반성적 쓰기를 활용한 작문 평가 방안", 새국어교육, (73), pp.33~60 (2006), 한국국어교육학회
- 박영민, "논술 평가자의 주관적 경험 분석", 우리어문연구, (33), pp.493~523 (2009), 우리어문학회
- 배향란, "쓰기의 총체적 평가방법 연구", 청람어문학, (13) (1995), 청람어문교육학회
- 서수현, "요인분석을 통한 쓰기 평가의 준거 설정에 대한 연구", 박사, pp.2008
- 성태제, "교육평가방법의 변화와 결과타당도에 대한 고려", 교육학연구, 37(1) (1999)
- 성태제, "검사나 평가활동에 대한 메타평가적 관점에서의 결과타당도", 교육학연구, 41(1), pp.5~110 (2003), 한국교육학회
- 성태제, "연구방법론" (2008), 학지사
- 이성영, "국어과 교사의 쓰기 영역 평가 전문성 기준과 모형", 국어교육, (117), pp.349~372 (2005), 한국어교육학회
- 이수진, "쓰기 평가 결과의 해석과 활용 방안 연구", 작문연구, (6), pp.39~68 (2008), 한국작문학회
- 이재승, "쓰기 과정 평가의 개념과 교육적 의미", 한국어문교육, (9) (2000)
- 임천택, "국어과 쓰기 평가 문항 작성의 실태와 개선 방안", 어문학교육, (33) (2006)
- 임천택, "학습자 중심의 국어과 평가" (2002), 박이정
- 조재윤, "일반화가능도 이론을 이용한 쓰기 평가의 오차원 분석 및 신뢰도 추정 연구", 국어교육, (128), pp.325~358 (2009), 한국어교육학회
- Camp, R., "Changing the Model for the Direct Assessment of Writing in: Assessing Writing, A Critical Sourcebook", pp.1993, Bedford
- Camp, R., "New View of Measurement and New Models for Writing Assessment in: Assessment of Writing, Politics, Policies, Practices" (1996), The Modern Language Association of America
- Cherry, R. D., "Reliability Issues in Holistic Assessment in: Assessing Writing, A Critical Sourcebook", pp.2009, Bedford
- Elbow, P., "Writing Assessment: Do It Better, Do It Less in: Assessment of Writing, Politics, Policies, Practices" (1996), The Modern Language Association of America
- Huot, B., "Reliability, Validity, and Holistic Scoring: What we know and What we need to know", College Composition and Communication, 41(2) (1990)
- Moss, Pamela A., "Testing the Test of Test in: Assessing Writing, A Critical Sourcebook", pp.2009, Bedford
- Pamela A. Moss, "Can There be Validity without Reliability? in: Assessing Writing, A Critical Sourcebook", pp.2009, Bedford
- Veal, L. R., "Direct and Indirect Measures for Large-Scale Evaluation of Writing in: Assessing Writing, A Critical Sourcebook", pp.2009, Bedford
- Williamson, M., "The Worship of Efficiency: Understanding Theoretical and Practical Considerations in Writing Assessment in: Assessing Writing, A Critical Sourcebook", pp.2009, Bedford
- Willimams J. D., "Preparing to Teach Writing, Research, Theory, and Practice" (2003), Lawrence Erlbaum Associates
- White, E, M., "Holisticism in: Assessing Writing, A Critical Sourcebook", pp.2009, Bedford
- White, E. M., "Language and Reality in Writing Assessment", College Composition and Communication, 41(2), pp.193~198 (1990)
- White, E, M., "Power and Agenda Setting in Writing Assessment in: Assessment of Writing, Politics, Policies, Practices" (1996), The Modern Language Association of America
- Wolcott, W., "An Overview of Writing Assessment" (1988), NCTE