귀납적 이분법 척도를 활용한 예비 영어교사의 영어말하기 평가 신뢰도와 효용성에 관한 연구
Exploring the Usefulness of Empirically-Based Binary Scale for Developing Pre-Service English Teachers' Expertise in Oral Assessment
0
조회
0
다운로드
14
인용
0
참고문헌
키워드
초록
본 논문은 예비 영어교사들을 대상으로 직접 말하기 평가 채점자로서 훈련을 시키고, 그 과정 속에서 평가척도의 효용성을 면밀히 검토하고자 기획되었다. 본 논문은 다음 두 가지 연구 질문을 가지고 있다. 첫 번째는 전문가와 교수의 평가와 비교하여 과연 예비교원들의 영어말하기 채점 점수 신뢰도는 어떠한지, 두 번째 귀납적 이분법 평가(Empirically-based Boundary and Binary: EBB) 척도의 신뢰성 및 효용성에 대한 예비교원들의 의견은 어떠한지에 대한 것이다. 첫 번째 연구 질문을 위하여 57여명의 예비영어교사들에게 3가지 주제에 대하여 6분간 동료들 앞에서 영어 구술을 하도록 하고, EBB척도를 가지고 동료평가를 시행하였다. 추후 이 동료평가 점수를 2인의 전문 채점인들의 점수와 비교하였다. 이 비교 분석은 다면도 라쉬 모형 분석 프로그램인 FACETS를 이용하여 수행하였다. 두 번째 연구 질문의 분석을 위하여 68명을 대상으로 설문지 분석을 시행하였다. 설문 분석 시행 결과, 귀납적 이분법 평가의 실용성과 편리성에 대해서는 긍정적인 인식을 보인 반면, 본 척도의 변별력과 함께 양분된 선택을 강요하는 척도 자체의 문제점들을 지적하는 의견이 많았다. 본 연구는 예비 교원들에게 적합한 평가자 훈련 프로그램의 중요성을 환기시키며, 동료협력 평가가 예비교원의 평가 전문성을 신장시키는 실질적인 방안이 될 수 있음을 제시하고 있다.
Abstract
The present study aims to explore the usefulness of EBB(Empirically-based Boundary and Binary) scale with which pre-service English teachers in collaboration rate their peers' speaking performance. This study has the following two research questions: whether the collaborative peer assessment is truly reliable in comparison with the professor and expert raters and what perception the pre-service English teachers have on the use of EBB as a means of developing their rating expertise. For the first research questions, 57 students were led to rate their peers' speaking performance onh three topics: major-specific, educational, and general issue. After students rated the quality of performance individually, they as a group argued the final score for the student who played as a role of test-taker. The final scores on which each group reached agreement were compared to the professor's and expert's scores. These data were analyzed using the FACETS program, which enables us to explore the structure of variance affecting a performance test in microscopic view. The analyses suggested that the collaborative peer raters made reliable decision as they are judged as an infit rater. For the research question 2, the researcher conducted survey analysis. Students made positive responses about practicality and controllability of EBB scale, while they questioned the discriminant power of the EBB scale. This study would remind readers of importance of the rater training program tailored to the need of pre-service English teachers and further suggested that EBB is one of the practical way to enhance the prospective teacher's competence as a potential rater of speaking performance.
참고문헌 (29)
- 김정태, "ESL 학습자의 쓰기배치고사상의 오배치에 따른 이해도차이 연구", 영어어문교육, 12(3), pp.147~166 (2006), 한국영어어문교육학회
- 변문균, "사범대학 영어교육과 교과과정에 관한 연구", TESOL Forum, 1(1), pp.1~23 (2007)
- 신동일, "ACTFL-SOPI체제의 영어 말하기 평가 현장연구: 한국에서의 문제점과 현실적 대안", 영어교육, 56(2), pp.309~331 (2001)
- 신동일, "Rasch 모형을 이용한 고등학교 영어과 말하기 및 쓰기 능력 등급 기술표 개발", 영어교육, 57(4), pp.469~499 (2002), 한국영어교육학회
- 신 동 일, "＂아무튼 high level은 아닌 것 같아요＂: 채점방식 재설계 사례연구", 영어교육, 59(2), pp.351~372 (2004), 한국영어교육학회
- 신동일, "SLA 선행 연구에 근거한 말하기 평가척도 제안: 문법 영역 중심으로", 영어교육, 57(2), pp.423~450 (2002), 한국영어교육학회
- 신상근, "예비교사의 평가 전문성 신장을 위한 동료평가의 유용성에 관한 연구", 영어교육연구, 19(1), pp.183~200 (2007), 팬코리아영어교육학회
- 오준일, "영어 말하기 능력 절대 등급 설정에 관한 연구", 영어교육연구, 18(1), pp.141~162 (2006), 팬코리아영어교육학회
- 이호, "영작문에서의 대면평가와 익명평가의 비교 연구", 영어학, 9(3), pp.403~427 (2009), 한국영어학회
- 전병만, "영어과 교사의 학생 평가 전문성 신장을 위한 연구", 영어교육, 60(2), pp.3~27 (2005), 한국영어교육학회
- 황성삼, "EBB를 이용한 중등학교 말하기 평가척도 개발", 영어교육, 63(2), pp.307~331 (2008), 한국영어교육학회
- ACTFL, "ACTFL proficiency guidelines. Hastings-on-Hudson" (1986), American Council on the Teaching of Foreign Languages
- Bond, T. G., "Applying the Rasch model: Fundamental measurement in the human sciences" (2001), Lawrence Erlbaum
- Brindley, G., "Describing language development? Rating scales and SLA. in: Interfaces between second language acquisition and language testing research", pp.112~140 (1998), Cambridge University Press
- Chalhoub-Deville, M., "Deriving oral asessment scales across different tests and rater groups", Language Testing, 12, pp.16~33 (1995)
- Chapelle, C. A., "Construct definition and validity inquiry. in: Interface between second language acquisition and language testing research", pp.32~70 (1998), Cambridge University Press
- Council of Europe, "Common European framework of reference for languages: Learning, teaching, assessment" (2002), Cambridge University Press
- Davidson, F., "Testcraft: A teacher's guide to writing and using langauge test specifications" (2002), Yale University Press
- Fulcher, G., "Does the thick description lead to smart test?: A data-based approach to rating scale construction", Language Testing, 13(2), pp.208~238 (1996)
- Fulcher, G., "Testing second language speaking" (2003), Pearson Education
- Fulcher, G., "Evaluating quality in second language performance tests", English Language Assessment, 1, pp.3~19 (2007)
- Hamp-Lyons, L., "Scoring procedures for ESL Contexts. in: Assessing second language writing in academic contexts" (1991), Ablex
- Huot, B., "Reliability, validity, and holistic scoring: What we know and what we need to know", College Composition and Communication, 41, pp.201~213 (1990)
- "The basics of rubrics" (2008)[URL]
- 이호, "What Goes on in a Learner's Mind in Self and Peer Ratings in EFL Writing Contexts?", Studies in English Education, 12(2), pp.86~108 (2007), 글로벌영어교육학회
- Linacre, J., "Many-faceted Rasch measurement" (1989), MESA Press
- 송대연, "Applicability of an EBB Scale to English Speaking Performance Assessment in the Korean Secondary School", 영어교육연구, 21(1), pp.111~135 (2009), 팬코리아영어교육학회
- Upshur, J., "Constructing rating scales for second language tests", English Language Teaching Journal, 49, pp.3~12 (1995)
- Weigle, S. C., "Assessing writing" (2002), Cambridge University Press