표준화 시험 평가 문항의 변별도 변인 분석: 듣기, 문법, 어휘 평가 문항
Analysis of the Discriminating Variables on a Standardized Test: Listening, Vocabulary and Grammar Testing Items.
0
조회
0
다운로드
15
인용
0
참고문헌
키워드
초록
본 연구는 1) 표준화된 평가시험의 변별도에 영향을 주는 요인과 2) 고전문항분석과 문항반응이론에 근거한 문항분석에 따른 변별도 결과의 상관관계를 파악하는 것에 있다. 분석 자료는 FLEX(Foreign Language EXamination)라는 표준화된 영어 시험에 참여한 총 790명의 수험자 자료를 토대로 하였다. 분석결과 매력적인 오답, 수험생에게 익숙하지 않은 어휘, 예외적인 규칙을 포함한 문항 등이 변별도에 영향을 주는 것으로 드러났다. 두 가지 분석 결과에 따른 변별도 상관관계 평균은 상당히 높은 수치인 .59로 산출되었다. 그러나 몇몇 개별문항에 있어서는 변별도 결과의 차이가 있었다. 연구결과에 따라 선택지는 논리적이며 배치되어야 하며 오답은 적절한 구성이 되어야 함을 제언하였다. 그리고 FLEX에 대한 보다 많은 연구가 필요함을 제언하였다.
Abstract
The present study aims to 1) identify the variables that may effect the level of discrimination on the items of a standardized test and 2) check the correlations in levels of discrimination between the results from classical item analysis and those from analysis based on IRT (item response theory). The data from a total of 790 test takers of FLEX (Foreign Language EXamination) English were utilized for the analysis. The results reveal that attractive distracters, unfamiliar words to the test-takers, and grammar with exceptional rules were noticeable variables that may influence the level of discrimination. The average correlations of the results between the two analyses were estimated as .59, indicating a high level of correlation. However, in case of some test items, there were discrepancies. On the basis of the results, it is suggested that to enhance the level of discrimination the options should be logically placed and distracters should be well organized. More studies on FLEX are also suggested.
참고문헌 (22)
- 김경석, "수학능력시험 문항 분석: 선택지 매력도를 중심으로", 영어교육연구, 16(3), pp.181~205 (2004), 팬코리아영어교육학회
- 김해동, "FLEX 영어 2" (2008), 한국외국어대학교 출판부
- 성태제, "문항반응이론의 이해와 적용" (2001), 교육과학사
- 신동일, "다차원 문항반응이론모델을 이용한 TOEFL 청취력시험 데이터 분석", 영어교육, 52(4), pp.287~302 (1997)
- 신동일, "Rasch 모형을 이용한 고등학교 영어과 말하기 및 쓰기 능력 등급 기술표 개발", 영어교육, 57(4), pp.469~499 (2002), 한국영어교육학회
- 이영식, "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구", Foreign Languages Education, 11(2), pp.249~265 (2004), 한국외국어교육학회
- 장경숙, "대학수학능력시험 외국어(영어)영역 읽기 난이도 예측 모형 개발", Foreign Languages Education, 11(1), pp.111~130 (2004), 한국외국어교육학회
- 정희정, "중학교 영어읽기능력 평가문항 난이도 변인 연구", 박사, pp.2008
- 조동완, "영어 평가 문항 작성 지침서 개발에 관한 연구", 영어교육, 52(1), pp.135~159 (1997)
- 조동완, "TEPS(Test of English Proficiency developed by Seoul National University)의 타당도에 대한 연구", 응용언어학, 16(1), pp.197~213 (2000)
- 최인철, "음성 인식 기술을 활용한 채점자 엄격도 반영 및 유창성 측정 타당성", Foreign Languages Education, 11(2), pp.171~194 (2004), 한국외국어교육학회
- 최인철,엄연희, "작문 수행평가에 대한 전문가와 전산언어학적 채점결과의 비교 분석", Multi-media Assisted Language Learning, 4(1), pp.165~184 (2001)
- 최인철, "영작문의 전산언어학적 채점 타당성", 멀티미디어 언어교육, 6(2), pp.221~241 (2003), 한국멀티미디어언어교육학회
- 한국교육과정평가원, "대학수학능력시험 출제 매뉴얼: 외국어(영어) 영역" (2004), 한국교육과정평가원
- Bachman,L.F, "Statistical analysis for language assessment" (2004), Cambridge University Press
- Brown,H.D, "Language assessment: Principles and classroom practice" (2004), Longman
- Cangelosi,J, "Designing tests for evaluating student achievement" (1990), Longman
- Downing,S.M, "Twelve steps for effective test development. In Handbook of test development", pp.3~25 (2006), Lawrence Erlbaum Associates
- Ebel,R.L, "Essentials of educational measurement (3rd ed.)" (1979), Prentice-Hall
- Heaton,J, "Writing English language tests" (1991), Longman
- Hughes,A, "Testing for language teachers" (2003), Cambridge University Press
- Weir,C.J, "Language testing and validation" (2005), Palgrave Macmillan