본문 바로가기
KERD
논문KCI 등재

일본어 듣기 시험 문항분석 결과-선택지 매력도를 중심으로-

日本語聞き取りテストデータの分析-選択枝魅力度を中心に-

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

초록

본 연구는 최근 2년간 9회에 걸- 실시된 FLEX 일본어 듣기 시험 문항 450문항에 대해 고전검사이론에 따라 문항분석을 실시하여 정답지보다 더 매력적이거나 동등한 매력도를 지닌 오답지가 있었던 문항 38개를 추출한 후 이 문항들의 문항난이도와 문항변별도를 조사하여 선택지 매력도와의 상관성을 밝히고 나아가 문항 내용을 살펴봄으로써 그 결과에 어떠한 변인이 영향을 주고 있는지를 파악하고자 하였다. 그 결과를 보면 1)38개 문항의 문항난이도는 최저 0.43에서 최고 0.14까지의 분포를 보이고 있으며 그 중 32문항은 0.39~0.14의 높은 문항난이도를 나타내고 있었다. 2)38개 문항의 문항변별도는 최저 –0.09부터 최고 0.76까지 매우 넓은 분포를 보이고 있었으며 문항변별도 0.40이상인 문항도 23개에 달했다. 문항변별도 0.30~0.39인 문항은 6개, 문항변별도 0.20~0.29인 문항은 1개였는데 이 문항들은 개선이 필요한 문항들이며 문항변별도 0.19이하인 문항은 8개가 있었다. 3)내용적인 면에서 선택지응답률을 살펴본 결과 고난이도 어휘, 일본 문화를 배경으로 한 표현, 동음이의어, 선택지의 길이, 신개념의 사용 등이 정답률에 영향을 미치고 있음을 알 수 있었다. 본 연구 결과는 앞으로 문항 출제 시에 문항난이도를 적절하게 조정하거나 문항변별도를 높이는 작업과 관련하여 참고 지표로 삼을 수 있다는 점에서 의미가 있으며 이와 같은 연구가 장기간 반복 지속된다면 그 결과를 축적하여 바람직한 듣기 평가 도구를 개발하는 데에 기여할 수 있을 것이다.

Abstract

本研究は最近2年間9回にわたって行われたFLEX日本語聞き取りテストの問題450項目について古典的項目分析理論によってデータ分析を行い、正答より高いか同等の応答率を見せた38の項目に対してその項目容易度と項目分別力を調べその相関性を明らかにし、各項目の内容を考察することでデータが出る過程にいかなる要因がはたらいているのかを把握しようとしている。その結果をまとめると次のようである。(1) 38項目の項目容易度は最低0.43から最高0.14までの分布を見せており、そのうち32項目は0.39~0.14という高い数値を示していた。(2) 38項目の項目分別力は最低–0.09から最高0.76までと非常に幅広く分布されており、項目弁別力0.40以上の項目は23にも達していた。項目弁別力0.30~0.39には6項目、また項目弁別力0.20~0.29には1項目、項目弁別力0.19以下は8項目あった。(3) 内容については、難しい言葉や日本社会および文化を背景にしている表現の使用、同音異義語、選択枝の長さ、新しい概念の使用などが正答を選ぶ時にかなり影響していることがわかった。本研究結果は今後テストに出す問題を作る際に項目容易度の適正な調整や項目弁別力を高めるための作業においてひとつの基準を提示し得るという点から意味があり、長期間にわかってこうした研究を積み重ねる作業を通してその結果を蓄積する作業は、より良い聞き取りテストの開発につながることになると思う。

참고문헌 (8)

  1. 김경석, "수학능력시험 문항 분석: 선택지 매력도를 중심으로", 영어교육연구, 16(3), pp.181~205 (2004), 팬코리아영어교육학회
  2. 김성훈, "예비교사를 위한 교육평가" (2010), 학지사
  3. 김해동, "표준화 시험 평가 문항의 변별도 변인 분석: 듣기, 문법, 어휘 평가 문항", 외국어교육연구, 23(1), pp.57~79 (2009), 외국어교육연구소
  4. 성태제, "문항제작 및 분석의 이론과 실제" (2004), 학지사
  5. 장경숙, "대학수학능력시험 외국어(영어)영역 읽기 난이도 예측 모형 개발", Foreign Languages Education, 11(1), pp.111~130 (2004), 한국외국어교육학회
  6. Ebel, R. L., "Essentials of educational measurement", pp.231~237 (1991), New Jersey Prentice-Hall
  7. Heaton. J, "Writing English language tests" (1991), Longman

이 간행물의 다른 논문 (9건)