본문 바로가기
KERD
논문KCI 등재

FLEX 어휘-문법 문항의 난이도 구조 및 항상성 연구

Zur Schwierigkeitsstruktur und Konsistenz von lexikalisch-grammatischen Aufgaben der FLEX

유덕근
한국독일어문학회 (Koreanische Gesellschaft fuer Deutsche Sprache Und Literatur)|2022.03|독일어문학 (Deutsche Sprach- und Literaturwissenschaft)|제30권 제1호|pp. 193-226

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

문항반응이론난이도변별도항상성KonsistenzFLEXSchwierigkeitsniveauTrennschärfeItem-Response-Theorie
주제분류독일어와문학

초록

본 논문은 표준화 평가인 FLEX의 양호도를 검증하기 위해 어휘-문법 영역의 문항 난이도를 다각도의 접근법을 통해 분석하였다. 난이도는 응시자의 능력을 변별하기 위한 직접적인 수단으 로서 평가의 효율성을 좌우할 수 있는 결정적인 영향력을 갖는다. 이러한 난이도는 양적 측면에 서 응시자의 사후 반응을 통해 객관적으로 검증되나, 질적 측면에서 사전에 정의된 문항 특성을 통해 예측될 수 있다. FLEX는 불특정 다수를 대상으로 절대적인 언어사용 능력을 측정하는 준 거참조형 시험으로서 응시자의 특성에 비교적 독립적인 난이도 구성 원칙을 갖는다. 이에 본 연 구는 FLEX의 난이도 구조를 문항의 내재적 측면에서 투영할 수 있는 문항 유형을 중심으로 난 이도 분포와 관련 요인들을 분석하였다. 본 연구의 분석 결과에 따르면 FLEX 어휘-문법 문항의 난이도는 문항 유형에 따라 차별적인 난이도 분포를 이루고, 변별력은 일정한 한계 내에서 난이 도와 상호작용하는 양상을 보여주었다. 일부 고난도 문항에서 드러난 변별도의 하락은 난이도 요인의 정의 및 구성에 있어 유의미한 편차가 발생한 것을 뜻한다. 이와 관련하여 본 연구는 어 휘-문법 문항의 참조 지식, 과업 활동, 문항 형식 등을 중심으로 표현 단위들의 작용 양상을 대 조하였다. 일부 단위들을 중심으로 한 난이도와 출현 빈도의 편중 경향은 문항 개발 준거의 정 밀화가 요구됨을 보여준다.

Abstract

Die vorliegende Studie befasst sich mit der Schwierigkeitsstruktur und Stabilität der lexikalisch-grammatischen Aufgaben der FLEX (Foreign Language Examination). Um einen qualitativ anspruchsvollen Test zu erstellen, muss der Testentwickler eine Reihe unterschiedlicher Aspekte, wie z. B. Aufgabentypen, Themen, sprachlichen Fokus und Schwierigkeit, für die definierten Testzwecke in Betracht ziehen und erkennen, in welcher Weise sie zusammenzuführen sind. Insbesondere die Schwierigkeitsstruktur eines Tests gibt notwendige Hinweise darauf, wie effizient der Test gestaltet ist und welche Faktoren bezüglich der Abweichung involviert sind. Ziel der empirischen Analyse ist, einerseits die Variablen zu identifizieren, die sich auf die Qualität der standardisierten FLEX auswirken, und andererseits auf die Korrelationen zwischen dem Schwierigkeitsgrad und der Trennschärfe im Teil Wortschatz und Grammatik einzugehen. Die Ergebnisse anhand der Item-Response-Theorie-basierten Analyse zeigten, dass bei einigen Aufgaben die Beziehung zwischen Schwierigkeit und Trennschärfe eine umgekehrte U-Form aufwies, wobei bereits bei mittlerer Schwierigkeit der höchste Differenzierungswert erzielt wurde. Außerdem stellten sich zwar die vier betreffenden Testsets mit Messwiederholungen insgesamt als konstant heraus, aber bei einigen Items waren subjektive Testfaktoren vorhanden, was es in kriteriumbezogenen Tests wie der FLEX zu vermeiden gilt.

참고문헌 (22)

  1. 김용명, "국가영어능력평가시험(NEAT)의 문항 유형의 개발과 선별 원리 및 검사지 구성의 원칙", 영어교육, 65(4), pp.313~342 (2010), 한국영어교육학회[DOI]
  2. 김진구, "대학수학능력시험 「농업 이해」 과목의 문항 난이도 영향 요인 및 주요 특성 분석", 농업교육과 인적자원개발, 41(3), pp.1~39 (2009), 한국농·산업교육학회[DOI]
  3. 김진구, "대학수학능력시험 농업 기초 기술 과목의 고난도 문항과 매력적인 오답지 평가내용 및 특성 분석", 농업교육과 인적자원개발, 45(3), pp.1~38 (2013), 한국농·산업교육학회[DOI]
  4. 김진구, "대학수학능력시험 농업 이해 과목의 문항 난이도 결정 요인", 학습자중심교과교육연구, 18(19), pp.795~821 (2018), 학습자중심교과교육학회[DOI]
  5. 박영수, "직업탐구 영역 문항의 난이도 결정 요인에 관한 실증적 연구", 상업교육연구, 24(1), pp.121~138 (2010), 한국상업교육학회
  6. 성태제, "문항제작 및 분석의 이론과 실제" (1996), 학지사
  7. 성태제, "현대교육평가" (2016), 학지사
  8. 유덕근, "문항반응이론을 활용한 FLEX 독일어 항상성 연구 - 듣기영역 문항의 변별도와 난이도를 중심으로", 독어교육, 82(82), pp.7~36 (2021), 한국독어독문학교육학회
  9. 유덕근, "표준화 평가로서의 FLEX 독일어 어휘문법 문항 분석－ 고전검사이론과 문항반응모형을 바탕으로", 외국어로서의 독일어, (48), pp.107~138 (2021), 한국독일어교육학회
  10. 유덕근, "FLEX 독일어 Up" (2021), 한국외국어대학교 지식출판콘테츠원
  11. 이두리, "정기고사 영어 읽기 평가 문항 유형별 교사와 고등학생 간 난이도 인식 탐색", 영어평가, 12(1), pp.99~118 (2017), 한국영어평가학회
  12. 이종승, "대학수학능력시험 문항난이도 추정모형 개발 - 언어 영역, 수리 영역, 영어 영역을 중심으로 -", 교육평가연구, 16(2), pp.1~23 (2003), 한국교육평가학회
  13. 장경숙, "대학수학능력시험 외국어(영어)영역 읽기 난이도 예측 모형 개발", Foreign Languages Education, 11(1), pp.111~130 (2004), 한국외국어교육학회
  14. 추석훈, "표준화 시험 FLEX 러시아어 문항의 변별도 분석", 노어노문학, 21(4), pp.143~164 (2009), 한국노어노문학회
  15. Albert, R., "Empirie in Linguistik und Sprachlehrforschung: Ein methodologisches Arbeitsbuch" (2002), Günter Narr
  16. Bachman, L. F., "The Construct Validation of Some Components of Communicative Proficiency", TESOL Quaterly, 16(4), pp.449~465 (1982)
  17. Zur Verwendung mit dem GER, "Erstellt von ALTE im Auftrag des Europarats" (2014), Abteilung für Sprachenpolitik
  18. Jin, K. A., "The prediction of English item difficulty in college scholastic ability test", English Teaching, 59(1), pp.267~278 (2004)
  19. Kintsch, W., "Toward a model of text comprehension production", Psychological Review, 85, pp.363~394 (1978)
  20. Maier, U., "Das kognitive Anforderungsniveau von Aufgaben analysieren und modifizieren können: Eine wichtige Fähigkeit von Lehrkräften bei der Planung eines kompetenzorientierten Unterrichts", Beiträge zur Lehrerinnen- und Lehrerbildung, 32(3), pp.340~358 (2014)
  21. Moosbrugger, H., "Testtheorie und Fragebogenkonstruktion", pp.227~274 (2012), Springer
  22. Nuttall, C., "Teaching reading skills in foreign language" (1996), Heinemann

관련 논문AI추천

표준화 시험 평가 문항의 변별도 변인 분석: 듣기, 문법, 어휘 평가 문항김해동외국어교육연구소 · 외국어교육연구2009 · 제23권 제1호언어 능력 평가의 구인 타당도 연구 - FLEX 독일어 읽기 영역을 중심으로유덕근한국독어학회 · 독어학2023 · 제48호FLEX 스페인어 능력평가 시험 문항의 변별도 변인 분석: 듣기, 문법, 어휘 문항을 중심으로이강국, 최지영외국어교육연구소 · 외국어교육연구2010 · 제24권 제1호한국어 학습자의 문법 지식 측정을 위한 문법성 판단 테스트 개발의 쟁점과 과제김호정국어교육학회(since1969) · 국어교육연구2018 · 제41호외국인 학습자 대상 어휘력 진단과 측정 방안김명광우리말교육현장학회 · 우리말교육현장연구2017 · 제11권 제1호일본어 듣기 시험 문항분석 결과-선택지 매력도를 중심으로-동소현한국일어교육학회 · 일본어교육연구2013 · 제26호

이 간행물의 다른 논문 (8건)

정통 유대교와 유대인의 정체성, “진정한 자아를 찾아서” -벤야민 슈타인의 스크린을 중심으로송희영pp. 1-22하이네의 여행 - <하르츠 기행>을 중심으로 본 하이네의 정체성 연구안철택pp. 23-49비폭력 대화에 나타나는 협력적 상호행위이소영pp. 51-77독일적 힙합 언어 - 랩 가사의 문법적 특징박영미pp. 79-96인터뷰어의 질문에 나타나는 화법 불변화사의 의사소통 기능 - 내러티브 인터뷰를 중심으로지은영pp. 97-114
원문 보기