본문 바로가기
KERD
논문KCI 등재

언어 능력 평가의 구인 타당도 연구 - FLEX 독일어 읽기 영역을 중심으로

Eine Untersuchung zur Konstruktvalidität in der Sprachkompetenzmessung - am Beispiel des Testteils Leseverstehen in FLEX Deutsch

유덕근
한국독어학회 (Koreanische Gesellschaft Fuer Deutsche Sprachwissenschaft // Korean Society For German Linguistics)|2023.12|독어학 (Dokohak(Zeitschrift der Koreanischen Gesellschaft fuer Deutsche Sprachwissenschaft))|제48호|pp. 103-127|DOI 10.24814/kgds.2023..48.103

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

평가타당도읽기 시험구인BeurteilungFLEX 독일어KonstruktValiditätLesetestFLEX Deutsch
주제분류독일어와문학

초록

본 연구는 언어 능력 평가가 갖추어야 할 타당도 문제를 다루었다. 평가의 타당도는 평가의 대상을실제 측정하는 정도와 관련된 것으로, 사전에 정의된 언어 능력을 평가 도구가 얼마나 온전하게 진단하고있는지를 나타낸다. 언어 능력은 일종의 구인으로서 실제 존재한다고 가정하는 추상적인 개념을 일정한이론 내지 모형을 통해 가설적으로 정의한 것이다. 이러한 구인의 타당도는 무엇보다 문항에 대한 응시자의사후 반응 자료를 바탕으로 요인의 상관성을 검증하는 것으로 가늠해볼 수 있다. 본 연구는 이와 관련하여국내에서 대표적인 표준화 평가 도구로 알려져 있는 FLEX 독일어를 대상으로 구인의 타당도를 분석하였다. FLEX는 Bachman/Palmer(2010)의 의사소통 모델에 기초하여 개발된 측정 도구로서 언어 능력을 듣기, 읽기, 말하기, 쓰기의 기능 영역으로 나누어 평가한다. 본 연구는 그중 이해 영역에 해당하는 FLEX 읽기를중심으로 구조 방정식 모형에 의한 확인적 요인 분석을 실시, 구인 구조의 다층 및 다요인적 특성을 고찰하였다. FLEX 읽기 문항들은 평가 구인으로서 문법, 어휘, 사실, 추론, 종합, 적용 등의 능력을 반복적으로측정하는 단층적 요인 모형에 따라 설계되었다. 본 연구에서는 또 다른 대안으로서 문법과 어휘 요소를구인 구조 내에서 언어 능력으로 분리하는 다층적 요인 모형을 타당도 측면에서 함께 대조하였고, 그 결과현행의 단층적 모형이 보다 양호한 구인 타당도를 보인 것으로 분석되었다.

Abstract

Die vorliegende Studie untersucht die Validität eines Instruments zur Messung von Sprachkompetenz. Dabei bezieht sich Validität darauf, ob der Test tatsächlich das misst, was er messen soll. Die Validität einer Sprachprüfung kann je nach Definition der Sprachkompetenzen, die als Konstrukte betrachtet werden sollten, im Testmodell variieren. Bei der Beurteilung der Konstruktvalidität wird zunächst untersucht, ob die beobachteten Testergebnisse valide Indikatoren für zugrundeliegende theoretische Konstrukte darstellen oder anders ausgedrückt, ob das manifeste Verhalten im Test auf latente Eigenschaften der Testteilnehmer zurückgeführt werden kann. Mit diesem Hintergrund wird in der vorliegenden Arbeit die Validität der Sprachprüfung FLEX Deutsch untersucht, die auf dem Kommunikationsmodell von Bachman/Palmer (2010) basiert und Sprachkompetenzen in den Bereichen Hören, Lesen, Sprechen und Schreiben erfasst. Im Besonderen wird der Leseteil der FLEX näher betrachtet. In diesem Zusammenhang kommen strukturelle Gleichungsmodelle und konfirmatorische Faktorenanalysen der tatsächlichen Antwortdaten der Teilnehmer zum Einsatz, um die hierarchische und multifaktorielle Natur der Kompetenzstruktur zu untersuchen. Zunächst wurden die kognitiven Anforderungen der unterschiedlichen Aufgabenbereiche im inhaltlichen Aspekt analysiert. Die Ergebnisse deuten darauf hin, dass der Lesetest auf einem mehrstufigen Faktorenmodell basiert, das wiederholt die Fähigkeiten in Grammatik, Vokabular, Faktenwissen, Inferenz, Integration und Anwendung misst. Trotzdem ergab der Vergleich der latenten Strukturmodelle hinsichtlich der Hierarchie, dass das aktuelle eindimensionale Modell eine höhere Konstruktvalidität aufweist.

참고문헌 (48)

  1. 교육부, "제2외국어과 교육과정", 교육부 고시 제2015­74호, 별책 16, ~ (2015)
  2. 박혜영, "언어평가 도구로서의 제2외국어 SNULT 문제 유형 분석 - 독일어와 일본어 시험을 중심으로", 어학연구, 55, pp.93~114 (2019), 언어교육원[DOI]
  3. 서수현, "한국어능력시험 쓰기 영역 개선 방향에 대한 연구 ― 구인 타당도 개념을 중심으로 ―", 국어교육, (141), pp.337~361 (2013), 한국어교육학회
  4. 성태제, "문항제작 및 분석의 이론과 실제" (1996), 학지사
  5. 신상근, "외국어 평가의 이론과 실제" (2011), 한국문화사
  6. 신형욱, "독일어 교육과정의 <평가>와 대학수학능력시험", 외국어로서의 독일어, (45), pp.137~167 (2019), 한국독일어교육학회[DOI]
  7. 신형욱, "독일어 평가의 구성 체제 및 문항 유형 비교 분석－대학수학능력시험 독일어 평가 개선을 위한 기고－", Foreign Languages Education, 19(1), pp.239~262 (2012), 한국외국어교육학회
  8. 양길석, "한국어능력시험의 구인타당도 분석", 언어와 문화, 8(2), pp.187~212 (2012), 한국언어문화교육학회[DOI]
  9. 유덕근, "표준화 평가로서의 FLEX 독일어 어휘문법 문항 분석－ 고전검사이론과 문항반응모형을 바탕으로", 외국어로서의 독일어, (48), pp.107~138 (2021), 한국독일어교육학회
  10. 유덕근, "FLEX 어휘-문법 문항의 난이도 구조 및 항상성 연구", 독일어문학, 30(1), pp.193~226 (2022), 한국독일어문학회
  11. 유덕근, "독일어 어휘 과업 관여도와 학습 성과 상관성 연구", 독일어문학, 31(3), pp.1~25 (2023), 한국독일어문학회
  12. 유덕근, "FLEX 독일어 Up" (2021), 한국외국어대학교 지식출판콘테츠원
  13. 유수연, "시험상호작용의 담화분석적 연구－개정된 Goethe-Zertifikat A2 시험을 중심으로", 외국어로서의 독일어, (41), pp.175~204 (2017), 한국독일어교육학회
  14. 이원경, "독일어능력시험 <TestDaF>의 현황과 전망", 외국어로서의 독일어, (39), pp.101~122 (2016), 한국독일어교육학회
  15. 이원경, "TestDaF-digital 이해 영역의 과제 분석", 독어독문학, 63(1), pp.231~252 (2022), 한국독어독문학회[DOI]
  16. 이예나, "영어 능력 평가 도구로써 토익 시험의 구인 타당도 분석", 영어평가, 15(2), pp.149~167 (2020), 한국영어평가학회[DOI]
  17. 임의진, "개정 TEPS 구인타당도 검증", 어학연구, 55, pp.37~50 (2019), 언어교육원[DOI]
  18. 장리리, "중국 대학생 영어독해 평가모형 구인타당도 연구", 제주대학교 교육과학연구, 20(1), pp.155~177 (2018), 교육과학연구소[DOI]
  19. 장재학, "영어 모의 TOEIC 시험의 구인 및 예언타당도 연구", 영어학, 19(3), pp.523~538 (2019), 한국영어학회[DOI]
  20. 전희성, "개정 TEPS 점수해석 및 사용에 대한 타당도 논증", 어학연구, 55, pp.65~74 (2019), 언어교육원[DOI]
  21. 조국현, "독일어 능력 평가 시험 TestDaF와 FLEX의 비교 고찰", 독어교육, 29, pp.81~104 (2004), 한국독어독문학교육학회
  22. 한국교육과정 평가원, "대학수학능력시험 출제 매뉴얼-외국어 영역", 한국교육과정평가원, ~ (2005)
  23. FLEX Center, "개정 FLEX 개발모형 및 문항개발기준" (2018), 한국외국어대학교 FLEX Center
  24. Bachman, L. F., "The construct validation of some components of communicative proficiency", TESOL Quarterly, 16, pp.449~465 (1982)
  25. Bachman, L. F., "Language testing in practice" (1996), Oxford University Press
  26. Bachman, L. F., "Language assessment in practice" (2010), Oxford University Press
  27. Bentler, P. M., "EQS Structural equations program manual", Multivariate Software, ~ (1995)
  28. Browne, M. W., "Testing structural equations models", pp.136~162 (1993), Sage
  29. Campbell, D. T., "Convergent and discriminant validation by the multitrait-multimethod matrix", Psychological Bulletin, 56(2), pp.81~105 (1959)
  30. Canale, M., "Theoretical bases of communicative approaches to second language teaching and testing", Applied Linguistics, 1(1), pp.1~14 (1980)
  31. Chapelle, C., "Argument-based validation in testing and assessment" (2020), SAGE Publications
  32. Childs, M., "Language testing in Japan", pp.66~75 (1995), JALT
  33. 최세일, "An Application of Full Information Item (Bi)Factor Analysis to the Reading Comprehension of a TOEIC Practice Test", 교육평가연구, 23(3), pp.709~734 (2010), 한국교육평가학회
  34. Chomsky, N., "Aspects of the Theory of Syntax" (1965), The MIT Press
  35. Coste, D., "Gemeinsamer europäischer Referenzrahmen für Sprachen: lernen, lehren, beurteilen: Niveau A1, A2, B1, B2, C1, C" (2000), Klett Sprachen GmbH
  36. Fornell, C., "Evaluating structural equation models with unobservable variables and measurement error", Journal of Marketing Research, 18(1), pp.39~50 (1981)
  37. Goethe-Institut, "Die Prüfungen des Goethe-Instituts. Prüfungsordnung" (2023), Goethe Institut
  38. Green, R., "The Routledge Handbook of Second Language Acquisition and Language Testing", pp.115~124 (2021), Routledge
  39. Grotjahn, R., "Leistungsmessung und Leistungsbeurteilung. Fernstudienbrief, Erprobungsfassung" (2003), Fern-Universität Hagen
  40. Hirai, M., "Correlations between active skill and passive skill test scores", Shiken:JALT Testing and Evaluation SIG Newsletter 6, 2~8 (2002)
  41. Hymes, D. H., "Models of the interaction of language and social setting", Journal of Social Issues, 23(2), pp.8~28 (1967)
  42. In'nami, Y., "Factor structure of the revised TOEIC test : A multiple-sample analysis", Language Testing, 29, pp.131~152 (2012)
  43. Messick, S., "Educational measurement", pp.13~103 (1989), Macmillan Publishing Company
  44. 문채영, "Construct Validation of Picture Description Items on the TOEIC Listening Section", 응용언어학, 25(3), pp.391~417 (2009), 한국응용언어학회
  45. Nuttall, C., "Teaching reading skills in foreign language" (1996), Heinemann
  46. Oller. J. W. Jr., "Language tests at school" (1979), Longman
  47. Sheils, J., "Handbuch zur Entwicklung und Durchführung von Sprachtests" (2012), Telc GmbH
  48. Steiger, J. H., "Structural model evaluation and modification", An interval estimation Multivariate Behavioral Research, 25, pp.173~180 (1990)

관련 논문AI추천

FLEX 어휘-문법 문항의 난이도 구조 및 항상성 연구유덕근한국독일어문학회 · 독일어문학2022 · 제30권 제1호‘독일어 평가연구’ 학부 수업의 운영 사례 연구이미영한국독어독문학회 · 독어독문학2021 · 제62권 제1호한국어 능력 평가와 문법의 역할원미진한국문법교육학회 · 문법 교육2021 · 제43권 영어 듣기 평가 모형의 구인 타당도 연구장재학현대영어교육학회 · 현대영어교육2012 · 제13권 제2호한국어 읽기 유형과 평가 문항 간 연계성 연구 - 사실적 읽기와 추론적 읽기를 중심으로 -박진욱, 안정호, 전다은한성어문학회 · 한성어문학2023 · 제50권 FLEX 스페인어 능력평가 시험 문항의 변별도 변인 분석: 듣기, 문법, 어휘 문항을 중심으로이강국, 최지영외국어교육연구소 · 외국어교육연구2010 · 제24권 제1호

이 간행물의 다른 논문 (5건)

독일어 인칭대명사 주어에 대한 한국어 대명사 상응표현구명철pp. 1-31머신러닝을 이용한 독일어 일상 대화의 화행 자동분류 - 왓츠앱(WhatsApp) 데이터 분석을 통하여구영은pp. 33-53독일어 작문 교육에서 피드백을 위한 생성형 인공지능의 활용 가능성 연구국세라pp. 55-76독일어학습자 작문능력의 분석적 평가방법 연구 - ‘Frog, Where Are You?’ 작문의 이야기구성과 문법완성도 평가모델의 독일어 유창성 예측 성능유수린, 국지연pp. 77-101Benjamin의 번역개념 - 「번역자의 과제 Die Aufgabe des Übersetzers」를 중심으로이재원pp. 129-150
원문 보기