본문 바로가기
KERD
논문KCI 등재

미국의 수업관찰평가 분석을 통한 우리나라 교원능력개발평가에서의 다변량 일반화가능도 이론 활용성 탐색

Exploring the Application of Multivariate Generalizability Theory to Teacher Evaluation for Professional Development in Korea Based on the Analysis of Classroom Observations in the U.S.

김성연
한국교육개발원 (KEDI)|2014.04|한국교육 (THE JOURNAL OF KOREAN EDUCATION)|제41권 제1호|pp. 5-29|DOI 10.22804/jke.2014.41.1.001

0

조회

0

다운로드

10

인용

0

참고문헌

키워드

교원능력개발평가multivariate generalizability theoryteacher evaluation for professional developmentclassroom observations다변량 일반화가능도 이론수업관찰 평가초임교원apprentice teacher
주제분류교육학

초록

이 연구는 이미 교원평가가 정착된 미국 남부의 한 주(state)에서 실시한 수업관찰평가 결과 중 채점 인증시험에 합격한 관찰자들에 의해 평정 점수가 부여된 총 3847명의 초임교원 자료를 활용하여 다변량 일반화가능도 분석을 통한 우리나라 교원능력개발평가의 현장 적용 가능성을 모색하였다. 구체적으로 수업관찰평가에서 발생하는 오차요인들의 상대적 영향력을 살펴보고, 최적의 측정 조건을 탐색하였다. 실제 초임교원의 유형은 15개로 분류되지만, 이 연구에서는 우리나라 현장에 적용 가능한 8개의 유형으로 한정하였다. 연구결과는 다음과 같다. 첫째, 측정의 대상인 교원 분산이 대부분 크게 나타났으며, 수업관찰 횟수 분산은 작게 나타났다. 둘째, 최적의 측정 조건을 탐색하기 위하여, 채점영역 내 세부영역을 나타내는 문항수를 원자료와 같게 하고, 수업관찰 횟수를 조절하였다. 그 결과 예체능 교원을 제외한 나머지 교원 유형에서 적정 수준이라고 설정한 일반화가능도 계수와 의존도 계수가 모두 0.8 이상을 얻기 위해서는 기존에 3번 관찰하였던 교수 영역은 2번, 수업환경 영역은 동일하게 2번, 계획 영역은 2번에서 1번으로 감소시킬 수 있었다. 이러한 방법론적 틀은 평가의 측정학적 특성을 바탕으로 우리나라 교원능력개발평가의 최적의 측정 조건을 탐구하는데 적용 가능할 것이다. 마지막으로 이 연구의 제한점과 후속연구를 제안하였다.

Abstract

The purpose of this study was to suggest methods of professional development by providing an illustrative example of applying the multivariate generalizability theory to teacher evaluation. This study determined the effects of each error source and also investigated optimal measuring conditions in classroom observations. Data included 3,847 apprentice teachers rated by qualified raters during classroom observations from one southern state in the United States in 2012. These included kindergartens teachers, elementary schools teachers, middle schools teachers, high schools teachers, foreign languages professionals, special education specialists, and career and technical education practitioners. These eight teacher types were chosen from 15 teacher types, since they were suitable for comparison to Korean teacher types. The results of this study were as follows. First, the variance of teachers was relatively large, and the variance of observation times was relatively small regardless of teacher types. Second, to set optimal measuring conditions (except for art teacher positions), the number of items was fixed to be the same as in the raw data; it was possible to decrease the number of observations from three to two in the area of instruction, to two in the area of the environment, and from two to one in the area of planning. These conditions were necessary to obtain above 0.8 in both generalizability coefficients and dependability coefficients. The methodology applied in this study can be utilized to find optimal measurement conditions for teacher evaluation for professional development in Korea. Finally, the limitations of this study were discussed and goals for future research were suggested.

참고문헌 (36)

  1. 내실 있는 운영을 위한 2013년 교원능력개발평가제 개선 방안, "교육과학기술부", ~ (2013)
  2. 김성숙, "일반화가능도 이론을 이용한 교사행위 관찰에 있어서 오차원 분석", 교육평가연구, 3(1), pp.211~219 (1989)
  3. 성숙, "관찰체계에 있어 측정의 변동요인 분석-관찰자 합치도, 안정도, 일반화가능도 비교", 교육평가연구, 5(1), pp.37~56 (1992)
  4. 김성숙, "채점의 변동요인 분석방법에 대한 고찰-일반화가능도 이론과 다국면 라쉬모형의 적용과 재해석", 교육평가연구, 14(1), pp.303~325 (2001)
  5. 김성숙, "일반화가능도 이론" (2001), 교육과학사
  6. 김성숙, "다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색", 교육평가연구, 25(4), pp.679~700 (2012), 한국교육평가학회
  7. 곽노의, "멘토링을 통한 초임 남자유아교사의 교직적응과정 탐색: 관계형성을 중심으로", 유아교육학논집, 16(2), pp.31~60 (2012), 한국영유아교원교육학회
  8. 김종숙, "미국과 영국의 교사평가제도의 특성 분석", 석사, 교육행정, pp.2009
  9. 남기윤, "초임교사의 초기 경력개발을 위한 기초연구", 충남대학교교육연구논총, 25(1), pp.105~128 (2005)
  10. 송인섭, "다변량 일반화가능도 이론을 통한 인식론적 신념 검사 타당화 연구", 교육방법연구, 24(1), pp.107~130 (2012), 한국교육방법학회
  11. 신붕섭, "교사자격과 연계한 표준 중심의 초임교사 멘토링사례와 시사-코네티컷 주의 교수 표준과 TEAM 프로그램", 직업교육연구, 30(3), pp.469~494 (2011), 한국직업교육학회
  12. 유지영, "한국과 미국, 독일의 초임교사 교육에 관한 비교연구", 교육연구논총, 31(1), pp.103~122 (2010), 교육연구소
  13. 이경호, "교원능력개발평가 정책분석 및 발전방향 탐색", 한국교원교육연구, 27(3), pp.43~68 (2010), 한국교원교육학회
  14. 이영식, "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구", Foreign Languages Education, 11(2), pp.249~265 (2004), 한국외국어교육학회
  15. 이현숙, "혼합형 검사의 문항 유형별 가중치에 따른 신뢰도 및 다변량 일반화가능도 분석", 교육평가연구, 25(1), pp.95~116 (2012), 한국교육평가학회
  16. 한혜정, "미국 뉴욕 주 교원임용 중등 교수역량 지필평가가 우리나라 교원임용시험에 주는 시사점 탐색", 한국교육, 39(2), pp.129~155 (2012), 한국교육개발원[DOI]
  17. 홍원표, "초임교사 멘토링에 필요한 초등 수석교사의 역량요소 탐색 : 중요도와 실행준비도를 중심으로", 한국교원교육연구, 29(4), pp.295~319 (2012), 한국교원교육학회
  18. Brennan, R. L., "mGENOVA, A computer program for computing variance-covarinace component" (1999), Iowa Testing Program, University of Iowa
  19. Brennan, R. L., "Generalizability Theory" (2001), Springer-Verlag
  20. Briesch, A. M., "Generalizability theory : A practical guide to study design, implementation, and interpretation", Journal of School Psychology, 52, pp.13~35 (2014)
  21. Chio, S. K., "An analysis of sources of variance in an observational system. Paper presented at the annual meeting of the American Educational Research Association", New Orleans (1988)
  22. Choi, K. S., "An analysis of sources of variation in teacher behaviors using generalizability theory", 박사, pp.1989
  23. Cronbach, L. J., "The dependability of behavioral measurements : Theory of generalizability for scores and profiles" (1972), Wiley
  24. Cronbach, L. J., "Generalizability analysis for performance assessments of student achievement and psychological measurement", Educational and Psychological Measurement, 57(3), pp.373~399 (1997)
  25. Heather, C. H., "When rater reliability is not enough : Teacher observation systems and a case for the generalizability study", Educational researcher, 41(2), pp.56~64 (2012)
  26. Ho, A. D., "The reliability of classroom observations by school personnel", Bill & Melinda Gates Foundation (2013)
  27. Kane, T. J., "Gathering feedback for teaching: Combining High-Quality observations with student surveys and achievement Gains" (2012), Bill & Melinda Gates Foundation
  28. A multi-group generalizability analysis of a large-scale reading comprehension test, "Li, D.", Center for Advanced Studies in Measurement and Assessment, University of Iowa, ~, pp.CASMA Research Report, 25 (2007)
  29. Lottie, D. C., "School Teacher" (1975), University of Chicago Press
  30. Nuβbaum, A., "Multivariate generalizability theory in educational measurement : An empirical study", Applied Psychological Measurement, 8(2), pp.219~230 (1984)
  31. Park, T., "Investigating the construct validity of the community language program English writing test", 박사, pp.2007
  32. Shavelson, R. J., "Generalizability theory : A primer" (1991), Sage
  33. Vallevand, A. L. C., "Reliability, validity and sources of errors in assessing physician performance in an objective structured clinical examination : A generalizability theory analysis", 박사, pp.2008
  34. Veenman, S., "Perceived problems of beginning teachers", Review of Educational Research, 54(2), pp.143~174 (1984)
  35. Webb, N. M., "Handbook of statistics (Vol, 26)", pp.81~124 (2006), Elsevier
  36. Webb, N. M., "Generalizability theory: Inferences and practical applications", pp.67~81 (1983), Jossey-Bass

관련 논문AI추천

미국 수학교사의 교수 질 평가도구 분석을 통한 우리나라 수학교원능력개발평가에서의 일반화가능도 이론 활용성 탐색김성연한국수학교육학회 · 수학교육 논문집2014 · 제28권 제4호예비교사의 교직 적성‧인성 검사에서 효율적인 시행횟수 탐색김성연사범대학부속중등교육연구소 · 중등교육연구2018 · 제66권 제3호주관식 시험을 포함하고 있는 A국가고사의 채점자 효과에 대한 일반화가능도 연구김창환, 이규민한국교육과정평가원 · 교육과정평가연구2008 · 제11권 제1호수업전문성에 관한 수업관찰도구의 측정학적 타당성 검증 및 학교 급별 차별기능문항 탐색김득준, 이재홍한국복지상담교육학회 · 복지상담교육연구2018 · 제7권 제2호효과적인 수업 피드백과 수업관찰자 훈련에 대한 이론적 탐색김지현교과교육연구소 · 교과교육학연구2023 · 제27권 제4호교직 인성 검사에서의 문항 프로파일 분석김성연사범대학부속중등교육연구소 · 중등교육연구2017 · 제65권 제4호

이 간행물의 다른 논문 (8건)

3주기 교원양성기관 평가지표와 평가결과의 관계 분석성수진, 김현수, 김선경, 이순희, 허은정, 김기수pp. 31-53액션 러닝을 활용한 메타수업컨설팅 연수 프로그램 평가오영범, 이상수, 이유나, 곽경희, 강정찬pp. 55-85거꾸로 교실(Flipped Classroom)의 효과와 의미에 대한 사례 연구이민경pp. 87-116적성･흥미특성에 기초한 청소년의 직업포부 설정요인 분석어윤경pp. 117-140스웨덴의 국가수준 유아학교 교육과정에 나타난 발달과 학습의 의미최윤정pp. 141-165
원문 보기