본문 바로가기
KERD
논문KCI 등재

예비수학교사의 교직 적성·인성 검사에서 분할점수 변화에 따른 다양한신뢰도 탐색

Investigation of Various Reliability Indices of Pre-service Mathematics Teachers´ Teaching Aptitude and Personality Test based on Setting Cut Scores

김성연
한국수학교육학회|2018.02|수학교육 (The Mathematical Education)|제57권 제1호|pp. 55-74|DOI https://doi.org/10.7468/mathedu.2018.57.1.55

0

조회

0

다운로드

3

인용

0

참고문헌

키워드

criterion-referenced testgeneralizability theory준거참조검사일반화가능도이론dependability coefficients교직 적성·인성 검사teaching aptitude and personality test의존도 계수

초록

The purpose of this study is first to examine the relative influence of each error source and to investigate the optimal measurement conditions to ensure satisfactory multiple reliability coefficients based on the teaching aptitude and personality test for pre-service teachers. Participants were 33 students enrolled in mathematics education in a graduate school of education located in the Seoul metropolitan area from 2013 to 2017. The main results were as follows. First, the estimated variance due to residual was highest, followed by nesting of items within domains, graduate students, interactions of graduate students with domains, and domains. Second, total 96 items, with 12 domains containing 8 items in each domain, with cut score of 598, and original 210 items, with 14 domains containing 15 items in each domain, with cut scores of 615 or 716 were optimal measurement conditions to reach acceptable reliability levels based on the joint consideration of dependability coefficients, cut score dependability coefficients, adjusted dependability coefficients, and standard errors of measurement. Third, larger deviations between the arithmetic mean and the cut score indicated higher reliability coefficients of the test results. Finally, this study suggests ways for practitioners to consider how to apply generalizability theory for criterion-referenced tests and how to develop future research based on limitations.

Abstract

The purpose of this study is first to examine the relative influence of each error source and to investigate the optimal measurement conditions to ensure satisfactory multiple reliability coefficients based on the teaching aptitude and personality test for pre-service teachers. Participants were 33 students enrolled in mathematics education in a graduate school of education located in the Seoul metropolitan area from 2013 to 2017. The main results were as follows. First, the estimated variance due to residual was highest, followed by nesting of items within domains, graduate students, interactions of graduate students with domains, and domains. Second, total 96 items, with 12 domains containing 8 items in each domain, with cut score of 598, and original 210 items, with 14 domains containing 15 items in each domain, with cut scores of 615 or 716 were optimal measurement conditions to reach acceptable reliability levels based on the joint consideration of dependability coefficients, cut score dependability coefficients, adjusted dependability coefficients, and standard errors of measurement. Third, larger deviations between the arithmetic mean and the cut score indicated higher reliability coefficients of the test results. Finally, this study suggests ways for practitioners to consider how to apply generalizability theory for criterion-referenced tests and how to develop future research based on limitations.

참고문헌 (86)

  1. 강애남, "학생들의 동료평가를 활용한 수행평가 결과의 일반화가능도 분석", 교육평가연구, 19(3), pp.107~121 (2006), 한국교육평가학회
  2. 교육과학기술부, "교원자격검정령", 교육과학기술부, ~ (2012)
  3. 교육부, "교원자격검정령", 교육부, ~ (2013)
  4. 김경령, "예비교사의 교직인성 자기점검도구 개발 연구", 한국교원교육연구, 31(1), pp.117~139 (2014), 한국교원교육학회[DOI]
  5. 김경선, "일반화가능도 이론을 적용한 한국어 말하기 성취도 평가의 신뢰도와 오차요인 분석", 한국어교육, 21(4), pp.51~75 (2010), 국제한국어교육학회[DOI]
  6. 김민웅, "공업계열 특성화고 및 마이스터고 학생의 인성 수준 조사 분석", 직업교육연구, 36(1), pp.23~46 (2017), 한국직업교육학회[DOI]
  7. 김보라, "일반화가능도 이론을 적용한 초등학교 쓰기 수행평가의 총체적 채점과 분석적 채점 방식 비교", 교육학연구, 50(4), pp.49~76 (2012), 한국교육학회
  8. 김성숙, "관찰을 통한 교수 평가 체계에 대한 측정의 일반화 가능도 연구", 교육학연구, 31(1), pp.23~40 (1993)
  9. 김성숙, "준거참조검사의 분할점수에 따른 오차손실 변동과 신뢰성 지수 추정", 교육평가연구, 11(1), pp.153~177 (1998)
  10. 김성숙, "일반화가능도 이론" (2001), 교육과학사
  11. 김성찬, "관찰․추천에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서 평가에 대한 일반화가능도 이론의 활용", 수학교육 논문집, 26(3), pp.251~271 (2012), 한국수학교육학회
  12. "예비교사 인·적성검사, 부적격자 0.6% 그쳐" (2017)[URL]
  13. 김성희, "일반화가능도 이론을 적용한 최순자의 유아 사회도덕성 검사의 효율적인 측정 조건 탐색", 미래유아교육학회지, 24(1), pp.325~342 (2017), 미래유아교육학회[DOI]
  14. 김정환, "초등학교 기간제 교사의 교육능력 관련 요소의 인과관계 분석", 교육평가연구, 17(1), pp.121~140 (2004), 한국교육평가학회
  15. 교직 적성·인성검사 도구 개발 연구, "김정환", 교육과학기술부, ~ (2012)
  16. 김현진, "교사·학교장 신념과 중학생의 자율성 및 자기효능감, 학업성취도의 관계 분석", 교육학연구, 51(2), pp.117~143 (2013), 한국교육학회
  17. 류춘렬, "일반화가능도 이론을 이용한 집단논리적사고력검사 (GALT)의 신뢰도 분석", 한국지구과학회지, 31(1), pp.95~105 (2010), 한국지구과학회
  18. 민경석, "한국어능력시험Ⅱ의 규준참조적 준거설정 방법 비교", 교육방법연구, 26(4), pp.607~628 (2014), 한국교육방법학회[DOI]
  19. 박정, "우리나라 중학생의 수학에 대한 정의적 특성 변화와 수학 성취에 미치는 영향력 분석", 수학교육, 46(1), pp.19~31 (2007), 한국수학교육학회
  20. 서경혜, "예비교사 교직 인성 평가도구 개발 및 타당화", 교육과학연구, 44(1), pp.147~176 (2013), 교육과학연구소
  21. 신준국, "수학수업에서 인성 함양을 위한 중학교 교수·학습 자료 개발 연구", 수학교육 논문집, 29(2), pp.255~279 (2015), 한국수학교육학회
  22. 이규민, "초등학교 과학과 수행평가의 총체적 채점과 분석적 채점 방식에 대한 일반화가능도 분석", 아동교육, 16(4), pp.169~184 (2007), 한국아동교육학회
  23. 이진아, "일반화가능도 이론을 활용한 TTCT(도형 A형- 활동 2) 독창성 평가 방안 탐색", 창의력교육연구, 16(3), pp.65~77 (2016), 한국창의력교육학회
  24. 이태구, "강제결합-스포츠모의중계수업에서 일반화가능도 이론을 적용한 동료평가의 신뢰도와 오차요인 분석", 체육과학연구, 27(2), pp.345~361 (2016), 국민체육진흥공단 한국스포츠정책과학원[DOI]
  25. 이한준, "일반화가능도 이론을 이용한 하지의 등속성 검사의 신뢰도 연구", 아시아 운동학 학술지, 19(4), pp.29~35 (2017), 대한운동학회[DOI]
  26. 이현숙, "PISA 2012 수학 성취도를 설명하는 학생의 정의적 특성 및 교사 특성 분석을 위한 다층 구조방정식모형의 적용", 교과교육학연구, 19(1), pp.137~158 (2015), 교과교육연구소[DOI]
  27. 조운주, "예비유아교사를 위한 교직적성ㆍ인성 검사도구의 타당성 및 개선방안", 육아지원연구, 9(2), pp.101~123 (2014), 한국육아지원학회[DOI]
  28. 조주연, "초등 교직적성검사 모형개발 연구", 교육심리연구, 18(3), pp.231~247 (2004), 한국교육심리학회
  29. 조주연, "초등 교직적성검사(TAPST) 타당화 연구", 초등교육연구, 20(2), pp.161~182 (2007), 한국초등교육학회
  30. 주지은, "공간능력 검사의 성차 및 과제유형 효과와 효율적 측정 구조 탐색", 교육심리연구, 21(2), pp.311~330 (2007), 한국교육심리학회
  31. 한혜숙, "중등 수학 교사들의 정의적 특성에 대한 인식과 수업 실태 분석", 한국학교수학회논문집, 14(4), pp.491~518 (2011), 한국학교수학회
  32. 역량중심 교육환경에 따른교사 자격검정 개선 방향, "한국교육과정평가원", 한국교육과정평가원, ~ (2016)
  33. 홍기칠, "교직적성·인성 검사도구의 적용연구", 초등교육연구논총, 22(1), pp.113~135 (2006)
  34. 황혜정, "수학 수업의 교사 지식에 관한 평가 요소 탐색 - 교수‧학습 방법 및 평가를 중심으로 -", 한국학교수학회논문집, 14(3), pp.241~263 (2011), 한국학교수학회
  35. Arce, A. J., "Applying Rasch model and generalizability theory to study Modified-Angoff cut scores", International Journal of Testing, 12(1), pp.44~60 (2012)
  36. Arterberry, B. J., "Assessing the dependability of drinking motives via generalizability theory", Measurement and Evaluation in Counseling and Development, 45(4), pp.292~302 (2012)
  37. Brennan, R. L., "A guide to criterion-referenced test construction" (1984), Johns Hopkins University Press
  38. Brennan, R. L., "Generalizability Theory" (2001), Springer-Verlag
  39. Brennan, R. L., "Generalizability analyses of Work Keys listening and writing tests", Educational and Psychological Measurement, 55(2), pp.157~176 (1995)
  40. Brennan, R. L., "An index of dependability for mastery tests", Journal of Educational Measurement, 14(3), pp.277~289 (1977)
  41. Cizek, G. J., "Standard‐Setting Guidelines", Educational Measurement : issues and practice, 15(1), pp.13~21 (1996)
  42. Cohen, J., "A coefficient of agreement for nominal scales", Educational and psychological measurement, 20(1), pp.37~46 (1960)
  43. Englehart, D. S., "Teacher dispositions : Moving from assessment to improvement", The International Journal of Educational and Psychological Assessment, 9(2), pp.26~44 (2012)
  44. Fyans, L. J., "Generalizability theory:Inferences and practical applications" (1983), Jossey-Bass Inc Pub
  45. Govaerts, M. J., "Optimising the reproducibility of a performance-based assessment test in midwifery education", Advances in Health Sciences Education, 7(2), pp.133~145 (2002)
  46. Gugiu, M. R., "Utilizing generalizability theory to investigate the reliability of grades assigned to undergraduate research papers", Journal of MultiDisciplinary Evaluation, 8(19), pp.26~40 (2012)
  47. Hanson, B. A., "An investigation of classification consistency indexes estimated under alternative strong true score models", Journal of Educational Measurement, 27(4), pp.345~359 (1990)
  48. Haq, R., "An examination of teaching aptitude of teachers working at primary level : Demographic differences", International Interdisciplinary Journal of Education, 1(2), pp.29~33 (2012)
  49. Hopkins, K. D., "Educational and psychological measurement and evaluation" (1997), Pearson
  50. Houchard, M. A., "Principal Leadership, Teacher Morale, and Student Achievement in Seven Schools in Mitchell County", pp.2005
  51. Huynh, H., "On consistency of decisions in criterion-referenced testing", Journal of Educational Measuremen, 13(4), pp.265~275 (1976)
  52. Kane, M. T., "Setting performance standards: Concepts, methods, and perspectives" (2001), Lawrence Erlbaum Associates
  53. Kant, R., "A study of teaching aptitude and responsibility feeling of secondary school teachers in relation to their sex and locale", Academic Research International, 1(2), pp.254~259 (2011)
  54. Keeves, J. P., "Educational research, methodology and measurement: An international handbook" (1988), Pergamon
  55. Klieme, E., "The power of video studies in investigating teaching and learning in the classroom", pp.137~160 (2009)
  56. Kunter, M., "Students' and mathematics teachers' perceptions of teacher enthusiasm and instruction", Learning and Instruction, 18(5), pp.468~482 (2008)
  57. Lee, G. M., "The influence of several factors on reliability for complex reading comprehension tests", Journal of Educational Measurement, 39(2), pp.149~164 (2002)
  58. Lee, Y. W., "Evaluating prototype tasks and alternative rating schemes for a new ESL writing test through G-theory", International Journal of Testing, 7(4), pp.353~385 (2007)
  59. Lin, C. K., "Investigating correspondence between language proficiency standards and academic content standards : A generalizability theory study", Language Testing, 31(4), pp.413~431 (2014)
  60. Livingston, S. A., "Criterion‐referenced applications of classical test theory", Journal of Educational Measurement, 9(1), pp.13~26 (1972)
  61. Livingston, S. A., "Estimating the consistency and accuracy of classifications based on test scores", Journal of educational measurement, 32(2), pp.179~197 (1995)
  62. Marzano, R. J., "A comparison of selected methods of scoring classroom assessments", Applied Measurement in Education, 15(3), pp.249~268 (2002)
  63. Narvaez, D., "Handbook of moral and character education" (2008), Routledge
  64. Newton, X. A., "Developing indicators of classroom practice to evaluate the impact of district mathematics reform initiative : A generalizability analysis", Studies in Educational Evaluation, 36(1), pp.1~13 (2010)
  65. Norcini, J. J., "Innovative simulations for assessing professional competence" (1999), University of Illinois
  66. Nunnally, J. C., "Psychometric theory" (1994), McGraw-Hill
  67. Phillips, S. E., "Educational measurement" (2006), Praeger
  68. Popham, W. J, "Implications of criterion‐referenced measurement", Journal of Educational Measurement, 6(1), pp.1~9 (1969)
  69. Salvia, J., "Assessment: In special and inclusive education" (2012), Houghton Mifflin
  70. Schoonheim-Klein, M., "On the reliability of a dental OSCE, using SEM: effect of different days", European Journal of Dental Education, 12(3), pp.131~137 (2008)
  71. Shavelson, R. J., "Generalizability theory: A Primer" (1991), Sage
  72. Sireci, S. G., "Defending standardized testing" (2005), Lawrence Erlbaum Associates
  73. Solano-Flores, G., "The use of generalizability(G)theory in the testing of linguistic minorities", Educational Measurement : Issues and Practice, 25(1), pp.13~22 (2006)
  74. Subkoviak, M. J., "Estimating reliability from a single administration of a criterion‐referenced test", Journal of Educational Measurement, 13(4), pp.265~276 (1976)
  75. Sung, Y. T., "How many heads are better than one? The reliability and validity of teenagers' self-and peer assessments", Journal of Adolescence, 33(1), pp.135~145 (2010)
  76. Swaminathan, H., "Reliability of criterion‐referenced tests : A decision‐theoretic formulation", Journal of Educational Measurement, 11(4), pp.263~267 (1974)
  77. Tasleema, J., "Teaching aptitude of elementary and secondary level teacher educators", Journal of Education and Practice, 3(2), pp.67~71 (2012)
  78. Taylor, M. A., "An application of generalizability theory to evaluate the technical quality of an alternate assessment", Applied Measurement in Education, 26(4), pp.279~297 (2013)
  79. Thompson, A. G., "Teacher’ belief and conceptions: A synthesis of the research" (1992), Macmillan Publishing Company
  80. Tindal, G., "Generalizability theory applied to reading assessments for students with significant cognitive disabilities", The Journal of Special Education, 44(1), pp.3~17 (2010)
  81. Volpe, R. J., "Generalizability of classroom behavior problem and on-task scores from the Direct Observation Form", School Psychology Review, 38(3), pp.382~ (2009)
  82. Volpe, R. J., "Generalizability and dependability of single-item and multiple-item direct behavior rating scales for engagement and disruptive behavior", School Psychology Review, 41(3), pp.246~ (2012)
  83. Webb, N. M., "The dependability and interchangeability of assessment methods in science", Applied Measurement in Education, 13(3), pp.277~301 (2000)
  84. Yang, Y., "Reliability of Scores on the Summative Performance Assessments", The Journal of Educational Research, 108(6), pp.465~479 (2015)
  85. Yin, P., "Estimating standard errors of cut scores for item rating and mapmark procedures : A generalizability theory approach", Educational and Psychological Measurement, 68(1), pp.25~41 (2008)
  86. Xi, X., "Evaluating analytic scoring for the TOEFL® Academic Speaking Test(TAST)for operational use", Language Testing, 24(2), pp.251~286 (2007)

관련 논문AI추천

교육대학원과 사범대학 예비수학교사의 교직 적성·인성 검사에 대한측정의 동등성 분석김성연한국수학교육학회 · 수학교육2018 · 제57권 제2호예비교사의 교직 적성‧인성 검사에서 효율적인 시행횟수 탐색김성연사범대학부속중등교육연구소 · 중등교육연구2018 · 제66권 제3호교직 인성 검사에서의 문항 프로파일 분석김성연사범대학부속중등교육연구소 · 중등교육연구2017 · 제65권 제4호미국 수학교사의 교수 질 평가도구 분석을 통한 우리나라 수학교원능력개발평가에서의 일반화가능도 이론 활용성 탐색김성연한국수학교육학회 · 수학교육 논문집2014 · 제28권 제4호관찰․추천제에 의한 수학영재 선발 시 사용되는 교사추천서와 자기소개서 평가에 대한 다변량 일반화가능도 이론의 활용김성연, 한기순한국영재학회 · 영재교육연구2013 · 제23권 제5호다변량일반화가능도 이론을 적용한 자동문항생성 기반 평가에서의 신뢰도 탐색김성연, 정진민과학교육연구소 · 과학교육연구지2023 · 제47권 제2호

이 간행물의 다른 논문 (2건)

수학교사의 테크놀로지 교수 내용 지식(TPACK)에 대한 연구: TPACK에 대한 인식 및 교육요구도 분석 중심으로이다희, 황우형pp. 1-36단위분수에 대한 초등학교 3학년 학생들의 이해 분석: 지도 맥락과 시각적 표현의 관점에서임미인pp. 37-54
원문 보기