관찰․추천제에 의한 수학영재 선발 시 사용되는 교사추천서와 자기소개서 평가에 대한 다변량 일반화가능도 이론의 활용
An Application of Multivariate Generalizability Theory to Teacher Recommendation Letters and Self-introduction Letters Used in Selection of Mathematically Gifted Students by Observation and Nomination
1
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
이 연구는 관찰·추천제에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서를 활용하여 측정상황에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 이를 바탕으로 채점 영역 내의 문항 수의 조건을 변화시킴으로써 일반화가능도계수를 최대화할 수 있는 효율적인 측정 조건을 탐색하는 방법을 제시하였다. 이를 위해 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원 수학분야에 지원한 90명의 자기소개서와 교사추천서를 2명의 교사가 분석적 방법으로 채점한 자료에 대해 다변량 일반화가능도 분석을 적용하였다. 이 연구 결과 산출된 최적의 측정 조건은 특정 영재교육원에서 제작한 루브릭을 바탕으로 수학영재를 선발하기 위해 사용된 선발도구에만 국한되지만, 이 연구에서 적용한 방법론적 틀은 시·도 교육청 영재교육원, 영재학급 그리고 대학의 영재교육원 등 각 영재교육 현장에서 직접 제작한 선발도구에 측정학적 특성을 바탕으로 최적의 측정 조건을 탐색하는 데 적용 가능하다.
Abstract
This study provides an illustrative example of using the multivariate generalizability theory. Specifically, it investigates relative effects of each error source, and finds optimal measurementconditions for the number of items within each content domain that maximizes thereliability-like coefficients, such as a generalizability coefficient and an index of dependability. The method is based on teacher recommendation letters and self-introduction letters, usingan analytic scoring method in the context of selection of mathematically gifted students byobservation and nomination. This study analyzed data from the 2011 academic year in thescience education institute for the gifted, which is attached to the university located in theSeoul metropolitan area. It should be noted that the optimal scoring structures of this studyare not generalizable to other selection instruments. However, the methodology applied inthis study can be utilized to find optimal measurement conditions for the number of raters,the number of content domains, and the number of items in other selection instrumentsself-developed by many institutions including: the education institutes for the gifted atprovincial offices of education, gifted classes, and the science education institutes for thegifted attached to universities in general. In addition, the methodology will provide basesfor making informed decisions in selection instruments of the gifted based on measurementtraits.
참고문헌 (36)
- 교육부, "올해부터 시험 없이 과학영재 발굴", 교육과학기술부, ~ (2010)
- 교육부, ""영재교육 최적화를 통한 창조적 인재육성"을 위한 제 3차 영재교육진흥종합계획", 교육부(창의인재정책관), ~ (2013)
- 김미숙, "한국의 영재 선발 현황과 개선 방향", 영재선발의 세계적인 동향과 개선 방향을 위한 국제 심포지엄 (2007), 교육인적자원부
- 제1차 영재교육진흥종합계획 평가 및 중장기 전망에 관한 연구, "김미숙", 한국교육개발원, ~ (2007)
- 김성숙, "일반화가능도이론" (2001), 교육과학사
- 김성숙, "다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색", 교육평가연구, 25(4), pp.679~700 (2012), 한국교육평가학회
- 김성찬, "관찰․추천에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서 평가에 대한 일반화가능도 이론의 활용", 수학교육 논문집, 26(3), pp.251~271 (2012), 한국수학교육학회
- 김숙영, "관찰·추천제를 통한 수학 영재의 선발 과정에 관한 연구", 석사, 영재교육전공, pp.2012
- 남윤모, "GED 기반 수학영재 관찰·추천 선발 방식의 타당성 분석", 석사, 초등교육학과 영재교육전공, pp.2012
- 류지영, "영재학급 대상자 선발을 위한 관찰․추천 영재판별모형 개발 연구", 영재교육연구, 20(1), pp.257~287 (2010), 한국영재학회
- 미래창조과학부, "창조경제를 견인할 창의인재 육성 방안", 미래창조과학부, ~ (2013)
- 박혜정, "관찰·추천 영재 선발 시 사용되는 자기소개서와 교사추천서의 평가자간 신뢰도 분석", 석사, 영재교육, pp.2011
- 성태제, "현대교육평가(3판)" (2010), 학지사
- 신윤주, "관찰 추천에서 나타난 과학영재행동특성의 경향 : 교사 추천서와 학생 자기소개서 분석을 중심으로", 박사, 지구과학(과학교육), pp.2011
- 우미란, "관찰․추천 전형으로 선발된 학생들의 교사추천서와 프로그램 수행의 관련성 분석", 영재교육연구, 22(1), pp.173~196 (2012), 한국영재학회[DOI]
- 유미현, "과학영재교육원 관찰 · 추천 방식의 영재선발 분석", 과학영재교육, 3(2), pp.27~38 (2011)
- 윤은정, "관찰․추천제에 의한 영재교육대상자 선발에서 심사결과의 신뢰도 및 타당도 분석", 영재교육연구, 22(4), pp.929~942 (2012), 한국영재학회
- 이영식, "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구", Foreign Languages Education, 11(2), pp.249~265 (2004), 한국외국어교육학회
- 이인호, "영재교육 대상자 선발에서 교사 추천의 효용성 분석", 영재교육연구, 19(2), pp.381~404 (2009), 한국영재학회
- 이현숙, "혼합형 검사의 문항 유형별 가중치에 따른 신뢰도 및 다변량 일반화가능도 분석", 교육평가연구, 25(1), pp.95~116 (2012), 한국교육평가학회
- 최은주, "과학영재 관찰·추천 선발에 사용되는 교사추천서와 자기소개서 분석 및 실제 교육 결과의 관계", 석사, 영재교육전공, pp.2012
- Baum, S. M., "Meeting the need of gifted", learning disables students, 1994, pp.3(5), 6~16
- Brennan, R. L., "Generalizability Theory" (2001), Springer
- Brennan, R. L., "Manual for mGENOVA Version 2.1. Iowa City" (2001), Center for Advanced Studies in Measurement and Assessment, The University of Iowa
- Crick, J. E., "Manual for GENOVA: A GENeralized Analysis Of Variance System", ACT Technical Bulletin, 43 (1983), The American College Testing Program
- Cronbach, L. J., "The dependability of behavioral measurements : Theory of generalizability for scores and profiles" (1972), Wiley
- Dunbar, S. B., "Quality control in the development and use of performance assessment", Applied Measurement in Education, 4, pp.289~303 (1992)
- Gronlund, N. E., "Assessment of student achievement, 9th ed" (2009), Pearson
- Jiang, Y. H., "sources influencing performance assessment reliability or generalizability: A meta-analysis" (1997), Paper presented at the annual meeting of the American Educational Research Association
- Keeves, J. P., "Educational research, methodology, and measurement: An international handbook" (1988), Pergamon
- Pfeiffer, S., "Gifted identification beyond the IQ test", pp.177~196 (2008), Springer Science and Business Media, LLC
- Pfeiffer, S., "Gifted rating scales" (2003), Psych Corp
- revolving door model: A school wide paln for the development of creative productivity, In Systems and models for developing programs for the gifted and talented, "The enrichment triad", pp.1986, Renzulli, J. S.
- Shavelson, R. J., "Sampling variability of performance assessments", Journal of Educational Measurement, 30, pp.215~235 (1993)
- VanTassel-Baska, J., "Using performance tasks in the identification of economically disadvantaged and minority gifted learners : Finding from project STAR", Gifted Child Quarterly, 46(2), pp.110~123 (2002)
- Webb, N. M., "Multivariate generalizability theory, In Generalizability theory: Inferences and practical applications", pp.49~66 (1983), Jossey-Bass