과학 창의성 검사의 효율적인 측정 조건 탐색
An Investigation of Efficient Measurement Conditions of the Scientific Creativity Test
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
본 연구의 목적은 채점 요소가 융통성, 독창성, 그리고 정교성으로 구성된 과학 창의성 검사를 활용하여 검사 점수에 영향을 미치는 요인들의 상대적 영향력과 신뢰도 향상을 위한 효율적인 측정조건을 탐색하는 방법을 제시하는데 있다. 이를 위해 중학교 학생 107명을 대상으로 과학 창의성 검사를 실시한 결과가 공개되어 있는 채점 자료에 단변량과 다변량 일반화가능도 분석을 수행하였다. 주요 분석 결과는 다음과 같다. 첫째, 창의성 검사에서 채점 요소 효과는 일반 영역에서는 나타나지 않았고, 과학 영역에서만 나타났다. 둘째, 과학 창의성 검사에서 적정 수준의 신뢰도에 도달하기 위한 효율적인 측정 조건은 채점 요소의 수 보다는 문항 수를 증가시키는 경우로 나타났다. 셋째, 과학 창의성 검사에서 채점 요소별 최적의 가중치는 융통성, 독창성, 그리고 정교성별로 .3, .3, 그리고 .4인 것으로 나타났다. 넷째, 과학 창의성 검사에서 채점자 효과는 거의 나타나지 않았다. 마지막으로 이러한 연구 결과들을 바탕으로 향후 개발될 과학 창의성 검사에서 고려하여야 할 점들을 제안하였다.
Abstract
This study demonstrated a method to investigate the relative influence of the error sources that affected the science creativity test scores and efficient measurement conditions for achieving a desirable reliability of the scientific creativity test which consisted of the scoring components of flexibility, originality and elaboration. We analyzed the data from the scientific creativity test results of 107 middle school students which were allowed to access publicly by performing univariate and multivariate generalizability analyses. The main results were as follows. Firstly, the effect of scoring component only appeared in the science domain, not in the general domain of the creativity test. Secondly, increasing the number of items raised the reliability indices more efficiently than increasing the number of scoring components of the scientific creativity test. Thirdly, the optimal scoring weights of flexibility, originality and elaboration in the scientific creativity test were .3, .3 and .4, respectively. Fourthly, the effect of raters in the scientific creativity test was negligible. Finally, based on these results, this study suggests implications for the practice of developing scientific creativity tests in the future.
참고문헌 (48)
- 창의와 배려의 조화를 통한 인재 육성: 창의․인성교육 기본방안, "교육과학기술부", ~ (2009)
- 김성숙, "일반화가능도 이론" (2001), 교육과학사
- 김승훈, "중학생의 과학창의력 측정도구의 개발과 창의력 관련 변인과의 관계", 박사, 지구과학교육, pp.2004
- 과학영재 판별도구 개발연구(I)-기초 연구편, "김주훈", 한국교육개발원, ~ (1996)
- 박인숙, "중학생의 과학 창의적 문제 해결 능력을 측정하기 위한 도구 개발", 한국과학교육학회지, 32(2), pp.210~235 (2012), 한국과학교육학회[DOI]
- 신지은, "과학 영재와 일반 학생의 창의성 비교 연구 : 확산적 사고와 과학 창의성을 중심으로", 석사, 지구과학, pp.2002
- 윤현정, "창의적 문제 해결력 신장을 위한 중학교 과학 수업 전략의 개발 및 적용 효과(제III보)", 대한화학회지, 55(6), pp.1056~1073 (2011), 대한화학회
- 이규민, "초등학교 과학과 수행평가의 총체적 채점과 분석적 채점 방식에 대한 일반화가능도 분석", 아동교육, 16(4), pp.169~184 (2007), 한국아동교육학회
- 이기영, "중등학교 수행평가의 평가 유형과 채점 방식 및 신뢰도 분석", 한국과학교육학회지, 25(2), pp.173~183 (2005)
- 이병희, "창의적 행동 발현의 구조모형 타당화 연구", 창의력교육연구, 10(2), pp.73~89 (2010), 한국창의력교육학회
- 이선영, "다변량 일반화가능도 이론을 활용한 창의성 예비검사의 신뢰도 분석", 창의력교육연구, 15(3), pp.83~107 (2015), 한국창의력교육학회
- 이주현, "창의성 측정의 신뢰도 : 일반화 가능도 이론의 응용", 석사, 산업심리학, pp.2005
- 이효정, "중학교 과학과 수행평가 점수의 일반화가능도 분석", 석사, 교육과정및평가, pp.2009
- 정현철, "과학 창의성 계발을 위한 프로그램 개발 - 이론과 예시를 중심으로 -", 한국지구과학회지, 23(4), pp.334~348 (2002), 한국지구과학회
- 한기순, "과학영역에서의 창의성 계발을 위한 프로그램의 개발과 적용", 영재와 영재교육, 2(1), pp.135~186 (2003)
- 한기순, "남학생은 여학생보다 창의적인가? -영재들의 과학 창의성을 중심으로-", 한국지구과학회지, 23(4), pp.324~333 (2002), 한국지구과학회
- Baer, J., "Generality of creativity across performance domains", Creativity Research Journal, 4(1), pp.23~39 (1991)
- Baer, J., "Divergent thinking and creativity: A task-specific approach" (1993), Lawrence Erlbaum Associates
- Brennan, R. L., "Generalizability theory" (2001), Springer
- Brennan, R. L., "Manual for mGENOVA Version 2.1" (2001), Center for Advanced Studies in Measurement and Assessment, The University of Iowa
- Cason, G. J., "A Deterministic Theory of Clinical Performance Rating Promising Early Results", Evaluation & the Health Professions, 7(2), pp.221~247 (1984)
- Conti, R., "Evidence to support the componential model of creativity : Secondary analyses of three studies", Creativity Research Journal, 9(4), pp.385~389 (1996)
- Diakidoy, I. A. N., "Creativity in physics: Response fluency and task specificity", Creativity Research Journal, 13(3-4), pp.401~410 (2001)
- Dunbar, S. B., "Quality control in the development and use of performance assessments", Applied measurement in education, 4(4), pp.289~303 (1991)
- Gao, X., "Generalizability of large-scale performance assessments in science : Promises and problems", Applied Measurement in Education, 7(4), pp.323~342 (1994)
- Gebril, A., "Bringing reading-to-write and writing-only assessment tasks together : A generalizability analysis", Assessing Writing, 15(2), pp.100~117 (2010)
- Han, K. S., "Multiple creativities? Investigating domain-specificity of creativity in young children", Gifted Child Quarterly, 46(2), pp.98~109 (2002)
- Hu, W., "A scientific creativity test for secondary school students", International Journal of Science Education, 24(4), pp.389~403 (2002)
- Koren, Y., "Students’ multi-modal re-presentations of scientific knowledge and creativity", Journal of Creative Behavior, 39, pp.193~215 (2005)
- Lakes, K. D., "Applications of generalizability theory to clinical child and adolescent psychology research", Journal of Clinical Child & Adolescent Psychology, 38(1), pp.144~165 (2009)
- Li, D., "A multi-group generalizability analysis of a large-scale reading comprehension test", annual meeting of the National Council on Measurement in Education (2007)
- Longford, N. T., "Reliability of essay rating and score adjustment", Journal of Educational and Behavioral Statistics, 19(3), pp.171~200 (1994)
- Lubart, T. I., "An investment approach to creativity: Theory and data", The creative cognition approach, pp.269~302 (1995)
- Lunz, M. E., "The effect of rater severity on person ability measure : a Rasch model analysis", American Journal of Occupational Therapy, 47(4), pp.311~317 (1993)
- McBee, M. M., "The generalizability of a performance assessment measuring achievement in eight-grade mathematics", Applied Measurement in Education, 11(2), pp.179~194 (1998)
- Mulqueen, C., "Using Multifacet Rasch analysis to examine the effectiveness of rater training", 15th Annual Conference for the Society for Industrial and Organizational Psychology (2000)
- Plucker, J. A., "Beware of simple conclusions : The case for content generality of creativity", Creativity Research Journal, 11(2), pp.179~182 (1998)
- Runco, M. A., "The generality of creative performance in gifted and nongifted children", Gifted Child Quarterly, 31(3), pp.121~125 (1987)
- Scott, T. E., "Encyclopedia of creativity", pp.125~147 (1999), Academic Press
- Shavelson, R. J., "Sampling variability of performance assessments", Journal of Educational Measurement, 30(3), pp.215~232 (1993)
- Shavelson, R. J., "Generalizability theory: A primer" (1991), Sage Publications
- Simonton, D. K., "Creativity in science: Chance, logic, genius, and zeitgeist" (2004), Cambridge University Press
- Slettum, B. S., "Validity and reliability of a folk-dance performance checklist for children", Measurement in Physical Education and Exercise Science, 5(1), pp.35~55 (2001)
- Srikaew, D., "English speaking skills assessment for grade 6 thai students an application of multivariate generalizability theory", International Journal of Psychology : A Biopsychosocial Approach, 16, pp.47~66 (2015)
- Torrance, E. P., "The Torrance Tests of Creative Thinking-Norms- Technical Manual Research Edition-Verbal Tests, Forms A and B- Figural Tests, Forms A and B" (1974), Personnel Press
- Wang, J., "Scientific creativity research based on generalizability theory and BP_Adaboost RT", Procedia Engineering, 15, pp.4178~4182 (2011)
- Webb, N. M., "The dependability and interchangeability of assessment methods in science", Applied Measurement in Education, 13(3), pp.277~301 (2000)
- Wolpert, L., "The Unnatural Nature of Science" (1992), Harvard University Press