종단 측정동일성 검증을 위한 정렬법의 적용
Application of Alignment Method for Longitudinal Measurement Invariance Testing
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
연구목적: 본 연구는 하나의 검사가 서로 다른 시점에 걸쳐 측정될 때 해당 구인이 모든 시점에 걸쳐 동일한 의미와 구조를 갖는지 종단 측정동일성을 검증하고자 하는 목적으로 실시되었다. 연구방법: 본 연구에서는 대구교육종단연구 초등패널의 2017년부터 2021년까지 5차년도 시점에 대한 그릿 척도의 측정동일성 검증에 정렬법을 적용하여 분석하였다. 이를 통해 그릿의 수준이 5개 시점에서 동일성이 확보되고 있는지, 측정시점별 검사도구의 편향을 나타내는 IPD 문항이 있는지 확인하고, 정렬법이 다른 종단연구에서 사용된 다수 측정 도구들의 동일성 검증 방법으로 활용될 수 있을지 탐색하였다. 연구결과: 측정동일성 검증 결과, 대구교육종단연구에서 사용된 그릿 척도는 근사적 측정동일성이 확보되었으나 비동일성을 나타내는 몇몇 문항에 대해서는 면밀한 검토가 필요한 것으로 나타났다. 그릿 척도의 2요인 중 역코딩 문항으로 측정된 ‘지속적 관심’ 요인에서 상대적으로 비동일성 빈도가 높았다. 그릿의 시점별 잠재 평균은 학년이 올라갈수록 감소하는 경향을 나타났다. 논의 및 결론: 본 연구는 종단자료 분석 시 정렬법을 적용하여 다수 시점의 비교 분석을 한 번에 처리하고 최소한의 근사 측정동일성이 충족되는 시점 간 잠재 평균의 추정 및 비교를 적용하였다는 점에서 방법론적 의의가 있다. 또한, 초등학교 6학년에서 중학교 1학년으로 진학하는 전환기에 나타나는 그릿의 잠재 평균 변화 패턴을 통해 학교급이 변화하는 시기의 중요성과 지원방안에 대한 필요성을 강조하였다.
Abstract
Purpose: The purpose of this study was to examine longitudinal measurement invariance, i.e., whether a construct has the same meaning and structure across different time points, by applying the alignment method. Method: This study used the alignment method presented in an appropriate way to compare multiple perspectives, such as longitudinal data. For the analysis, the longitudinal measurement non-invariance was tested using the response data of the grit scale measured from 2017 to 2021 for the Daegu Education Longitudinal Study (DELS) elementary Panel, and the difference in the latent mean was tested. Through this, we checked whether the level of grit was secured at 5 points, whether there were IPD items indicating the bias of the inspection tool at each measurement point, and explored whether the alignment method could be used as a method of verifying the identity of many measurement tools used in other longitudinal studies. Results: As a result of the measurement invariance verification, the grit scale used in the DELS secured approximate measurement invariance, but some items indicating the non-invariance need close inspection. Among the two factors of the grit scale, the frequency of non-invariance was relatively high in the factor of 'consistency of interest' measured with reverse-coded items. The latent mean for each time point of grit tended to decrease as the grade went up. Conclusion: This study was of methodological significance in that it applied the alignment method in longitudinal data analysis to handle a simultaneous comparison of multiple time points and applied estimation and comparison of latent means between times when minimal approximate measurement invariance was satisfied. In addition, through the pattern of latent mean change in grit during the transition period from the 6th grade of elementary schools to the 1st grade of middle schools, this study emphasized the importance of the time when the school-level transitions and the need for support solutions.
참고문헌 (80)
- 강문선, "대학생의 부모애착과 삶의 만족도의 관계에서 조화․강박열정과 그릿(Grit)의 매개효과 검증", 한국심리학회지: 발달, 32(2), pp.79~101 (2019), 한국심리학회 산하 한국발달심리학회[DOI]
- 고길곤, "설문조사에서 문항의 역코딩 여부가 응답결과에 미치는 영향: 자아존중감과 자기효능감 측정 사례를 중심으로", 한국행정학보, 49(3), pp.515~539 (2015), 한국행정학회[DOI]
- OECD ESP 역량 역동성 종단연구(III): OECD 본조사 한국 실행가능성 연구 및 3개년 종단자료 분석, "김미숙", 한국교육개발원, ~ (2016)
- 김수영, "구조방정식 모형의 기본과 확장" (2016), 학지사
- 김은혜, "부모의 부정적 양육행동이 대학생의 심리적 안녕감에 미치는 영향: 그릿 및 학업적응을 매개로", 청소년학연구, 27(5), pp.405~431 (2020), 한국청소년학회[DOI]
- OECD Education 2030 프로젝트 1단계 성과 분석: 교육과정 정책 및 교육과정 내용 맵핑(CCM) 국제 비교를 중심으로, "김종윤", 교육부, ~ (2019)
- 김휘, "고등학생의 진로결정 자기효능감과 COVID-19 상황에서 우울의 관계 : 그릿(Grit)의 조절효과를 중심으로", 進路敎育硏究, 34(3), pp.221~235 (2021), 한국진로교육학회
- 노재희, "정렬법을 적용한 학생 스트레스 척도의 측정 동일성 검증 및 잠재평균 분석", 교육평가연구, 33(4), pp.889~913 (2020), 한국교육평가학회
- 박병선, "축약형 우울척도(Andersen form CES-D-10)의 종단적 측정불변성 검증", 정신건강과 사회복지, 48(4), pp.67~90 (2020), 한국정신건강사회복지학회[DOI]
- 박상현, "초, 중 전환기 학생의 학교적응 프로파일의 종단적 변화 및 예측요인 검증", 학습자중심교과교육연구, 19(21), pp.821~841 (2019), 학습자중심교과교육학회[DOI]
- 박찬호, "교육종단연구에서 사회정서 역량의 측정 차원성 변화 탐구", 교원교육, 38(2), pp.563~583 (2022), 교육연구원
- 박현정, "학습동기, 자아개념, 학업성취간 관계의 집단간 동등성 분석: PISA 2006을 중심으로", 교육평가연구, 21(3), pp.43~67 (2008), 한국교육평가학회
- 서미옥, "그릿(Grit)과 관련 변인들의 관계에 대한 메타분석", 교육학연구, 57(1), pp.105~130 (2019), 한국교육학회[DOI]
- 손수경, "다수 집단의 측정동일성 검정을 위한 임의효과 모형: 다층 확인적 요인분석(ML CFA)과 다층 요인혼합모형(ML FMM)의 비교", 한국심리학회지:일반, 38(2), pp.185~218 (2019), 한국심리학회[DOI]
- 손원숙, "종단자료에서의 측정 동등성 평가를 위한 LCFA와 DIF 기법의 적용", 교육평가연구, 25(4), pp.701~719 (2012), 한국교육평가학회
- 신미미, "범주형 확인적 요인분석 모형의 다집단 확장", 한국심리학회지:일반, 39(2), pp.175~204 (2020), 한국심리학회[DOI]
- 신여울, "고등학생의 그릿이 학교적응에 미치는 종단적 영향에서 불안의 매개효과", 한국심리학회지: 발달, 32(3), pp.21~36 (2019), 한국심리학회 산하 한국발달심리학회[DOI]
- 신종호, "사회비교 방식이 지각변별 과제수행 및 자기효능감에 미치는 영향", 교육심리연구, 23(4), pp.753~768 (2009), 한국교육심리학회
- 안정원, "다수준 분석 시에 동질상향적 개념의 측정을 위해 참조점 이동의 필요 여부에 대한 판단방법으로서 다집단 분석", 한국심리학회지: 산업 및 조직, 32(1), pp.29~53 (2019), 한국산업및조직심리학회[DOI]
- 양명희, "성취목표지향성의 안정성 검토", 교육심리연구, 26(1), pp.251~270 (2012), 한국교육심리학회
- 유인화, "교육사각지대학습자 선별을 위한 교사평정척도 측정동등성 및 잠재평균분석: 단위학교 별 비교", 교육심리연구, 34(1), pp.21~39 (2020), 한국교육심리학회[DOI]
- 이금호, "다집단 확인적 요인분석을 이용한 기질 및 성격 검사(TCI)의 구인동등성 분석 및 잠재평균분석", 교육연구논총, 34(2), pp.57~77 (2013), 교육연구소[DOI]
- 이순희, "한국어판 CES-DC 11(the 11-item Center for Epidemiological Studies Depression for Children) 척도의 성별에 따른 측정불변성 검증", 학교사회복지, (42), pp.237~261 (2018), 한국학교사회복지학회[DOI]
- 이순묵, "구조방정식 모형의 일반화 또는 집단차 연구를 위한 집단 분석의 관행과 문제점", 사회과학, 43(1), pp.63~112 (2011)
- 이은주, "성취목표지향성의 종단적 변화와 안정성", 한국심리학회지:일반, 33(2), pp.353~373 (2014), 한국심리학회
- 임효진, "그릿(Grit)의 요인구조와 타당도에 관한 탐색적 연구", 아시아교육연구, 18(2), pp.169~192 (2017), 교육연구소
- 임효진, "그릿의 최근 연구동향과 재개념화의 필요성", 교육심리연구, 31(4), pp.663~681 (2017), 한국교육심리학회[DOI]
- 임효진, "그릿 개념의 재정립: 목적, 열정, 인내의 재검토", 교육심리연구, 33(3), pp.317~339 (2019), 한국교육심리학회[DOI]
- 임효진, "그릿(Grit)을 매개로 학업열의를 예측하는 부모, 교사, 교우 변인: 초등학생과 중학생의 비교", 한국초등교육, 31(1), pp.109~127 (2020), 초등교육연구원[DOI]
- 장은영, "사회비교의 목표, 대상 및 결과에 따른 자기정서의 경험", 한국심리학회지: 사회및성격, 18(3), pp.127~153 (2004), 한국사회및성격심리학회
- 조홍식, "체육수업에서 교사의 자율성 지지와 동료의 관계성 지지가 학생들의 그릿(Grit)과 학업열의에 미치는 영향", 한국체육과학회지, 28(1), pp.927~943 (2019), 한국체육과학회[DOI]
- 천지원, "대학생의 사회부과 완벽주의가 우울에 미치는 영향: 그릿(Grit)에 의해 조절된 자기불일치의 매개효과", 한국심리학회지: 상담 및 심리치료, 33(1), pp.367~390 (2021), 한국상담심리학회
- 최은영, "중학생의 사회적 관계와 학업성취도 간의 관계에서 그릿과 학업열의의 매개효과와 성별의 조절효과", 교육심리연구, 35(1), pp.121~148 (2021), 한국교육심리학회[DOI]
- 한수연, "초기 청소년의 그릿 유형 예측요인 및 그릿 유형에 따른 몰입, 자기통제, 성실성의 차이", 영재와 영재교육, 18(3), pp.53~81 (2019), 한국영재교육학회[DOI]
- 황매향, "초등학생의 그릿(Grit)과 학업성취도의 관계에서자기조절학습의 매개효과", 초등상담연구, 16(3), pp.301~319 (2017), 한국초등상담교육학회
- Asparouhov, T., "Multiple-group factor analysis alignment. structural equation modeling", A Multidisciplinary Journal, 21(4), pp.495~508 (2014)
- Bock, R. D., "Item response theory" (2021), Wiley
- Brown, T. A., "Confirmatory factor analysis for applied research" (2015), The Guilford Press
- Byrne, B. M., "Testing for the equivalence of factor covariance and mean structures : The issue of partial measurement invariance", Psychological Bulletin, 105(3), pp.456~466 (1989)
- Byrne, B. M., "Testing for measurement and structural equivalence in large-scale cross-cultural studies : Addressing the issue of nonequivalence", International Journal of Testing, 10, pp.107~132 (2010)
- Byrne, B. M., "The maximum likelihood alignment approach to testing for approximate measurement invariance : A paradigmatic cross-cultural application", Psicothema, 29(4), pp.539~551 (2017)
- Credé, M., "Much ado about grit : A meta-analytic synthesis of grit literature", Journal of Personality and Social Psychology, 113(3), pp.429~511 (2016)
- Ding, Y., "Testing measurement invariance of mathematics self-concept and self-efficacy in PISA using MGCFA and the alignment method", European Journal of Psychology of Education (2022)[DOI]
- Drasgow, F., "Equivalence of psychological measurement in heterogeneous populations", Journal of Applied Psychology, 70(4), pp.662~680 (1985)
- Duckworth, A. L., "Grit : Perseverance and passion for long-term goals", Journal of Personality and Social Psychology, 92(6), pp.1087~1101 (2007)
- Duckworth, A. L., "Development and validation of the Short Grit Scale(GRIT-S)", Journal of Personality Assessment, 91(2), pp.166~174 (2009)
- Duckworth, A. L., "Grit: The power of passion and perseverance" (2016), Simon & Scribner
- Duckworth, A. L., "Grit-Why passion and resilliance are the secrets to success" (2017), Vermillion
- Ferrer, E., "Factorial invariance and the specification of second-order latent growth models", Methodology, 4(1), pp.22~36 (2008)
- Grimm, K. J., "Growth modeling structural equation and multilevel modeling approaches" (2017), The Guilford Press
- Goldstein, H., "Measuring changes in educational attainment over time : Problems and possibilities", Journal of Educational Measurement, 20, pp.369~377 (1983)
- Gonzalez, O., "A Psychometric Evaluation of the Short Grit Scale : A Closer Look at its Factor Structure and Scale Functioning", Eur J Psychol Assess, 36(4), pp.646~657 (2019)
- Han, K. T., "The impact of multidirectional item parameter drift on IRT scaling coefficients and proficiency estimates", Applied Measurement in Education, 25(2), pp.97~117 (2012)
- Han, K. T., "Potential impact of item parameter drift due to practice and curriculum change on item calibration in computerized adaptive testing" (2011), Graduate Management Admission Council
- Horn, J. L., "A practical and theoretical guide to measurement invariance in aging research", Experimental Aging Research, 18(3), pp.117~144 (1992)
- Jennrich, R., "Rotation to simple loadings using component loss functions : the oblique case", Psychometrika, 71, pp.173~191 (2006)
- Jöreskog, K. G., "LISREL 8: New statistical features" (2001), Scientific Software International
- Kim, E. S., "Measurement invariance testing with many groups : A comparison of five approaches", Structural Equating Modeling : A Multidisciplinary Journal, 24(4), pp.524~544 (2017)
- Li, C., "The short grit scale: a dimensionality analysis", pp.2015
- Little, T. D., "Longitudinal structural equation modeling" (2013), The Guilford Press
- Liu, Y., "Testing measurement invariance in longitudinal data with ordered-categorical measures", Psychological Methods, 22(3), pp.486~506 (2017)
- Lomazzi, V., "Using alignment optimization to test the measurement invariance of gender role Attitudes in 59 Countries", Method, Data, Analysis, 12(1), pp.77~104 (2018)
- Marsh, H. W., "What to do when scalar invariance fails : The extended alignment method for multi-group factor analysis comparison of latent means across many groups", Psychological Methods, 23(3), pp.524~545 (2018)
- Marsh, H. W., "Measurement invariance of big-five factors over the lifespan : ESEM tests of gender, age, plasticity, maturity and la dolce vita effects", Development Psychology, 49(6), pp.1194~1218 (2012)
- Meredith, W. M., "Measurement invariance, factor analysis and factorial invariance", Psychometrika, 58, pp.525~543 (1993)
- Millsap, R. E., "Methodology review : Statistical approaches for assessing measurement bias", Applied Psychological Measurement, 17, pp.297~334 (1993)
- Muenks, K. M., "The factor structure of grit in two age groups and its relations with self-regulation and engagement", Paper presented at the annual meeting of American Educational Research Association (2016)
- Muthén, B., "IRT studies of many groups: the alignment method", Frontiers in Psychology, 5, pp.1~7 (2014)
- Rutkowski, L., "Assessing the hypothesis of measurement invariance in the context of large-scale international surveys", Educational and Psychological Measurement, 74(1), pp.31~57 (2014)
- Seddig, D., "Approximate measurement invariance and longitudinal confirmatory factor analysis : concept and application with panel data", Survey Research Methods, 12(1), pp.29~41 (2018)
- Sirganci, G., "Measurement invariance testing with alignment method : Many groups comparison", International Journal of Assessment Tools in Education, 7(4), pp.657~673 (2020)
- Steinmetz, H., "Analyzing observed composite differences across groups: Is partial measurement invariance enough?", Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 9(1), pp.1~12 (2013)
- Takane, Y., "On the relationship between item response theory and factor analysis of discretized variables", Psychometrika, 52, pp.393~708 (1987)
- Vandenberg, R. J., "A review and synthesis of the measurement invariance literature : Suggestions, practices, and recommendations for organizational research", Organizational Research Methods, 3, pp.4~69 (2000)
- Invariance analyses in large-scale studies, "Van de Vijver, F.", OECD, ~, pp.OECD Education Working Paper, 201 (2019)
- Van Zyl, L. E., "Grit across nations: The cross‑national equivalence of the Grit‑O scale", Journal of Happiness Studies, pp.1~35 (2022)
- Wang, J., "Structural equation modeling: Applications using Mplus" (2020), Wiley
- Wells, C. S., "The effect of item parameter drift on examinee ability estimates", Applied Psychological Measurement, 26, pp.77~87 (2002)
- Widaman, K. F., "Factorial invariance within longitudinal structural equation models : Measuring the same construct across time", Child Development Perspectives, 4(1), pp.10~18 (2010)
- Widaman, K. F., "The science of prevention: Methodological advances from alcohol and substance abuse research" (1997), American Psychological Association
