본문 바로가기
KERD
논문KCI 등재

인지진단이론을 적용한 디지털 리터러시 검사 분석 방안 탐색

An Exploratory Study on the Analysis of the Digital Literacy Test Based on the Cognitive Diagnostic Theory

박세진|이현숙|김한성
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2019.06|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제25권 제2호|pp. 373-402|DOI http://dx.doi.org/10.15833/KAFEIAM.25.2.373

0

조회

0

다운로드

6

인용

0

참고문헌

키워드

디지털 리터러시문항반응이론item response theorydigital literacyDINO고전검사이론classical test theory인지진단이론DINO 모형cognitive diagnostic theory
주제분류교육학

초록

본 연구의 목적은 디지털 리터러시 검사와 같이 학생들의 역량이나 소양을 측정하는 검사를 분석하기 위한 측정이론으로서 인지진단이론을 소개하고, 이를 적용하여 분석함으로써 얻을 수 있는 시사점을 탐색하는 것이다. 이를 위해 본 연구에서는 2018 국가수준 디지털 리터러시 검사 중학생용 검사 자료에 전통적인 측정이론인 고전검사이론과 문항반응이론과 더불어 인지진단이론을 적용하여 분석한 후 각 측정이론별 특징 및 장단점을 살펴보고, 나아가 학생들에게 더 나은 진단적 정보와 환류를 제공하기 위해 측정이론들이 어떻게 상호 보완될 수 있는지 탐색하였다. 디지털 리터러시 검사는 문항에서 측정하고자 하는 여러 개의 인지요소 중 하나만 숙달하더라도 피험자가 정답을 할 수 있다는 보상적 가정에 기초하고 있으므로, 본 연구에서는 보상성 가정에 기초한 다양한 인지진단모형 중 가장 간명하면서도 교사와 학생에게 의미 있는 정보를 제공하는 DINO 모형을 적용하여 분석을 수행하였다. 먼저, 고전검사이론과 문항반응이론을 적용하여 난이도와 변별도, 신뢰도 등의 정보를 산출하고, 이를 DINO 모형에서 산출되는 분석 결과와 비교하였다. 또한, 인지진단모형에 기초하여 학생과 교사에게 제공할 수 있는 진단 정보의 예시를 제시하였으며, 인지진단모형의 교육적 활용도를 제고하기 위해 검사 개발 단계에서 인지진단이론을 적용하기 위한 절차를 제안하였다.

Abstract

The purpose of this study is to explore the feasibility of applying cognitive diagnosis theory to a large-scale digital literacy test in order to provide a fine-grained diagnostic information about examinees’ performances. To do this, a nation-level digital literacy test for middle school students were analyzed under three psychometric theories: the classical test theory(CTT), item response theory(IRT) and cognitive diagnosis theory(CDT). Then, we examined the advantages and disadvantages of each measurement theory, illustrating how measurement theories can be complemented each other to provide better diagnostic information and feedback to students. Among various statistical models of the CDT, this study employed the DINO model, which is built on the compensatory assumption of the latent responses and the stochastic process using the guessing and slipping parameters for each item. Item and test statistics such as difficulty, discrimination, and reliability were calculated by applying the CTT and IRT, and they were compared with the analysis results produced by the DINO model. The mastery state of each examinee as well as the most frequently observed patterns of mastery state of the entire population of the examinees were reported. In addition, we discussed the implications of applying cognitive diagnostic models in educational test, highlighting diagnostic features of the cognitive diagnostic models. Lastly, we proposed the need for a general procedure of developing CDT-based assessments.

참고문헌 (46)

  1. "2015", ~
  2. 국가수준 초․중등학생 ICT 리터러시 수준 평가 연구, "김경성", 한국교육학술정보원, ~, pp.한국교육학술정보원 연구보고 KR 2009-15 (2009)
  3. 디지털 리터러시의 교육과정 적용 방안 연구, "김수환", 한국교육학술정보원, ~, pp.한국교육학술정보원 연구보고 KR 2017-4 (2017)
  4. 김종민, "다층모형을 활용한 초·중학생 ICT 리터러시 수준 영향요인의 공통점과 차이점 분석", 교육정보미디어연구, 24(2), pp.415~440 (2018), 한국교육정보미디어학회[DOI]
  5. 초․중학생 ICT 리터러시 수준 심층분석 : 2007-2016, "김종민", 한국교육학술정보원, ~, pp.KR 2017-6 (2017)
  6. 김한성, "인지진단모형을 활용한 초등학생의 ICT 리터러시 숙달 수준과 패턴 분석", 교육공학연구, 34(3), pp.525~554 (2018), 한국교육공학회[DOI]
  7. 인지진단모형을 적용한 학업성취 프로파일 분석 및 결과 보고 방안, "김희경", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2012-7 (2012)
  8. 남창우, "초·중학생의 컴퓨터 활용 및 정보(컴퓨터) 교육 경험이 ICT 리터러시 수준에 미치는 영향", 한국콘텐츠학회 논문지, 16(10), pp.18~32 (2016), 한국콘텐츠학회[DOI]
  9. 박윤수, "인지진단모형의 다층 분석을 적용한 국가수준 학업성취도 평가 결과 분석: 지역 간 인지요소 숙달 차이를 중심으로", 교육평가연구, 25(2), pp.193~212 (2012), 한국교육평가학회
  10. 박지현, "체코, 호주, 한국의 컴퓨터·정보 소양에 영향을 미치는 학생 및 학교 변인 간 구조적 관계 분석", 교과교육학연구, 20(6), pp.437~446 (2016), 교과교육연구소[DOI]
  11. 수행형 ICT 리터러시 검사도구 개발연구, "백순근", 한국교육학술정보원, ~, pp.한국교육학술정보원 연구보고 KR 2009-9 (2009)
  12. 성태제, "현대교육평가" (2014), 학지사
  13. 성태제, "인지진단모형에 의한 중1 수학 '수와 연산'의 형성평가 도구 개발과 분석", 교육평가연구, 31(1), pp.29~53 (2018), 한국교육평가학회[DOI]
  14. 2018년 국가수준 초․중학생 디지털 리터러시 수준 측정 연구, "이현숙", 한국교육학술정보원, ~, pp.KR 2019-1 (2019)
  15. 2016 국가수준 초․중등학생 ICT 리터러시 수준 측정 연구, "채경화", 한국교육학술정보원, ~, pp.한국교육학술정보원 연구보고 KR 2016-8 (2016)
  16. 최숙영, "제 4차 산업혁명 시대의 디지털 역량에 관한 고찰", 컴퓨터교육학회 논문지, 21(5), pp.25~35 (2018), 한국컴퓨터교육학회[DOI]
  17. Bawden, D., "Information and digital literacies : a review of concepts", Journal of Documentation, 57(2), pp.218~259 (2001)
  18. Beniger, J., "The Control revolution: technological and economic origins of the information society" (2009), Harvard University Press
  19. Developing computational thinking in compulsory Education - Implications for policy and practice, "Bocconi, S.", European Commission, Joint Research Centre, ~ (2016)
  20. Borsboom, D., "New developments in psychometrics", pp.321~330 (2003), Springer
  21. Browne, M. W., "Testing structural equation models", pp.136~162 (1993), SAGE
  22. Chiu, C. Y., "Statistical Refinement of the Q-matrix in Cognitive Diagnosis", Applied Psychological Measurement, 37(8), pp.598~618 (2013)
  23. Chen, J., "Relative and absolute fit evaluation in cognitive diagnosis modeling", Journal of Educational Measurement, 50(2), pp.123~140 (2013)
  24. Chen, J., "A Procedure for diagnostically modeling extant large-scale assessment data : The case of the programme for International Student Assessment in Reading", Psychology, 5, pp.1967~1978 (2014)
  25. Cui, Y., "Evaluating person fit for cognitive diagnostic assessment", Applied Psychological Measurement, 39(3), pp.223~238 (2015)
  26. DiBello, L. V., "Cognitively Diagnostic Assessment", pp.361~390 (1995), Lawrence Erlbaum Associates
  27. DeCarlo, L. T., "Recognizing uncertainty in the Q-matrix via a bayesian extension of the DINA model", Applied Psychological Measurement, 36(6), pp.447~468 (2012)
  28. de la Torre, J., "An empirically based method of Q-matrix validation for the DINA, odel : development and applications", Journal of educational measurement, 45(4), pp.343~362 (2008)
  29. DeMars, C., "Item response theory" (2010), Oxford University Press
  30. Embretson, S. E., "A cognitive design system approach to generating valid tests: Application to abstract reasoning", Psychological Method, 3, pp.380~396 (1998)
  31. Gilster, P., "Digital literacy" (1997), Wiley Computer Pub
  32. Hambleton, R. K., "Principles and applications of item response theory" (1985), Kluwer-Nijhoff Publishing Company
  33. Hou, L., "Differential item functioning assessment in cognitive diagnostic modeling : Application of the Wald test to investigate DIF in the DINA model", Journal of Educational Measurement, 51(1), pp.98~125 (2014)
  34. Huo, Y., "Estimating a cognitive diagnostic model for multiple strategies via the EM algorithm", Applied Psychological Measurement, 38, pp.464~485 (2014)
  35. "International computer and information literacy study: assessment framework" (2013)[URL]
  36. Junker, B. W., "Cognitive assessment models with few assumptions, and connections with nonparametric item response theory", Applied Psychological Measurement, 25, pp.258~272 (2001)
  37. 김성은, "인지진단모형을 적용한 잠재집단별 분수뺄셈검사 문제해결 전략의 차이 분석", 교육평가연구, 25(1), pp.49~68 (2012), 한국교육평가학회
  38. Lee, Y. S., "A cognitive diagnostic modeling of attribute mastery in Massachusetts, Minnesota, and the US national sample using the TIMSS 2007", international Journal of Testing, 11(2), pp.144~177 (2011)
  39. Li, X., "Assessment of differential item functioning under cognitive diagnosis models : The DINA model example", Journal of Educational Measurement, 52(1), pp.28~54 (2015)
  40. Lord, F. M., "Statistical theories of mental test scores" (1968), Addison-Wesley
  41. OECD, "Innovating education and educating for innovation: The power of digital technologies and skills" (2016), OECD Publishing, Paris
  42. "R: A language and environment for statistical computing. R Foundation for Statistical Computing" (2018)[URL]
  43. "ltm: Latent trait models under IRT. R package version 1.1-1" (2018)[URL]
  44. "CDM : Cognitive diagnosis modeling. R package version 7. 1-20" (2018)[URL]
  45. Rupp, A. A., "Diagnostic measurement : Theory, method, and applications" (2010), The Guilford Press
  46. "CTT: Classical test theory function. R package version 2.3.3" (2018)[URL]

이 간행물의 다른 논문 (6건)

실제적 문제해결력 향상을 위한 사례기반 심리스러닝조해리, 조영환, 김미화pp. 223-249강의평가에 대한 학생과 교수의 인식 비교윤린, 최윤희pp. 251-272동영상 강의 중 딴짓과 몰입의 세대 간 비교신나민, 김수연pp. 273-298디자인 사고 교육을 통한 성인학습자들의 창의적 사고 경험에 관한 연구배예나, 박혜진pp. 299-324체제적 학교혁신을 위한 진단도구 개발 및 타당화 연구이지연, 강지혜, 이은배pp. 325-346
원문 보기