본문 바로가기
KERD
논문KCI 등재

지식의 외현화에 대한 평가도구로서 개념도와 언어기반진단의 비교

The Comparative Study of Concept map and Language Based Diagnosis as Assessment Tools for Knowledge Representation

김민정|김혜원
한국교육공학회 (Korean Society Of Educational Technology)|2013.03|교육공학연구 (Journal of Educational Technology)|제29권 제1호|pp. 79-102

1

조회

0

다운로드

3

인용

0

참고문헌

키워드

개념도concept map자연언어knowledge representation지식의 외현화언어기반진단도구language based diagnosis tools
주제분류교육학

초록

개념도는 개념간의 관계를 나타내어 줌으로써 단편지식이 아닌 지식의 구조를 외현화하기에 좋은 도구로 여겨지므로 종종 개념 학습의 결과를 확인하는 평가도구로 활용되지만, 개념도 작성 자체가 어렵고 익숙지 않아 학습자들은 자신들이 알고 있는 지식을 충분히 표현하지 못하는 단점이 있다. 이는 연구 및 학습현장에서 활용되는 개념도의 평가도구로서의 활용이 정당한가에 대한 의문점을 제기한다. 본 연구는 이러한 관점에 초점을 두고 개념도가 지식을 외현화하는 평가도구로서 적절한가를 진단하기 위하여 학습자들에게 같은 과제에 대하여 개념도와 자연언어(서술형응답)로 응답하도록 하고 그 결과를 비교해보았다. 25명의 대학생들이 본 연구를 위한 실험에 10주 동안 참가하였으며, 두 번에 걸쳐 개념도를 작성하고 같은 문제에 대해 자연언어로 응답을 하였다. 개념도는 개발된 루브릭을 바탕으로 평가되었으며 자연언어의 응답은 언어기반진단도구인 미토카(T-MITOCAR) 프로그램을 활용하여 두 가지 수치를 비교하였다. 그 결과 개념도로 자신의 이해를 외현화한 평가와 자연언어의 응답 간에는 매우 낮은 상관을 나타내었다. 이러한 결과는 개념도로 지식을 외현화 하는 것과 자연언어로 외현화 하는 것이 매우 다른 것임을 나타내는 것이다. 이런 결과가 나타난 이유를 알아보기 위해 인터뷰를 실시하였으며, 원인연쇄분석을 통한 결과에서는 학습자들이 자신의 지식을 외현화하기 위해 한 번의 변환과정을 거쳐야 하는 개념도 보다는 자연언어로 표현하는 것을 훨씬 선호하는 것으로 나타났다. 이는 지식의 외현화를 위해 개념도를 활용할 때 학습자들이 겪는 어려움에 대한 부분이 충분히 고려되어야 평가도구로서 의미를 가질 수 있음을 의미한다. 또한 개념도 작성 자체가 어렵거나 익숙지 않은 또 다른 하나의 과제로 인식된다는 선행연구의 결과들과 일치하는 것으로 평가도구로 개념도를 활용할 때 주의해야할 점을 시사한다.

Abstract

The purpose of this study is to investigate the validity of concept map as a assessment tool for knowledge representation and compare concept map and language based diagnosis. The study focuses on the differences between drawing concept map and using natural language when the students represent their knowledge and internal conceptual structure. For this purpose, this study included 25 undergraduate students. During 10 weeks learning activities, the students were asked to draw two concept maps and write two answers about learning and instruction theory and instructional design. The concept maps were rated with a rubric. The learner's descriptive answers were compared with the expert model. The similarities between the expert’s answers and the students’ answers were calculated by the T-MITOCAR program which is a language-based diagnosis tool. The result indicated that the correlations between concept map scores and the indices of T-MITOCAR were very low. This means the knowledge representation using concept map and writing with natural language is very different method. In the group interview for the causal chain analysis, learners answered difficulty and overburden to draw concept map because of lack of understanding about drawing process of concept map, and few opportunities to see well-drawn concept map examples. From now on, the development of language based diagnosis tools such as DEEP, SMD, T-MITOCAR, CmapTools, ACSMM, KU-Mapper, ALA-Mapper, ALA-Reader, KNOT and the researches for the validity verification of the tools are exploring. Because of the problems of graders' subjectivity, objectivity of measurement and the effectiveness of the time for scoring, this research suggested the succeeding research to develop and verify language based diagnosis tools of Korean version.

참고문헌 (40)

  1. 고옥란, "중학교 생물 개념 평가도구로서 개념도 활용의 가능성", 한국생물교육학회지, 29(1), pp.11~19 (2001)
  2. 권창미, "교수.학습 상황에서 개념도 활용의 효과: 메타분석", 사고개발, 4(1), pp.31~47 (2008), 대한사고개발학회
  3. 김동식, "CSCL에서 스캐폴딩의 유형이 공유 정신 모형에 미치는 영향", 교육공학연구, 22(1), pp.1~34 (2006), 한국교육공학회
  4. 김민정, "개념도 작성의 어려움에 대한 지원 방법의 고안과 효과검증", 교육공학연구, 25(4), pp.1~27 (2009), 한국교육공학회
  5. 박인우, "개념학습을 위한 개념도의 문제점과 개선 방안 탐색", 교육공학연구, 22(3), pp.117~137 (2006), 한국교육공학회
  6. 서수현, "쓰기 평가의 기준 설정에 관한 연구", 석사, 국어교육, pp.2004
  7. 소연희, "개념도 제시 유형이 개별", 소집단 학습활동, 자기결정성 및 경쟁정도에 따라 사회과 과제흥미와 과제수행에 미치는 효과, 2009, pp.23(2), 219~237[DOI]
  8. 이용숙, "교육에서의 질적연구" (1999), 교육과학사
  9. 조정일, "생물 개념 이해의 평가 도구로서 개념도의 타당도, 신뢰도 그리고 현실 적용 가능성에 대한 연구", 한국과학교육학회지, 22(2), pp.398~409 (2002), 한국과학교육학회
  10. Expert science teaching educational evaluation model instruments. U. S. Department of Education, "Burry-Stock, J. A.", ~, pp.Grant No. R117 Q00047 (1995)
  11. Camp, R., "Assessing writing skill" (1987), College Entrance Examination Board
  12. Clariana, R. B., "A comparison of pair-wise, list-wise, and clustering approaches for eliciting structural knowledge in information systems courses", International Journal of Instructional Media, 36, pp.287~302 (2009)
  13. Clariana, R., "Deriving and measuring group knowledge structure from essays : The effects of anaphoric reference", Educational Technology Research and Development, 57, pp.725~737 (2009)
  14. Dummer, P., "Planning and assessing navigation in model-centered learning environments. Why learners often do not follow the path laid out for them, In Methods and technologies for learning", pp.327~334 (2005), WIT Press
  15. Hollenbeck, K., "Determining the exchangability of concept map and problem-solving essay scores", Assessment for Effective Intervention, 31(2), pp.51~68 (2006)
  16. Ifenthaler, D., "Relational, structural, and semantic analysis of graphical representations and concept maps", Paper presented at the Annual Convention of the AECT (2007)
  17. Ifenthaler, D., "Practical solutions for the diagnosis of progressing mental models, In Understanding models for learning and instruction. Essays in honor of Norbert M. Seel", pp.43~61 (2008), Springer
  18. Ifenthaler, D., "Relational structural and semantic analysis of graphical representations and concept maps", Educational Technology Research and Development, 58(1), pp.81~97 (2008)
  19. Ifenthaler, D., "The measurement of change: Learning-dependent progression of mental models", Technology, Instruction, Cognition, and Learning, 2(4), pp.317~336 (2005)
  20. Jonassen, D. H., "Structural knowledge: Techniques for representing, conveying, and acquiring structural knowledge" (1993), Erlbaum
  21. Johnson, T. E., "Comparative study of mental model research methods: Relationships among ACSMM, SMD, MITOCAR & DEEP methodologies", Paper presented at the Concept Maps: Theory, Methodology, Technology Proc. of the Second Int. Conference on Concept Mapping (2006)
  22. Kim, H., "An investigation of the effects of model-centered instruction in individual and collaborative contexts: The case of acquiring instructional design expertise", 박사, pp.2008
  23. Kim, M. K., "Cross-validation study of methods and technologies to assess mental models in a complex problem solving situation", Computers in Human Behavior, 28, pp.703~717 (2012)
  24. Kirschner, P. A., "Cognitive load theory", Learning and Instruction, 12, pp.1~10 (2002)
  25. McClure, J. R., "Concept map assessment of classroom learning : Reliability, validity, and logistical practicality", Journal of Research in Science Teaching, 36(4), pp.475~492 (1999)
  26. Miller, M. D., "Validation methods for direct writing assessment", Applied Measurement in Education, 3(3), pp.285~296 (1990)
  27. Narayanan, V. K., "Causal mapping: An historical overview, In Causal mapping for research in information technology", pp.1~19 (2005), Idea Group Inc
  28. Novak, J. D., "Learning, creating and using knowledge: Concept maps a facilitative tools in schools and corporations" (1998), Erlbaum
  29. The theory underlying concept maps and how to construct them, "Novak, J. D.", IHMC, ~, pp.Technical Report IHMC CmapTools 2006-01 (2006)
  30. Novak, J. D., "Learning how to learn" (1984), Cambridge Press
  31. O’Connor, D. L., "Measuring team cognition: Concept mapping elicitation as a means of constructing team shared mental models in an applied setting, In Concept maps: Theory, methodology, technology", Proceedings of the first international conference on concept mapping, 1, pp.487~493 (2004), Public University of Navarra
  32. Pirnay-Dummer, P., "Highly integrated model assessment technology and tools", ETR&D, 58(1), pp.3~18 (2010)
  33. Pirnay-Dummer, P., "Model inspection trace of concepts and relations: A heuristic approach to language-oriented model assessment", Paper presented at the Annual meeting of AERA (2007)
  34. Modeling learning trajectories with epistemic network analysis: A simulation-based investigation of a novel analytic method for epistemic games, "Rupp, A. A.", ~ (2010)
  35. Schvaneveldt, R. W., "Pathfinder associative networks: studies in knowledge organization" (1990), Ablex Publishing Corp
  36. Schvaneveldt, R., "Network structures in proximity data, In The psychology of learning and motivation: Advances in research and theory", pp.249~284 (1989), Academic Press
  37. Seel, N. M., "Epistemology, situated cognition, and mental models: Like a bridge over troubled water", Instructional Science, 29(4-5), pp.403~427 (2001)
  38. The DEEP methodology for assessing learning in complex domains, "Spector, J.", Syracuse University, ~ (2004)
  39. Taricani, E. M., "A technique for automatically scoring open-ended concept maps", Educational Technology Research & Development, 54, pp.65~62 (2006)
  40. Wasserman, S., "Social network analysis: methods and applications" (1994), Cambridge University Press

관련 논문AI추천

개념도 작성의 어려움에 대한 지원 방법의 고안과 효과검증김민정, 김혜원한국교육공학회 · 교육공학연구2009 · 제25권 제4호개념학습을 위한 개념도의 문제점과 개선 방안 탐색박인우한국교육공학회 · 교육공학연구2006 · 제22권 제3호개념도를 활용한 생성적 학습 및 자기 조절 학습 스킬 수준이 지식 습득에 미치는 효과임규연한국교육공학회 · 교육공학연구2009 · 제25권 제2호언어기반진단도구를 활용한 모형중심 교수방법의 효과 탐색김혜원한국교육정보미디어학회 · 교육정보미디어연구2013 · 제19권 제2호지리과 수업에서 개념도의 활용과 개념학습에 대한 평가이병철한국지리환경교육학회 · 한국지리환경교육학회지2003 · 제11권 제3호협력적 개념도 구성이 인지적 기능의 획득에 미치는 효과김광수대한사고개발학회 · 사고개발2011 · 제7권 제1호

이 간행물의 다른 논문 (6건)

웹 기반 토론과 SNS 기반 토론에서 사회적 실재감, 몰입, 만족도 및 자기평가의 차이장은정, 장혜정pp. 1-25교사들의 디지털교과서 수용 방해요인에 관한 질적 탐색변호승, 송연옥pp. 27-53스마트패드용 전자책의 그림분할 제시와 내비게이션 구조가 인지부하에 미치는 영향류지헌pp. 55-77경영수업에서 문제중심학습을 적용한 사례연구류수영pp. 103-131초등학교 교사를 위한 교수체제설계 모형(ETISD)의 교사 인식 및 학습자 만족도에 관한 연구한신혜, 임철일, 최소영pp. 133-160
원문 보기