본문 바로가기
KERD
논문KCI 등재

전문가의 형태소 분류를 활용한 과학 논증 자동 채점

Automated Scoring of Scientific Argumentation Using Expert Morpheme Classification Approaches

유선아|이만형
한국과학교육학회 (The Korean Association for Science Education)|2020.06|한국과학교육학회지 (Journal of the Korean Association for Science Education)|제40권 제3호|pp. 321-336|DOI https://doi.org/10.14697/jkase.2020.40.3.321

0

조회

0

다운로드

10

인용

0

참고문헌

키워드

기계 학습자동 채점automated scoringmachine learningscientific languagescientific argumentation전문가 시스템과학적 논증과학적 용어experts system
주제분류교육학

초록

본 연구는 실제 교실에서 이루어진 학생의 과학 논증과정을 기계 학습을 활용한 자동 채점에 적용함으로써, 논증 자동 채점의 가능성및 개선 방향을 탐색한다. 분자 구조에 대한 고등학생의 과학 논증 수업 중 발생한 2,605개의 모든 발화를 대상으로 연구를 진행하였다. 지도 학습을 위해 5가지의 논증 요소로 발화를 분류하였고, 분류된 발화를 대상으로 텍스트 전처리를 수행하였다. 전처리된 학생 발화를 활용하여 서포트 벡터 머신, 의사결정나무, 랜덤 포레스트, 인공신경 망의 기계 학습 방법으로 자동 채점 모델을 구성하였다. 불용어 처리가 되지 않은 학생 발화를 활용한 자동 채점의 결과 랜덤 포레스트의 정확도는 65.96%, kappa는 0.5298의 유미한 결과를 얻었다. 불용어 처리를 수행한 학생 발화를 활용한 새로운 채점 모델의 결과 채점의 정확도가 크게 변화하지 않음에도 논증 발화 중 과학 용어 및 논증 요소의 담화표지가 채점 모델의 분류 기준이 되는 결과를 얻었다. 또한 인간 전문가의 논증 채점 과정을 분석하여 얻어진 전문가 형태 소를 자동 채점 모델에 생성 규칙 알고리즘으로 적용하였다. 그 결과 의사결정나무에서 반박에 대한 재현율(recall)이 21.74% 증가하였다. 이에 본 연구 결과는 과학 교육 연구에서 기계 학습 및 논증에 대한 자동 채점의 활용 가능성과 연구 방향성을 제안하였다.

Abstract

We explore automated scoring models of scientific argumentation. We consider how a new analytical approach using a machine learning technique may enhance the understanding of spoken argumentation in the classroom. We sampled 2,605 utterances that occurred during a high school student’s science class on molecular structure and classified the utterances into five argumentative elements. Next, we performed Text Preprocessing for the classified utterances. As machine learning techniques, we applied support vector machines, decision tree, random forest, and artificial neural network. For enhancing the identification of rebuttal elements, we used a heuristic feature-engineering method that applies experts’ classification of morphemes of scientific argumentation.

참고문헌 (62)

  1. Ah, H. Y., "A Study of Counter-Arguments as Observed in Debate of High School Students", 석사, pp.2018
  2. Baek, Y. K., "The Educational Potentials of Expert Systems", Journal of Educational Technology, 5(1), pp.79~91 (1989)
  3. Beggrow, E. P., "Assessing scientific practices using machine-learning methods : How closely do they match clinical interview performance?", Journal of Science education and Technology, 23(1), pp.160~182 (2014)
  4. Breiman, L., "Random forests", Machine learning, 45(1), pp.5~32 (2001)
  5. Bridgeman, B., "Comparison of human and machine scoring of essays : Differences by gender, ethnicity, and country", Applied Measurement in Education, 25(1), pp.27~40 (2012)
  6. Buchanan, B. G., "The stanford heuristic programming project : Goals and activities", AI Magazine, 1(1), pp.25~30 (1980)
  7. Cortes, C., "Support-vector networks", Machine learning, 20(3), pp.273~297 (1995)
  8. 조혜숙, "중학교 과학수업에 적용한 글쓰기를 활용한 논의-기반 모델링 전략의 효과", 한국과학교육학회지, 34(6), pp.583~592 (2014), 한국과학교육학회[DOI]
  9. Driver, R., "Establishing the norms of scientific argumentation in classrooms", Science education, 84(3), pp.287~312 (2000)
  10. Duschl, R., "Science education in three-part harmony : Balancing conceptual, epistemic, and social learning goals", Review of research in education, 32(1), pp.268~291 (2008)
  11. Engin, G., "Rule-based Expert Systems for Supporting University Students", Procedia Computer Science, 31, pp.22~31 (2014)
  12. Erduran, S., "TAPping into argumentation : Developments in the application of Toulmin’s argument pattern for studying science discourse", Science education, 88(6), pp.915~933 (2004)
  13. Fernández-Delgado, M., "Do we need hundreds of classifiers to solve real world classification problems?", The journal of machine learning research, 15(1), pp.3133~3181 (2014)
  14. Giarratano, J. C., "Expert systems : Principles and programming" (1998), PWS
  15. 하민수, "영어기반 컴퓨터자동채점모델과 기계번역을 활용한 서술형 한국어 응답 채점 - 자연선택개념평가 사례 -", 한국과학교육학회지, 36(3), pp.389~397 (2016), 한국과학교육학회[DOI]
  16. 하민수, "학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례", 현장과학교육, 13(3), pp.271~282 (2019), 한국현장과학교육학회[DOI]
  17. Jiménez‐Aleixandre, M. P., ""Doing the lesson"or"doing science" : Argument in high school genetics", Science Education, 84(6), pp.757~792 (2000)
  18. Jun, C. -H., "Data mining techniques" (2015), Hannarea Publishing Co
  19. 강남화, "논변, 논의 그리고 논증: 개념의 명료화를 위한 문헌조사 연구", 한국과학교육학회지, 33(6), pp.1119~1138 (2013), 한국과학교육학회
  20. 남정희, "논의과정을 강조한 교수·학습 전략이 중학생들의 인지발달, 과학개념 이해, 과학관련 태도 및 논의과정에 미치는 영향", 한국과학교육학회지, 26(3), pp.450~461 (2006), 한국과학교육학회
  21. Kelly, G. J., "Students’ reasoning about electricity : Combining performance assessments with argumentation analysis", International journal of science education, 20(7), pp.849~871 (1998)
  22. Kevin P. Murphy, "Machine Learning : A Probabilistic Perspective" (2012), The MIT Press
  23. "A Study on the Development and Introduction of an Automated Scoring Program(RRI2006-6)" (2006)[URL]
  24. 길호현, "텍스트마이닝을 위한 한국어 불용어 목록 연구", 우리말글, 78, pp.1~25 (2018), 우리말글학회[DOI]
  25. 김미숙, "과학적 논의 과정을 시각화한 과정중심평가에서의 과학적 개념 이해 발달", 한국과학교육학회지, 39(5), pp.637~654 (2019), 한국과학교육학회[DOI]
  26. Kim, S. J., "A Study on the Extraction and Validation of Automatic Argumentative Writing Scoring Feature Using Text Mining", 석사, pp.2019
  27. KOFAC(Korea Foundation for the Advancement of Science & Creativity), "Scientific Literacy for All Koreans, Korean Science Education Standards for the Next Generation" (2019), KOFAC
  28. 권지숙, "실험 설계에서 나타난 소집단 논변활동 탐색: 활동에 대한 인식적 목표와 인식적 이해를 중심으로", 한국과학교육학회지, 36(1), pp.45~61 (2016), 한국과학교육학회[DOI]
  29. Lantz, B., "Machine learning with R" (2013), Packt Publishing Ltd
  30. Landis, J. R., "The Measurement of Observer Agreement for Categorical Data", Biometrics, 33(1), pp.159~174 (1977)
  31. 이동주, "꼬꼬마 : 관계형 데이터베이스를 활용한 세종 말뭉치 활용 도구", 정보과학회 컴퓨팅의 실제 논문지, 16(11), pp.1046~1050 (2010), 한국정보과학회
  32. 이경건, "머신 러닝을 활용한 과학 논변 구성 요소 코딩 자동화 가능성 탐색 연구", 한국과학교육학회지, 38(2), pp.219~234 (2018), 한국과학교육학회[DOI]
  33. 이현준, "자연언어처리를 활용한 텍스트 연구 분야의 비교를 통한 자동채점 변인 탐색", 작문연구, (41), pp.255~287 (2019), 한국작문학회[DOI]
  34. Lee, H. -S., "Automated text scoring and real‐time adjustable feedback : Supporting revision of scientific arguments involving uncertainty", Science Education, 103(3), pp.590~622 (2019)
  35. 이선우, "고등학교 논의기반 탐구 과학수업에서 학생 평가활동이 반성적 사고에 미치는 영향", 한국과학교육학회지, 36(2), pp.347~360 (2016), 한국과학교육학회[DOI]
  36. 이선우, "고등학교 논의기반 탐구 과학수업에서 학생 평가활동이 주장과 증거 형성에 미치는 영향", 대한화학회지, 62(3), pp.203~213 (2018), 대한화학회[DOI]
  37. Linn, M. C., "Computer-guided inquiry to improve science learning", Science, 344(6180), pp.155~156 (2014)
  38. Liu, O. L., "Validation of automated scoring of science assessments", Journal of Research in Science Teaching, 53(2), pp.215~233 (2016)
  39. Mao, L., "Validation of automated scoring for a formative assessment that employs scientific argumentation", Educational Assessment, 23(2), pp.121~138 (2018)
  40. Martin, T., "Learning analytics and computational techniques for detecting and evaluating patterns in learning : An introduction to the special issue", Journal of the Learning Sciences, 22(4), pp.511~520 (2013)
  41. McNeill, K. L., "Supporting students’ construction of scientific explanations by fading scaffolds in instructional materials", The Journal of the Learning Sciences, 15(2), pp.153~191 (2006)
  42. McNeill, K. L., "Thinking with data: The proceedings of 33rd Carnegie symposium on cognition" (2007), Erlbaum
  43. Negnevitsky, M., "Artificial Intelligence : A Guide to Intelligent Systems" (2005), Addison-Wesley
  44. Nehm, R. H., "Transforming biology assessment with machine learning : automated scoring of written evolutionary explanations", Journal of Science Education and Technology, 21(1), pp.183~196 (2012)
  45. Ong, N., "Ontology-based argument mining and automatic essay scoring", Proceedings of the First Workshop on Argumentation Mining, pp.24~28 (2014)
  46. Osborne, J., "Enhancing the quality of argumentation in school science", Journal of research in science teaching, 41(10), pp.994~1020 (2004)
  47. Park, C., "R data mining" (2015), Kyowoo
  48. Park, E. L., "KoNLPy: Korean natural language processing in Python", Proceedings of the 26th Annual Conference on Human & Cognitive Language Technology, pp.133~136 (2014)
  49. 박지영, "논변 활동 중심 과학 수업에서 교사의 반응적 교수 실행 탐색 -논변의 구조적⋅대화적 측면을 중심으로-", 한국과학교육학회지, 38(1), pp.69~85 (2018), 한국과학교육학회[DOI]
  50. "Package ‘nnet’. R package version, 7.3-14" (2020)[URL]
  51. Russell, S., "Artificial intelligence : A modern approach" (2016), Pearson
  52. Sampson, V., "Assessment of the ways students generate arguments in science education : Current perspectives and recommendations for future directions", Science education, 92(3), pp.447~472 (2008)
  53. Shen, L., "A Study on Functions of Korean Discourse Markers", 박사, pp.2019
  54. 신호심, "원운동 학습 상황에서 Toulmin의 논의구조(TAP)와 다이어그램을 이용한 대화적 논의과정 분석틀 개발", 한국과학교육학회지, 32(5), pp.1007~1026 (2012), 한국과학교육학회
  55. Simon, S., "Learning to teach argumentation: Research and development in the science classroom", International journal of science education, 28(2-3), pp.235~260 (2006)
  56. 송진웅, "미래세대를 위한 ‘과학교육표준’의 주요 내용과 특징", 한국과학교육학회지, 39(3), pp.465~478 (2019), 한국과학교육학회[DOI]
  57. 송미영, "대규모 평가 서답형 문항 채점을 위한 문장 수준 자동채점 프로그램의 정확성 분석", 교육과정평가연구, 19(1), pp.255~274 (2016), 한국교육과정평가원
  58. Toulmin, S., "The uses of argument" (1958), Cambridge University Press
  59. 양일호, "과학적 논증과정 평가를 위한 루브릭 개발", 한국과학교육학회지, 29(2), pp.203~220 (2009), 한국과학교육학회
  60. 유진은, "랜덤 포레스트: 의사결정나무의 대안으로서의 데이터 마이닝 기법", 교육평가연구, 28(2), pp.427~448 (2015), 한국교육평가학회
  61. 유진은, "기계학습: 대용량", 패널자료와 학습분석학 자료 분석으로의 활용, 2019, pp.35(2), 313~338[DOI]
  62. Zohar, A., "Fostering students’ knowledge and argumentation skills through dilemmas in human genetics", Journal of Research in Science Teaching : The Official Journal of the National Association for Research in Science Teaching, 39(1), pp.35~62 (2002)

관련 논문AI추천

기계 학습을 활용한 논증 수준 자동 채점 및 논증 패턴 분석유선아, 이만형한국과학교육학회 · 한국과학교육학회지2021 · 제41권 제3호머신 러닝을 활용한 과학 논변 구성 요소 코딩 자동화 가능성 탐색 연구김희백, 이경건, 하희수, 홍훈기한국과학교육학회 · 한국과학교육학회지2018 · 제38권 제2호과학교육 분야 자연어 처리 기법의 연구동향 분석유선아, 전철홍한국과학교육학회 · 한국과학교육학회지2024 · 제44권 제1호랜덤 포레스트 알고리즘을 활용한 수학 서술형 자동 채점김화경, 송민호, 정인우, 최인용한국수학교육학회 · 수학교육2024 · 제63권 제2호랜덤포레스트 알고리듬을 활용한 한국어 에세이 자동채점 모델 개발 연구박종임, 최숙기뇌·AI기반교육연구소 · Brain, Digital, & Learning2023 · 제13권 제2호영어기반 컴퓨터자동채점모델과 기계번역을 활용한 서술형 한국어 응답 채점 - 자연선택개념평가 사례 -하민수한국과학교육학회 · 한국과학교육학회지2016 · 제36권 제3호

이 간행물의 다른 논문 (7건)

환경 문제의 통합적 이해를 위한 국내외 연구 동향 분석 -탄소 순환 주제의 과학 교육을 중심으로-이현동, 이효녕, 전재돈, 박병열pp. 237-2512015 개정 과학과 교육과정에 기초한 예비 물리교사를 위한 현대물리 개념 진단지 개발 및 타당화 연구김완선, 김성원pp. 253-269과학적 논의를 활용한 과정중심평가에서의 교사 피드백 유형 사례 연구김미숙, 유선아pp. 271-289고등학교 통합과학 수행평가 사례를 통해 탐색한 교사의 수행평가 실천 특성과 PCK 사이의 관련성김민지, 강남화pp. 291-305탐구 수업 설계 강좌에서 예비 중등 과학 교사의 위치짓기와 인식적 이해 탐색김희백, 하희수, 강은희pp. 307-320
원문 보기