본문 바로가기
KERD
논문KCI 등재

기계 학습을 활용한 논증 수준 자동 채점 및 논증 패턴 분석

Automated Scoring of Argumentation Levels and Analysis of Argumentation Patterns Using Machine Learning

유선아|이만형
한국과학교육학회 (The Korean Association for Science Education)|2021.06|한국과학교육학회지 (Journal of the Korean Association for Science Education)|제41권 제3호|pp. 203-220

1

조회

0

다운로드

8

인용

0

참고문헌

키워드

기계 학습자동 채점automated scoringmachine learningscientific argumentation과학적 논증pattern analysis패턴 분석논증 패턴argumentation pattern
주제분류교육학

초록

이 연구는 과학적 논증 담화에 대한 자동 채점의 성능 개선 방향을탐색하였으며, 자동 채점 모델을 활용하여 논증 담화의 양상과 패턴을 분석하였다. 이를 위해 과학적 논증 수업에서 발생한 학생 발화를대상으로 논증 수준을 평가하는 자동 채점을 수행하였다. 이 자동채점의 데이터셋은 4가지 단위의 논증 피처와 논증 수준 평가틀로구성되었다. 특히, 자동 채점에 논증 패턴을 반영하기 위하여 논증클러스터와 n-gram을 활용하였다. 자동 채점 모델은 3가지의 지도학습 기법으로 구성되었으며, 그 결과 총 33개의 자동 채점 모델이구성되었다. 자동 채점의 결과, 최대 85.37%, 평균 77.59%의 채점정확도를 얻었다. 이 과정에서 논증 담화의 패턴이 자동 채점의 성능을 개선하는 주요한 피처임을 확인하였다. 또한, 의사결정 나무와 랜덤 포레스트의 모델을 통하여 과학적 논증 수준에 따른 논증의 양상과 패턴을 분석하였다. 이를 통하여 주장, 자료와 함께 정당화가 체계적으로 구성된 과학적 논증과 자료에 대한 활발한 상호작용이 이루어진 과학적 논증이 논증 수준의 발달을 이끈다는 점 등을 확인하였다. 이와 같은 자동 채점 모델의 해석은 논증 패턴을 분석하는 새로운연구 방법을 제언하는 것이다.

Abstract

We explored the performance improvement method of automated scoring for scientific argumentation. We analyzed the pattern of argumentation using automated scoring models. For this purpose, we assessedthe level of argumentation for student’s scientific discourses in classrooms. The dataset consists of fourunits of argumentation features and argumentation levels for episodes. We utilized argumentation clustersand n-gram to enhance automated scoring accuracy. We used the three supervised learning algorithmsresulting in 33 automatic scoring models. As a result of automated scoring, we got a good scoring accuracyof 77.59% on average and up to 85.37%. In this process, we found that argumentation cluster patternscould enhance automated scoring performance accuracy. Then, we analyzed argumentation patterns usingthe model of decision tree and random forest. Our results were consistent with the previous researchin which justification in coordination with claim and evidence determines scientific argumentation quality. Our research method suggests a novel approach for analyzing the quality of scientific argumentationin classrooms.

참고문헌 (39)

  1. Breiman, L., "Random forests", Machine learning, 45(1), pp.5~32 (2001)
  2. 최준, "한국어의 정형화된 표현 연구", 담화와 인지, 17(2), pp.163~190 (2010), 담화·인지언어학회[DOI]
  3. Clark, D. B., "Assessing dialogic argumentation in online environments to relate structure, grounds, and conceptual quality", Journal of Research in Science Teaching, 45(3), pp.293~321 (2008)
  4. Driver, R., "Establishing the norms of scientific argumentation in classrooms", Science education, 84(3), pp.287~312 (2000)
  5. Duschl, R., "Science education in three-part harmony : Balancing conceptual, epistemic, and social learning goals", Review of research in education, 32(1), pp.268~291 (2008)
  6. Erduran, S., "TAPping into argumentation : Developments in the application of Toulmin’s argument pattern for studying science discourse", Science education, 88(6), pp.915~933 (2004)
  7. Fauzi, M. A., "Automatic essay scoring system using N-gram and cosine similarity for gamification based E-learning", Proceedings of the International Conference on Advances in Image Processing, pp.151~155 (2017)
  8. Ford, M., "Disciplinary authority and accountability in scientific practice and learning", Science Education, 92(3), pp.404~423 (2008)
  9. González-Howard, M, "Variation in how teachers support critique in argumentation discussions", Paper presented at the annual meeting of the National Association for Research in Science Teaching(NARST) (2017)
  10. Grooms, J., "How concept familiarity and experience with scientific argumentation are related to the way groups participate in an episode of argumentation", Journal of Research in Science Teaching, 55(9), pp.1264~1286 (2018)
  11. 하민수, "학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례", 현장과학교육, 13(3), pp.271~282 (2019), 한국현장과학교육학회[DOI]
  12. Henderson, J. B., "Argumentation in Chemistry Education", pp.79~105 (2019), Royal Society of Chemistry
  13. Jeong, A. C., "The sequential analysis of group interaction and critical thinking in online", The American Journal of Distance Education, 17(1), pp.25~43 (2003)
  14. Kelly, G. J., "Students’ reasoning about electricity : Combining performance assessments with argumentation analysis", International journal of science education, 20(7), pp.849~871 (1998)
  15. "A Study on the Development and Introduction of an Automated Scoring Program(RRI 2006-6)" (2006)[URL]
  16. 길호현, "텍스트마이닝을 위한 한국어 불용어 목록 연구", 우리말글, 78, pp.1~25 (2018), 우리말글학회[DOI]
  17. 김미숙, "과학적 논의를 활용한 과정중심평가에서의 교사 피드백 유형 사례 연구", 한국과학교육학회지, 40(3), pp.271~289 (2020), 한국과학교육학회[DOI]
  18. 김승주, "논증적 글쓰기 과제의 자동 채점을 위한 N-gram 자질의 활용 가능성 탐색", 작문연구, (41), pp.37~62 (2019), 한국작문학회[DOI]
  19. 이경건, "머신 러닝을 활용한 과학 논변 구성 요소 코딩 자동화 가능성 탐색 연구", 한국과학교육학회지, 38(2), pp.219~234 (2018), 한국과학교육학회[DOI]
  20. 이만형, "전문가의 형태소 분류를 활용한 과학 논증 자동 채점", 한국과학교육학회지, 40(3), pp.321~336 (2020), 한국과학교육학회[DOI]
  21. Liu, O. L., "Validation of automated scoring of science assessments", Journal of Research in Science Teaching, 53(2), pp.215~233 (2016)
  22. 맹승호, "논증 담화 분석 연구의 방법론적 고찰: 논증활동의 협력적 구성과 인식적 실행의 분석을 중심으로", 한국과학교육학회지, 33(4), pp.840~862 (2013), 한국과학교육학회
  23. McNeill, K. L., "Thinking with Data", pp.233~265 (2007), Taylor & Francis
  24. 남정희, "논의를 강조한 탐구적 과학 글쓰기(Science Writing Heuristic)의 중학교 과학 수업에의 적용", 한국과학교육학회지, 28(8), pp.922~936 (2008), 한국과학교육학회
  25. Nielsen, J. A., "Dialectical features of students’ argumentation : A critical review of argumentation studies in science education", Research in Science Education, 43(1), pp.371~393 (2013)
  26. Osborne, J., "Enhancing the quality of argumentation in school science", Journal of research in science teaching, 41(10), pp.994~1020 (2004)
  27. Osborne, J. F., "The development and validation of a learning progression for argumentation in science", Journal of Research in Science Teaching, 53(6), pp.821~846 (2016)
  28. Park, C., "R data mining" (2015), Kyowoo
  29. Park, E. L., "KoNLPy: Korean natural language processing in Python", Proceedings of the 26th Annual Conference on Human & Cognitive Language Technology, pp.133~136 (2014)
  30. Ryu, S., "The influence of group dynamics on collaborative scientific argumentation", Eurasia Journal of Mathematics, Science and Technology Education, 11(3), pp.335~351 (2015)
  31. Sampson, V., "Assessment of the ways students generate arguments in science education : Current perspectives and recommendations for future directions", Science education, 92(3), pp.447~472 (2008)
  32. Sampson, V., "Perspectives on scientific argumentation", pp.235~264 (2012), Springer
  33. 신호심, "원운동 학습 상황에서 Toulmin의 논의구조(TAP)와 다이어그램을 이용한 대화적 논의과정 분석틀 개발", 한국과학교육학회지, 32(5), pp.1007~1026 (2012), 한국과학교육학회
  34. Toulmin, S., "The uses of argument" (1958), Cambridge University Press
  35. Tsoumakas, G., "Random k-labelsets: An ensemble method for multilabel classification", Proceedings of the 18th European Conference on Machine Learning, pp.406~417 (2007)
  36. 양일호, "과학적 논증과정 평가를 위한 루브릭 개발", 한국과학교육학회지, 29(2), pp.203~220 (2009), 한국과학교육학회
  37. Vygotsky, L. S., "Mind in society: The development of higher psychological processes" (1978), Harvard University Press
  38. Wachsmuth, H., "Using argument mining to assess the argumentation quality of essays", Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics, pp.1680~1691 (2016)
  39. Zohar, A., "Fostering students’ knowledge and argumentation skills through dilemmas in human genetics", Journal of Research in Science Teaching, 39(1), pp.35~62 (2002)

관련 논문AI추천

전문가의 형태소 분류를 활용한 과학 논증 자동 채점유선아, 이만형한국과학교육학회 · 한국과학교육학회지2020 · 제40권 제3호머신 러닝을 활용한 과학 논변 구성 요소 코딩 자동화 가능성 탐색 연구김희백, 이경건, 하희수, 홍훈기한국과학교육학회 · 한국과학교육학회지2018 · 제38권 제2호논증적 글쓰기 과제의 자동 채점을 위한 N-gram 자질의 활용 가능성 탐색김승주한국작문학회 · 작문연구2019 · 제41호논증 구조 기반 논증 평가 및 피드백에 관한 연구백명주, 하민수한국현장과학교육학회 · 현장과학교육2023 · 제17권 제3호과학교육 분야 자연어 처리 기법의 연구동향 분석유선아, 전철홍한국과학교육학회 · 한국과학교육학회지2024 · 제44권 제1호채점 자질 설계를 통한 지도 학습 기반 작문 자동 채점의 타당도 확보 방안 탐색김승주청람어문교육학회 · 청람어문교육2019 · 제69호

이 간행물의 다른 논문 (6건)

2015개정 과학과 선택과목 수업 및 평가에 대한 교사들의 인식 탐색이일, 곽영순pp. 183-192비생산적 논변에서 생산적 논변으로의 실행 변화 탐색-인식론적 자원과 맥락을 중심으로-김희백, 이정화pp. 193-202과학 학습에서 유발되는 과학상태호기심 및 과학상태불안 수준에 따른 학습효과김지나, 강지훈pp. 221-235변화의 주체로서 과학 교사의 행위주체성 탐색-COVID-19에 따른 원격 수업 실행 사례를 중심으로-이혜경, 김희백pp. 237-250고경력 초등 교사의 생애사를 통해 본 과학 수업의 변화홍지영, 오필석pp. 251-266
원문 보기