본문 바로가기
KERD
논문KCI 등재

머신 러닝을 활용한 과학 논변 구성 요소 코딩 자동화 가능성 탐색 연구

Exploratory Research on Automating the Analysis of Scientific Argumentation Using Machine Learning

김희백|하희수|이경건|홍훈기
한국과학교육학회 (The Korean Association for Science Education)|2018.04|한국과학교육학회지 (Journal of the Korean Association for Science Education)|제38권 제2호|pp. 219-234|DOI http://dx.doi.org/10.14697/jkase.2018.38.2.219

0

조회

0

다운로드

22

인용

0

참고문헌

키워드

인공지능Artificial Intelligence자연어 처리Natural Language ProcessingMachine Learning자동화Automation머신 러닝과학 논변Scientific Argumentation
주제분류교육학

초록

본 연구에서는 국내 교육학 연구에서 거의 사용되지 않던 머신 러닝 기술을 과학 교육 연구에 접목하여, 학생들의 과학 논변 활동에서 나타나는 논변의 구성 요소를 분석하는 과정을 자동화할 수 있는 가능성을 탐색해보았다. 학습 데이터로는 Toulmin이 제안하였던 틀에 따라 학생들의 과학 논변 구성 요소를 코딩한 국내 선행 문헌 18건을 수합하고 정리하여 990개의 문장을 추출하였으며, 테스트 데이터 로는 실제 교실 환경에서 발화된 과학 논변 전사 데이터를 사용하여 483개의 문장을 추출하고 연구자들이 사전 코딩을 수행하였다. Python의 ‘KoNLPy’ 패키지와 ‘꼬꼬마(Kkma)’ 모듈을 사용한 한국어 자연어 처리(Natural Language Processing, NLP)를 통해 개별 논변을 구성하는 단어와 형태소를 분석하였으며, 연구자 2인과 국어교육 석사학위 소지자 1인의 검토 과정을 거쳤다. 총 1,473개의 문장에 대한 논변—형태소:품사 행렬을 만든 후에 다섯 가지 방법으로 머신 러닝을 수행하고 생성된 예측 모델과 연구자의 사전 코딩을 비교한 결과, 개별 문장의 형태소만을 고려하였을 때에는 k-최근접 이웃 알고리즘 (KNN)이 약 54%의 일치도(κ = 0.22)를 보임으로써 가장 우수하였 다. 직전 문장이 어떻게 코딩되어 있는지에 관한 정보가 주어졌을 때, k-최근접 이웃 알고리즘(KNN)이 약 55%의 일치도(κ = 0.24)를 보였으며 다른 머신 러닝 기법에서도 전반적으로 일치도가 상승하였 다. 더 나아가, 본 연구의 결과는 과학 논변 활동의 분석에서 개별 문장을 고려하는 단순한 방법이 어느 정도 유용함과 동시에, 담화의 맥락을 고려하는 것 또한 필요함을 데이터에 기반하여 보여주었다. 또한 머신 러닝을 통해 교실에서 한국어로 이루어진 과학 논변 활동을 분석하여 연구자와 교사들에게 유용하게 사용될 수 있는 가능성을 보여준다.

Abstract

In this study, we explored the possibility of automating the process of analyzing elements of scientific argument in the context of a Korean classroom. To gather training data, we collected 990 sentences from science education journals that illustrate the results of coding elements of argumentation according to Toulmin’s argumentation structure framework. We extracted 483 sentences as a test data set from the transcription of students’ discourse in scientific argumentation activities. The words and morphemes of each argument were analyzed using the Python ‘KoNLPy’ package and the ‘Kkma’ module for Korean Natural Language Processing. After constructing the ‘argument—morpheme:class’ matrix for 1,473 sentences, five machine learning techniques were applied to generate predictive models relating each sentences to the element of argument with which it corresponded. The accuracy of the predictive models was investigated by comparing them with the results of pre-coding by researchers and confirming the degree of agreement. The predictive model generated by the k-nearest neighbor algorithm (KNN) demonstrated the highest degree of agreement [54.04% (κ = 0.22)] when machine learning was performed with the consideration of morpheme of each sentence. The predictive model generated by the KNN exhibited higher agreement [55.07% (κ = 0.24)] when the coding results of the previous sentence were added to the prediction process. In addition, the results indicated importance of considering context of discourse by reflecting the codes of previous sentences to the analysis. The results have significance in that, it showed the possibility of automating the analysis of students’ argumentation activities in Korean language by applying machine learning.

참고문헌 (79)

  1. 백종호, "탐구 실험을 활용한 과학교사 논변 과제 개발과정에서 드러난 쟁점 및 수정 효과: 기체에 대한 샤를의 법칙 실험 사례", 한국과학교육학회지, 34(2), pp.79~92 (2014), 한국과학교육학회[DOI]
  2. Berland, L. K., "Framing for scientific argumentation", Journal of Research in Science Teaching, 49(1), pp.68~94 (2012)
  3. Booth, W. C., "The craft of research" (2008), The University of Chicago Press
  4. 조현아, "데이터 출처 유형에 따른 중학생의 소집단 논변활동의 인식론적 수준", 한국과학교육학회지, 33(2), pp.486~500 (2013), 한국과학교육학회
  5. 최승주, "음성 인식 오픈 API의 음성 인식 정확도 비교 분석", 예술인문사회 융합 멀티미디어 논문지, 7(8), pp.411~418 (2017), 사단법인 인문사회과학기술융합학회[DOI]
  6. Domingos, P., "The master algorithm : How the quest for ultimate learning machine will remake our world" (2015), Basic Books
  7. Driver, R., "Establishing the norms of scientific argumentation in classrooms", Science Education, 84(3), pp.287~312 (2000)
  8. Duschl, R., "Science education in three-part harmony : Balancing conceptual, epistemic, and social learning goals", Review of Research in Education, 32(1), pp.268~291 (2008)
  9. Erduran, S., "TAPing into argumentation : Developments in the application of Toulmin’s argument pattern for studying science discourse", Science Education, 88(6), pp.915~933 (2004)
  10. "neuralnet: Training of neural networks. R package version 1.33" (2016)[URL]
  11. Twitter sentiment classification using distant supervision, "Go, A.", ~, pp.CS224N Project Report (2009)
  12. 고인규, "빅데이터 분석 방법에 기반 한 실과 농업 단원의 핵심개념 연구", 학습자중심교과교육연구, 16(4), pp.431~450 (2016), 학습자중심교과교육학회
  13. Goodman, B. A., "Using dialogue features to predict trouble during collaborative learning", User Modeling and User-Adapted Interaction, 15(1), pp.85~134 (2005)
  14. 한혜진, "과학영재의 논증 활동에서 나타나는 반박 유형 분석", 한국과학교육학회지, 32(4), pp.717~728 (2012), 한국과학교육학회[DOI]
  15. 허희옥, "인공지능 시대의 인간 지능과 학습", 교육철학연구, 39(1), pp.101~132 (2017), 한국교육철학학회[DOI]
  16. Ivezić, Ž., "Statistics, data mining, and machine learning in astronomy : A practical Python guide for the analysis of survey data" (2014), Princeton University Press
  17. 장경현, "문어", 문어체·구어, 한국어 의미학, pp.2003, 13[DOI]
  18. "KoNLP: Korean NLP package. R package version 0.80.1" (2016)[URL]
  19. Jiménez-Aleixandre, M., ""Doing the lesson"or"doing science" : Argument in high school genetics", Science Education, 84(6), pp.757~792 (2000)
  20. Jung, C. Y., "Artificial intelligence : machine translation of Korean-to-English spoken language based on semantic patterns", The KIPS Transactionsty, 5(9), pp.2361~2368 (1998)
  21. Karatzoglou A., "kernlab-An S4 package for kernel methods in R", Journal of Statistical Software, 11(9), pp.1~20 (2004)
  22. Kim, I. -H., "The nature of context and its relations to language use", English Language Education, 26, pp.7~34 (2003)
  23. 김갑수, "초등학생의 인공지능 교육을 위한 교수 학습 모델 개발 및 적용", 정보교육학회논문지, 21(1), pp.137~147 (2017), 한국정보교육학회
  24. 권지숙, "실험 설계에서 나타난 소집단 논변활동 탐색: 활동에 대한 인식적 목표와 인식적 이해를 중심으로", 한국과학교육학회지, 36(1), pp.45~61 (2016), 한국과학교육학회[DOI]
  25. Lantz, B., "Machine learning with R" (2013), Packt Publishing Ltd
  26. Larrain, A., "Science teaching and argumentation : One-sided versus dialectical argumentation in Chilean middle-school science lessons", International Journal of Science Education, 36(6), pp.1017~1036 (2014)
  27. Lederman, N. G., "Students’ and teachers’ conceptions of the nature of science : A review of the research", Journal of Research in Science Teaching, 29, pp.331~359 (1992)
  28. 이동주, "꼬꼬마 : 관계형 데이터베이스를 활용한 세종 말뭉치 활용 도구", 정보과학회 컴퓨팅의 실제 논문지, 16(11), pp.1046~1050 (2010), 한국정보과학회
  29. 이은주, "변칙 사례에 대한 과학 영재 학생들의 반응에서 드러난 인식론적 프레이밍과 소집단 논변활동 탐색", 한국과학교육학회지, 35(3), pp.419~429 (2015), 한국과학교육학회[DOI]
  30. 이지영, "갈등 상황에서 구성된 중학생들의 소집단 논변활동 유형", 생물교육, 39(2), pp.235~247 (2011), 한국생물교육학회[DOI]
  31. Lee, J., "Machine learning bigdata education platform using apache spark", Proceedings of the Korea Software Congress 2017 (2017)
  32. 이정아, "과학수업담화의 새로운 독법: 교수학적 담화분석", 한국과학교육학회지, 28(8), pp.832~847 (2008), 한국과학교육학회
  33. Lee, J. -S., "Students’ interactions of reasoning and inductions in small group science discussion", The Journal of the Smeieccu, 26(1), pp.91~112 (2005)
  34. 이경현, "중학생들의 생물분류에 대한 소집단 논변활동의 이해 -리더의 역할을 중심으로-", 생물교육, 40(1), pp.71~86 (2012), 한국생물교육학회[DOI]
  35. 이수연, "텍스트마이닝 기반 토픽 분석을 통한 온라인 성차별성의 이해", 사이버커뮤니케이션학보, 33(3), pp.159~199 (2016), 사이버커뮤니케이션학회
  36. 이성진, "영어 회화 교육을 위한 예제 기반 대화 시스템", 정보과학회논문지 : 소프트웨어 및 응용, 37(2), pp.129~136 (2010), 한국정보과학회
  37. 이신영, "소집단 논변활동에 대한 협력적 성찰을 통한 중학생들의 소집단 규범과 논변활동 능력 발달 탐색", 한국과학교육학회지, 36(6), pp.895~910 (2016), 한국과학교육학회[DOI]
  38. 이선경, "소집단 토론에서 발생하는 학생들의 상호작용적 논증 유형 및 특징", 대한화학회지, 50(1), pp.79~88 (2006), 대한화학회
  39. 이영미, "탐구의 개방수준과 지식의 추상수준에 따른 학생들의 지식 구성과 과학적 논변활동에 대한 이해", 생물교육, 43(1), pp.50~69 (2015), 한국생물교육학회[DOI]
  40. 이영옥, "한국어와 영어간 언어구조의 차이에 따른 번역의 문제 인용문의 번역을 중심으로", 번역학연구, 3(1), pp.59~81 (2002), 한국번역학회
  41. 임동훈, "한국어의 문장 유형과 용법", 國語學, (60), pp.323~359 (2011), 국어학회[DOI]
  42. Lim, D., "Bigdata analysis using R" (2015), Freeacademy
  43. 임재근, "초등학교 영재 학생들의 탐구 활동에서 나타나는 논증 과정 평가 및 분석", 초등과학교육, 29(4), pp.441~450 (2010), 한국초등과학교육학회
  44. 임혜진, "과학 문제 해결 과정에서 나타나는 초등학생의 논증 특징", 초등과학교육, 31(1), pp.13~24 (2012), 한국초등과학교육학회
  45. Luckin, R., "Intelligence unleashed : An argument for AI in education" (2016), Pearson
  46. 맹승호, "논증 담화 분석 연구의 방법론적 고찰: 논증활동의 협력적 구성과 인식적 실행의 분석을 중심으로", 한국과학교육학회지, 33(4), pp.840~862 (2013), 한국과학교육학회
  47. "e1071: Misc functions of the department of statistics, probability theory group (formerly: E1071), TU Wien. R package version 1.6-8" (2017)[URL]
  48. From big data to argument analysis and automated extraction: A selective study of argument in the philosophy of animal psychology from the volumes of the hathi trust collection, "McAlister, S.", Digging into Data, ~ (2014)
  49. McNeill, K. L., "Teachers’ use of curriculum to support students in writing scientific arguments to explain phenomena", Science Education, 93(2), pp.233~268 (2009)
  50. Middle school students’ use of appropriate and inappropriate evidence in writing scientific explanations, "McNeill, K. L.", Thinking with Data, 233~265 (2007)
  51. "2015", ~
  52. Nielsen, J. A., "Dialectical features of students’ argumentation : A critical review of argumentation studies in science education", Research in Science Education, 43(1), pp.371~393 (2013)
  53. 오진아, "지구과학 MBL 수업의 과학 탐구와 논의적 의사소통에 관한 사례 연구", 한국지구과학회지, 29(2), pp.189~203 (2008), 한국지구과학회
  54. Ok, J. -S., "A study on the prospect of using speech recognition softwares in elementary English education", STEM Journal, 5(2), pp.65~82 (2004)
  55. Osborne, J., "Enhancing the quality of argumentation in school science", Journal of Research in Science Teaching, 41(10), pp.994~1020 (2004)
  56. 백성혜, "중학교 1학년 상태변화 실험수행과정에서 나타난 예비과학교사의 논증구조 및 이에 영향을 미치는 요인과 예비교사교육에 대한 인식 분석", 한국과학교육학회지, 34(3), pp.197~206 (2014), 한국과학교육학회[DOI]
  57. Pardo, A., "Learning analytics: From research to practice", pp.15~38 (2014), Springer
  58. Park, E. L., "KoNLPy: Korean natural language processing in Python", Proceedings of the 26th Annual Conference on Human & Cognitive Language Technology (2014)
  59. 박종향, "인공지능기술과 인공지능교사에 대한 인식 분석: 초·중·고등학생의 관점에서", 한국교원교육연구, 34(2), pp.169~192 (2017), 한국교원교육학회[DOI]
  60. 박수경, "지질구조에 대한 모델링기반 학습에서 나타나는 논증패턴과 정신모형 수준에 대한 분석", 한국과학교육학회지, 35(5), pp.919~929 (2015), 한국과학교육학회[DOI]
  61. "tree: Classification and regression trees. R package version 1.0-37" (2016)[URL]
  62. Rosé, C., "Analyzing collaborative learning processes automatically : Exploiting the advances of computational linguistics in computer-supported collaborative learning", Computer-Supported Collaborative Learning, 3, pp.237~271 (2008)
  63. Sampson, V., "Science teachers and scientific argumentation : Trends in views and practice", Journal of Research in Science Teaching, 49(9), pp.1122~1148 (2012)
  64. Sampson, V., "Assessment of the ways students generate arguments in science education : Current perspectives and recommendations for future directions", Science Education, 92(3), pp.449~472 (2008)
  65. Sampson, V., "Scientific argumentation in biology : 30 classroom activities" (2013), NSTA Press
  66. Scheuer, O., "Educational technologies for teaching argumentation skills", pp.71~124 (2012), Bentham Books
  67. 신호심, "원운동 학습 상황에서 Toulmin의 논의구조(TAP)와 다이어그램을 이용한 대화적 논의과정 분석틀 개발", 한국과학교육학회지, 32(5), pp.1007~1026 (2012), 한국과학교육학회
  68. 신세인, "고등학생들의 인공지능(AI)에 대한 개념인식과 정서 구조 탐색", 학습자중심교과교육연구, 17(21), pp.289~312 (2017), 학습자중심교과교육학회[DOI]
  69. Simon, S., "Learning to teach argumentation: Research and development in the science classroom", International Journal of Science Education, 28(2-3), pp.235~260 (2006)
  70. Sionti, M., "A framework for analyzing development of argumentation through classroom discussions", Educational technologies for teaching argumentation skills, pp.28~55 (2011)
  71. Soller, A., "Computational modeling and analysis of knowledge sharing in collaborative distance learning", User Modeling and User-Adapted Interaction, 14(4), pp.351~381 (2004)
  72. Toulmin, S., "The uses of argument" (1958), Cambridge University Press
  73. Venables, W. N., "Modern applied statistics with S" (2002), Springer
  74. 위수민, "지구과학 관련 사회적 문제(socio-scientific issue)와 관련된 논증적 글쓰기를 통해 알아본 예비교사들의 논증구조 발달 분석", 대한지구과학교육학회지, 7(1), pp.11~23 (2014), 대한지구과학교육학회
  75. 원해영, "한국어교육을 위한 구어체 종결어미 ‘-잖아(요)’ 연구", 한국언어문학, (79), pp.307~328 (2011), 한국언어문학회
  76. Williams, J. M., "The craft of argument" (2007), Pearson Education
  77. 유예림, "자동화된 텍스트 분석을 활용한 2015 개정 교육과정 정책에 대한 언론 보도의 쟁점 분석", 교육과정평가연구, 19(3), pp.127~156 (2016), 한국교육과정평가원
  78. Zhang, B. -T., "Deep learning" (2017), Hongrung Publishing Company
  79. 조명곤, "한국어 부사격 조사와 중국어 개사의 대조연구 - ‘에’와 ‘에서’를 중심으로 -", 언어학 연구, (40), pp.337~359 (2016), 한국중원언어학회[DOI]

관련 논문AI추천

전문가의 형태소 분류를 활용한 과학 논증 자동 채점유선아, 이만형한국과학교육학회 · 한국과학교육학회지2020 · 제40권 제3호기계 학습을 활용한 논증 수준 자동 채점 및 논증 패턴 분석유선아, 이만형한국과학교육학회 · 한국과학교육학회지2021 · 제41권 제3호과학교육 분야 자연어 처리 기법의 연구동향 분석유선아, 전철홍한국과학교육학회 · 한국과학교육학회지2024 · 제44권 제1호논증 담화 분석 연구의 방법론적 고찰: 논증활동의 협력적 구성과 인식적 실행의 분석을 중심으로김찬종, 맹승호, 박영신한국과학교육학회 · 한국과학교육학회지2013 · 제33권 제4호툴민의 논증 모형을 활용한 과학 교과서의 논증 구조 분석김동희, 김용진교육문제연구소 · 교육연구2015 · 제63권 중학생들의 인공지능 관련 사회-과학쟁점 토론에서 나타난 논증 특징과 인식남윤경, 조슬기한국공학교육학회 · 공학교육연구2024 · 제27권 제6호

이 간행물의 다른 논문 (14건)

Improving Science Teaching and Learning for New Teachers and Diverse Learners Using Participatory Action Research and Cogenerative DialogueSonya Nichole Martin, 박창미pp. 97-112TIMSS 2015에서 과학 성취도와 흥미에 영향을 주는 교육맥락변인 분석곽영순pp. 113-122왜 과학교사가 되려하는가? -우리나라 예비과학교사들의 교직 선택 동기 -김희경, 이봉우pp. 123-133과학관련 사회쟁점(SSI) 수업의 소집단 토론과 전체 학급 토론에서 나타나는 특징김민환, 노태희, 김성훈, 남혜인pp. 135-145교사학습공동체를 통한 STEAM 수업 사례 연구정경화, 신영준pp. 147-160
원문 보기