학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례
Assessment as a learning tool and utilization of artificial intelligence: WA3I project case
0
조회
0
다운로드
41
인용
0
참고문헌
키워드
초록
본 연구는 인공지능을 활용한 서술형 평가 문항 자동채점 프로그램 WA3I을 개발하였으며, 이 프로그램이 학습 지원 도구로서 활용되기 위한 방안에 대하여 논하였다. 먼저 컴퓨터를 활용한 서술형 평가 자동채점에 대한 기존 연구들을 정리하고, 본 연구에서 개발한 서술형 평가 자동채점 프로그램 WA3I의 개발 과정을 소개하였다. 본 연구에서는 31개의 서술형 평가 문항을 개발하고 이에 대한 학생의 응답을 수집하였으며, 이 중 컴퓨터와 전문가 채점간의 일치도가 높은 19개의 문항에 대한 자동채점 모델을 개발하였다. 이 자동채점 모델로 채점 가능한 유사 문항 11개를 더 개발하여 총 30개의 문항을 웹상에서 WA3I ver.1 으로 구현하였다. 효과적인 교수ㆍ 학습을 위해 본 연구에서 개발된 서술형 자동채점 프로그램 WA3I ver.1의 개선 과제 및 추후 연구 방향에 대해 논하였다. 이러한 내용은 현장과학교사들의 평가 계획 및 실행에 영향을 줄 수 있을 것으로 기대된다.
Abstract
This study developed WA3I, which is automated computer scoring system in open-ended assessment using artificial intelligent and discuss how to utilize WA3I as a learning-support tool. To do this, previous research dealing with automated computer scoring system has been reviewed and explained the development process of WA3I in Korea. We developed thirty on open-ended questions and collected the students’ responses. Among the 31 questions, nineteen questions showing the high agreement between computer and human scoring were selected and scoring model was developed. In additions to selected nineteen questions, eleven questions were added as the prototype of web-based WA3I ver.1. We discuss how it can be improved in order to facilitate the effective teaching and learning. This paper is expected to give an implication to the science teachers’ assessment plan and practice.
참고문헌 (30)
- 김성수, "의료기관의 빅데이터 활용방안에 대한 연구", 디지털융복합연구, 12(2), pp.397~407 (2014), 한국디지털정책학회[DOI]
- 박현주, "중학교 과학교사의 지필평가의 역할 및 실태에 대한인식 조사", 교사교육연구, 55(3), pp.389~398 (2016), 과학교육연구소[DOI]
- 신혜진, "과정 중심 평가 활용의 정책적 분석 -서울특별시 소재 중학교 교사의 수행평가 활용 사례를 중심으로-", 교육과정평가연구, 20(2), pp.135~162 (2017), 한국교육과정평가원[DOI]
- 조우진, "의미커널과 한글 워드넷에 기반한 지능형 채점 시스템", 정보처리학회논문지. 컴퓨터 및 통신시스템, 12(7), pp.539~546 (2005), 한국정보처리학회
- 천민아, "준지도 학습기반 자동 채점시스템에서 채점자가 채점 결과에 미치는 영향", 한국정보과학회 학술발표논문집, pp.666~668 (2015)
- 하민수, "선택형, 서술형, 면담 방법을 통한 생물 예비교사들의 자연선택개념 이해 비교분석", 생물교육, 44(4), pp.618~632 (2016), 한국생물교육학회[DOI]
- 하민수, "영어기반 컴퓨터자동채점모델과 기계번역을 활용한 서술형 한국어 응답 채점 - 자연선택개념평가 사례 -", 한국과학교육학회지, 36(3), pp.389~397 (2016), 한국과학교육학회[DOI]
- 허정만, "투표 기반 서술형 주관식 답안 자동 채점 모델의 설계 및 구현", 한국컴퓨터정보학회논문지, 18(8), pp.17~25 (2013), 한국컴퓨터정보학회
- Anderson DL, "Development and evaluation of the conceptual inventory of natural selection", Journal of Research in Science Teaching, 39, pp.952~978 (2002)
- Crossgrove K, "Using clickers in nonmajorsand majors-level biology courses: Student opinion, learning, and long-term retention of course material", CBE-Life Sciences Education, 7, pp.146~154 (2008)
- Fleiss J, "Measuring nominal scale agreement among many raters", Psychological Bulletin, 76, pp.378~382 (1971)
- Freeman S, "Prescribed active learning increases performance in introductory biology", CBE-Life Sciences Education, 6, pp.132~139 (2007)
- Gerard LF, "Automated guidance for student inquiry", Journal of Educational Psychology, 108, pp.60~81 (2016)
- Ha M, "Applying computerized-scoring models of written biological explanations across courses and colleges: Prospects and limitations", CBE-Life Sciences Education, 10, pp.379~393 (2011)
- Haudek KC, "What are they thinking? Automated analysis of student writing about acid-base chemistry in introductory biology", CBE-Life Sciences Education, 11, pp.283~293 (2012)
- Landis JR, "The measurement of observer agreement for categorical data", Biometrics, 33, pp.1159~1174 (1977)
- Leacock C, "C-rater: Automated scoring of short-answer questions", Computers and the Humanities, 37, pp.389~405 (2003)
- Levesque AA, "Using clickers to facilitate development of problem-solving skills", CBE-Life Sciences Education, 10, pp.406~417 (2011)
- Linn MC, "Computer-guided inquiry to improve science learning", Science, 344, pp.155~156 (2014)
- Liu OL, "Validation of automated scoring of science assessments", Journal of Research in Science Teaching, 53, pp.215~233 (2016)
- Mathan SA, "Fostering the intelligent novice: Learning from errors with metacognitive tutoring", Educational Psychologist, 40, pp.257~265 (2005)
- Moharreri K, "EvoGrader: An online formative assessment tool for automatically evaluating written evolutionary explanations", Evolution : Education and Outreach, 7, pp.15~ (2014)
- Nehm RH, "Item feature effects in evolution assessment", Journal of Research in Science Teaching, 48, pp.237~256 (2011)
- Nehm RH, "Measuring knowledge of natural selection: A comparison of the CINS, an open-response instrument, and an oral interview", Journal of Research in Science Teaching, 45, pp.1131~1160 (2008)
- Nehm RH, "Reasoning about natural selection: Diagnosing contextual competency using the ACORNS instrument", The American Biology Teacher, 74, pp.92~98 (2012)
- Opfer JE, "Cognitive foundations for science assessment design: Knowing what students know about evolution", Journal of Research in Science Teaching, 49, pp.744~777 (2012)
- Page EB, "The imminence of grading essays by computer", Phi Delta Kappan, 47(5), pp.238~243 (1966)
- Shute VJ, "Focus on formative feedback", Review of Educational Research, 78, pp.153~189 (2008)
- Weston M, "Examining the impact of question surface features on students’ answers to constructed-response questions on photosynthesis", CBE-Life Sciences Education, 14(2), pp.ar19~ (2015)
- Wilson J, "Automated essay evaluation software in English Language Arts classrooms: Effects on teacher feedback, student motivation, and writing quality", Computers & Education, 100, pp.94~109 (2016)