국어과 읽기 영역 서술형 평가를 위한 비지도 기반 인공지능 채점 보조 프로그램(SAAI)의 성능과 활용도 탐색
Exploring Performance and Utilization of Unsupervised Based ‘Scoring Assistant Using Artificial Intelligence(SAAI)’ Program for Descriptive Assessment in Korean Language Reading Competence
0
조회
0
다운로드
10
인용
0
참고문헌
키워드
초록
본 연구는 국어과 읽기 영역의 서술형 평가에서 효율성을 높이고 유의미한 피드백을 제공하기 위해 AI 기술의 활용도를 탐색하였다. 궁극적으로는 학생의 읽기 능력과 사고를 발달시키기 위해 교사의 시간적·인지적 부담을 낮추어 유의미한 평가와 피드백을 제공하는 것에 목표가 있다. 여기에 사용된 AI 기술은 일상적인 학교 상황에서 쉽게 활용할 수 있는 비지도 기반 인공지능 채점 보조 프로그램(Scoring Assistant Using Artificial Intelligence, SAAI)이다. SAAI의 활용도 탐색을 위하여 본 연구는 2,570개의 학생 응답을 채점한 교사-교사의 점수, 교사-SAAI의 점수의 상관관계와 Kappa 계수를 분석하였다. 분석 결과 첫째, SAAI를 활용하여 서술형 평가에서 채점자의 인지적 부담을 완화할 수 있었다. 둘째, 서술형 평가의 신뢰도를 높일 수 있었다. 셋째, 학생들의 읽기 동기를 증진할 가능성을 발견하였다. 결론적으로, AI 기술이 교사의 부담을 줄여줌으로써 유의미한 피드백을 제공할 가능성을 확보할 수 있었다. 이는, 교육의 본질 측면에서 학생의 성장과 발달에 긍정적인 영향을 줄 수 있을 것으로 기대한다.
Abstract
This study explored the use of AI technology to increase efficiency and provide meaningful feedback in the descriptive assessment of Korean reading areas. The goal is to provide meaningful evaluation and feedback by lowering the teacher's time and cognitive burden in order to develop students' reading ability and thinking. The AI technology used here is an unsupervised based program called ‘Scoring Assistant Using Artificial Intelligence(SAAI)’ that can be easily utilized in ordinary school situations. To explore the utilization of SAAI, this study analyzed the Kappa coefficient after analyzing the correlation between teacher-teacher scores and teacher-SAAI scores that scored 2,570 student responses. As a result, first, it was possible to alleviate the cognitive burden of raters in descriptive evaluation by using SAAI. Second, the reliability of descriptive evaluation could be increased. Third, the possibility of enhancing students' reading motivation was found. In conclusion, we saw the potential of AI technology to provide meaningful feedback by reducing the burden on teachers. This is expected to have a positive impact on the development of students educationally.
참고문헌 (57)
- 경기도교육청, "성장중심 평가를 위한 논술형 평가 길라잡이", 경기도교육청, ~ (2019)
- 경기도교육청, "성장중심 평가를 위한 논술형 평가 길라잡이", 경기도교육청, ~ (2022)
- 교육부, "국어과 교육과정(제2015-74호)", 교육부, ~ (2015)
- 교육부, "국어과 교육과정 시안(행정예고본)", 교육부, ~ (2022)
- 기혜선, "맞춤형 독서프로그램 개발을 위한 초·중·고 학생들의 읽기 효능감 분석", 학습자중심교과교육연구, 20(16), pp.297~317 (2020), 학습자중심교과교육학회[DOI]
- 김소현, "국어과 서술형 평가 문항의 실태 분석 ― 인문계 고등학교 서술형 문항을 중심으로 ―", 국어교육, (140), pp.479~508 (2013), 한국어교육학회
- 김승주, "인지공학적 접근에 따른 반자동 쓰기 채점 시스템의 설계 가능성 탐색 연구", 한국어교육학회 학술발표논문집, 2021, pp.77~91 (2021)
- 김승주, "딥러닝 자연어처리 기법을 활용한 논증적 글쓰기 자동 채점 방안연구", 박사, pp.2022
- 김종윤, "미래 사회 역량과 독서교육의 역할", 청람어문교육, (84), pp.93~117 (2021), 청람어문교육학회[DOI]
- 김진희, "학생의 국어태도 형성에 영향을 미치는 독서활동, 서술형⋅논술형 평가, 토의⋅토론활동 요인 분석: 자기회귀교차지연모형의 적용", 학습자중심교과교육연구, 21(16), pp.27~37 (2021), 학습자중심교과교육학회
- 김형진, "국어과 읽기 평가에서의 피드백 제시 전략 모형 개발", 독서연구, -(11), pp.113~140 (2004), 한국독서학회
- 노은희, "한국어 문장 수준 서답형 문항 자동채점 적용 가능성 탐색", 교육평가연구, 28(2), pp.523~551 (2015), 한국교육평가학회
- 류수경, "내재적 독서 동기 촉진 교수 전략에 대한 이론적 탐색: 외적 보상이 내재적 독서 동기에 미치는 영향을 중심으로", 독서연구, (54), pp.39~64 (2020), 한국독서학회[DOI]
- 박영목, "쓰기 평가 연구의 주요 과제", 작문연구, (6), pp.9~38 (2008), 한국작문학회
- 박영민, "작문교육론" (2016), 역락
- 박영민, "읽기 동기 신장을 위한 자기 선택적 독서 프로그램 구성 방안", 독서연구, (19), pp.201~228 (2008), 한국독서학회
- 박인기, "국어과 평가의 반성과 전망", 국어교육학연구, (32), pp.5~31 (2008), 국어교육학회[DOI]
- 박종임, "Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원인 분석 -중학생 서사문 채점을 중심으로-", 우리어문연구, (39), pp.301~335 (2011), 우리어문학회
- 수업-평가 연계 강화를 위한 서·논술형 평가 내실화 방안, "박혜영", 한국교육과정평가원, ~, pp.연구보고서(RRE 2019-6) (2019)
- 서울특별시교육청, "서·논술형 평가문항 예시자료집", 서울특별시교육청, ~ (2019)
- 서혁, "국어과교육 개선을 위한 교수·학습 개발 및 적용에 관한 연구", 국어교육학연구, (33), pp.33~71 (2008), 국어교육학회[DOI]
- 송미영, "대규모 평가 서답형 문항 채점을 위한 문장 수준 자동채점 프로그램의 정확성 분석", 교육과정평가연구, 19(1), pp.255~274 (2016), 한국교육과정평가원
- 송지언, "독서-작문 통합 교육을 위한 요약문 쓰기 수업 탐색", 독서연구, (36), pp.9~38 (2015), 한국독서학회[DOI]
- 신윤경, "국어과 온라인 학습에서 과정 중심 피드백 지원 방법과 유형에 관한 고찰", 한국초등국어교육, (71), pp.215~238 (2021), 한국초등국어교육학회
- 양영환, "국어과 평가의 변화에 대한 국어 교사의 인식 분석 -2015 개정 교육과정을 중심으로", 한국언어문학, (105), pp.223~248 (2018), 한국언어문학회[DOI]
- 옥현진, "디지털 텍스트 읽기 능력과 디지털 텍스트 읽기 평가에 대한 일고찰", 새국어교육, (94), pp.83~108 (2013), 한국국어교육학회[DOI]
- 윤여탁, "창의적 문화 세대를 위한 국어교육의 지향", 국어교육연구, (57), pp.1~22 (2015), 국어교육학회(since1969)[DOI]
- 이빛나, "읽기 효능감과 쓰기 효능감, 읽기 상위인지와 쓰기상위인지 상관 관계 연구", 청람어문교육, (78), pp.67~113 (2020), 청람어문교육학회[DOI]
- 이상하, "국가수준 학업성취도 평가 서답형 문항에 대한 자동채점의 실용성 분석", 교육과정평가연구, 18(1), pp.185~208 (2015), 한국교육과정평가원
- 이순영, "독서교육론" (2015), 사회평론아카데미
- 이지혜, "자기결정성 학습동기, 메타인지, 자기주도적 학습능력 및 학습몰입과 학업성취 간의 구조적 관계 분석", 박사, 교육심리및상담, pp.2009
- 이지혜, "경기도 학생 평가 정책에 대한 IPA-논술형 평가, 교사별 학생평가, 정의적 능력 평가에 대한 중학교 교사의 인식을 중심으로-", 사회적경제와 정책연구, 7(3), pp.145~167 (2017), 국제개발연구소[DOI]
- 이지혜, "교사의 업무부담, 직무만족, 조직몰입, 교사 전문성과 학교교육 성과의 구조적 관계 분석", 한국교원교육연구, 27(2), pp.25~52 (2010), 한국교원교육학회[DOI]
- 이창덕, "수업을 살리는 교사화법" (2010), 즐거운학교
- 조병영, "21세기 문식 환경과 인터넷 읽기 전략-인터넷 텍스트 환경의 부정확성의 문제와 비판적 읽기-", 한국어교육학회 학술발표논문집, 2014, pp.79~94 (2014)
- 정분의, "학생 글 채점 누적에 따른 국어교사의 인지 부담 변화", 작문연구, (42), pp.30~57 (2019), 한국작문학회[DOI]
- 최경민, "중학교 국어 교과서 설명문 읽기․쓰기 통합 단원 구성 양상 고찰", 배달말, (70), pp.129~172 (2022), 배달말학회[DOI]
- 최병흔, "초인지 학습 능력 발달을 촉진하는 국어과 교수-학습 전략", 청람어문교육, (26), pp.57~82 (2003), 청람어문교육학회
- 최성민, "온· 오프라인을 활용한 ‘읽기와 쓰기’ 수업과 피드백 모델 연구", 리터러시 연구, (13), pp.69~93 (2015), 한국 리터러시 학회
- 최숙기, "(중학생의 읽기 발달을 위한) 읽기 교육 방법론" (2011), 역락
- 최숙기, "읽기와 쓰기의 통합적 교수 학습 방안 탐색", 독서연구, (28), pp.111~141 (2012), 한국독서학회
- 최숙기, "서·논술형 수능 도입을 대비한 2022 개정 국어과 교육과정의 개정 방향 탐색", 청람어문교육, (83), pp.129~156 (2021), 청람어문교육학회[DOI]
- 하민수, "학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례", 현장과학교육, 13(3), pp.271~282 (2019), 한국현장과학교육학회[DOI]
- Anderson, J. R., "Cognitive psychology and its implications" (2000), Worth
- Bakhtin, M., "The Dialogic Imagination : Four Essays" (1981), University of Texas Press
- Coiro, J., "Predicting Reading Comprehension on the Internet : Contributions of offline Reading Skills, Online Reading Skills, and Prior knowledge", Journal of Litracy Research, 43(4), pp.352~392 (2011)
- Fitzgerald J, "Reading and Writing Relationships and their Development", Educational Psychologist, 35(1), pp.39~50 (2000)
- LeDoux, Joseph. E., "The Emotional Brain: The Mysterious Underpinnings of Emotional Life" (1986), SIMON&SCHUSTER PAPERBACKS
- Lenski, S. D., "STRATEGIC KNOWLEDGE WHEN READING IN ORDER TO WRITE", Reading Psychology, 19(3), pp.287~315 (1998)
- Leu, D. J., "Theoretical models and processes of reading", pp.1150~1181 (2013), International Reading Association
- Nehm, R. H., "Human vs. computer diagnosis of students’natural selection knowledge : testing the efficacy of text analytic software", Journal of Science Education and Technology, 21(1), pp.56~73 (2012)
- OECD, "21st-Century Readers : Developing Literacy Skills in a Digital World", OECD, ~ (2021)
- Ong, W. J., "Orality and Literacy" (1982), Routledge
- Ruddell, R. B., "Theoretical Models and Processes of Reading" (1994), IRA
- Rumelhart, D. E., "Handbook of social cognition, Vol. 1", pp.161~188 (1984), Lawrence Erlbaum Associates Publishers
- Flavell, J. H., "The nature of intelligence", pp.231~235 (1976), Lawrence Erlbaum
- Zha, H., "Generic summarization and keyphrase extraction using mutual reinforcement principle and sentence clustering", Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval, pp.113~120 (2002)
