읽기 이해 평가 자동화를 위한 자연언어처리 표층 알고리즘의 적용과 타당성 분석
The Application and Validation of Shallow Natural Language Processing Algorithm for Automating Assessments of Reading Comprehension
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
이 연구의 목적은 자연언어 처리(Natural Language Processing: NLP) 표층 기법을 적용한 알고리즘을 학습 읽기 맥락에서 이해 수준을 타당하게 평가하는데 활용할 수 있는지 검증해 보는 것이다. 이를 위하여 설정한 연구 문제는 다음과 같다. 첫째, 학습 읽기 맥락에서 읽기 이해의 깊이를 평가하는데 어떤 NLP 알고리즘이 활용되고 있는가? 둘째, NLP 표층 알고리즘을 읽기 이해 평가에 타당하게 적용할 수 있는가? 셋째, NLP 표층 알고리즘이 읽기 이해 평가 자동화에 시사하는 바는 무엇인가? 고등학교 2학년 한 학급(전체 24명)을 연구 대상으로 섭외하여 읽기 과제를 수행하도록 요청하였다. 읽는 과정에서 이해 전략을 드러내는 언어 프로토콜을 수집하여 NLP 표층 처리 알고리즘으로 분석하였다. 기술 통계 결과는 연구 참여자 간 읽기 이해 측면에서 개인 편차가 크다는 사실을 드러냈다. 다수 학생이 읽기 이해에 상당한 어려움을 겪고 있을 가능성을 시사한다. 상관 분석 결과는 다양한 읽기 이해 전략 구사가 읽기 이해와 긴밀하게 관련된다는 사실을 드러냈다. 다중회귀분석 결과는 NLP 표층 알고리즘을 활용하여 읽기 이해 과정, 기능, 전략을 타당하게 분석할 수 있으므로 읽기 이해 평가를 자동화하는 대안으로 효과적으로 활용할 수 있다는 주장을 제한적으로 뒷받침한다.
Abstract
The purpose of this study is to investigate whether a shallow Natural Language Processing (NLP) algorithm could be used to evaluate the level of reading comprehension. The study aims to answer the following questions. First, what NLP algorithms are being used to evaluate the depth of comprehension in reading for learning? Second, is it possible to evaluate the depth of reading comprehension using shallow NLP algorithms? Third, what implications do shallow NLP algorithms have in terms of automating assessments of reading comprehension? The study enrolled 24 students in their second year of high school as study participants and had them perform reading tasks. Then, the study collected language protocols that showed several comprehension strategies and used an NLP algorithm to analyze them. The descriptive statistics revealed relatively higher levels of individual deviations regarding reading comprehension. The correlation analysis showed that there are close correlations between various strategies and reading comprehension levels. The multiple regression analysis supported the argument that shallow NLP algorithms can arguably be an effective alternative in evaluating reading comprehension.
참고문헌 (27)
- 박원우, "적정 표본크기 (sample size) 결정을 위한 제언", Seoul Journal of Industrial Relations, 21, pp.51~85 (2010), 서울대학교 노사관계연구소
- 유진은, "한 학기에 끝내는 양적연구방법과 통계분석" (2015), 학지사
- Afflerbach, P. E. T. E. R., "Best practic es in reading assessment", pp.337~359 (2018)
- Allington, R. L., "Intervention all day long : New hope for struggling readers", Voices from the Middle, 14(4), pp.7~14 (2007)
- Beck, I. L., "Revising Social Studies Text from a Text-Processing Perspective : Eviden ce of Improved Comprehensibility", Reading Research Quarterly, 26, pp.251~276 (1991)
- Engelmann, S., "Making connections in mathe matics", Journal of Learning Disabilities, 24(5), pp.292~303 (1991)
- Gilliam, S., "A ssessing the format of the presentation of text in developing a Re ading Strategy Assessment Tool", Behavior research methods, 39(2), pp.199~204 (2007)
- Graesser, A. C., "The construction of causal inferences w hile reading expository texts on science and technology", Scientific Studies of Reading, 2(3), pp.247~269 (1998)
- Hastings, P., "Deep Comprehension", pp.237~252 (2018), Routledge
- Johnson-Laird, P. N., "Mental models: Towards a cognitive science of lang uage, inference, and consciousness" (1983), Cambridge University Press
- Kintsch, W., "Comprehension: A paradigm for cognition" (1998), Cambridge universi ty press
- Kirby, J. R., "Enhancing the quality of learning: Dispositions, instruction, and learning processes", pp.315~338 (2012)
- Reading in the Disciplines: The Challenges of Adolescent Literacy, "Lee, C. D.", Carnegie Corporation of New York's Councion Advancing Adolescent Literacy, Carnegie Corporation of New York, ~ (2010)
- Lehman, B., "Deep Comprehension", pp.209~223 (2018), Routledge
- Magliano, J. P., "Assessing co mprehension during reading with the Reading Strategy Assessment Tool(RSAT)", Metacognition and learning, 6(2), pp.131~154 (2011)
- Magliano, J. P., "Deep Comprehension", pp.253~264 (2018), Routledge
- Mayer, R. E., "Systematic thinking fostered by illustrations in scientific tex t", Journal of educational psychology, 81(2), pp.240~246 (1989)
- McNamara, D. S., "SERT : Self-explanation reading training", Discourse proc esses, 38(1), pp.1~30 (2004)
- McNamara, D. S., "Evaluating self-explanations in iSTART : Comparing word-based and LSA alg orithms", Psychology Pres s, pp.227~241 (2007)
- McNamara, D. S., "Toward a comprehensive model of comp rehension", Psychology of learning and motivation, 51, pp.297~384 (2009)
- McNamara, D. S., "Ad aptive educational technologies for literacy instruction", pp.126~143 (2016), Routledge
- Millis, K. K., "Deep Comprehension:Multi-Disciplinary Approaches to Understanding, Enhancing, and Measuring Comprehension" (2018), Routledge
- Oakhill, J., "Understanding and teaching reading com prehension: A handbook" (2014), Routledge
- Otero, J., "The psychology of science text co mprehension" (2002), Lawrence Erlbaum
- Shanahan, T., "The challenge of challenging text, On Developing Readers: Readings from Educational Leadership (EL Essentials)", pp.100~ (2016)
- Wiley, J., "Deep Comprehension", pp.3~15 (2018), Routledge
- Woolley, G., "A comprehension intervention for children with reading compr ehension difficulties", Australian Journal of Learning Difficulties, 12(1), pp.43~50 (2007)