자동문항생성 기법을 활용한 읽기 평가 개발에 대한 시론 -사실적 독해 문항 모형을 중심으로
A Study on the Development of Reading Assessment Using Automatic Item Generation -focused on reading comprehension item model-
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
본 연구는 교실 평가의 디지털 전환과 관련하여 평가 공학의 한 분야인 자동문항생성을 활용한 디지털 형태의 읽기 평가의 가능성을 논의하였다. 평가 공학적 접근은 측정 및 평가 설계와 평가 도구 개발의 디지털화에 초점을 두고 있으며, 이는 읽기 평가의 타당도 제고에 기여하는 한 방안이 될 수 있다. 이를 위해 평가 공학의 관점에서 AIG의 개념을 검토하고, 읽기 평가에서 문항 모형을 활용한 디지털 전환의 이론적 토대를 제시하였다. 특히 텍스트 명제 분석에 기반하여 읽기 평가 문항 모형을 설계하는 방안을 제시하였다. 이러한 논의에 기반하여 실제 사실적 독해 영역의 문항 모형 개발 사례를 검토하였다. 하나의 텍스트에 대해 8개의 문항 형식으로 구성된 문항 모형을 검토하여 읽기 평가에서 자동문항생성의 실행 가능성을 논의하였다. 이 연구는 읽기 평가 설계 지식을 디지털화하여 코드로 구현한 점, 텍스트 이해를 평가하기 위한 명제 분석 기반의 평가 내용을 구성한 점, 코드화를 통한 문항 형식의 다양성(Versatility)을 구현한 점에서 의의가 있다. 이후 효과적 선지 설계, NLP 기술과의 접목, 적응형 평가, 학습을 위한 평가로 나아갈 수 있는 AIG를 활용한 읽기 평가 연구의 연구 과제를 논의하였다.
Abstract
About the digital transformation of classroom assessment, this paper discussed the possibility of digital reading assessment using automatic item generation, a field of assessment engineering. The assessment engineering approach focuses on the digitization of measurement and assessment design and development of assessment tools, which can be one way to contribute to improving the validity of reading assessment. To this end, the concept of AIG was reviewed from the viewpoint of assessment engineering. This paper presented the theoretical foundation for digital transformation using the item model in reading assessment. In particular, a method to design a reading assessment item model based on text proposition analysis was presented. Based on this discussion, this paper reviewed the case of item model development in the reading comprehension area. And this study discussed the feasibility of automatic item generation in reading assessment by examining the item model consisting of 8 item formats for one text. This study is significant in that the reading assessment design knowledge was digitized and implemented as a code, the proposition analysis-based assessment content to assess text comprehension was composed, and the versatility of the item format was realized through coding. Afterward, the future works of reading assessment research using AIG, which can progress to effective predictive design, grafting with NLP technology, adaptive assessment, and assessment for learning, were discussed.
참고문헌 (30)
- 기세령, "디지털 지식기반사회: 문식성 평가의 개선 방향 탐색-국외 컴퓨터기반 문식성 평가의 특징과 시사점 분석을 중심으로", 한국어교육학회 학술발표논문집, pp.125~134 (2012)
- 오규설, "텍스트의 복잡도를 활용한 난이도 조정 방안 연구", 석사, 국어교육전공, pp.2013
- 옥현진, "디지털 텍스트 읽기 능력과 디지털 텍스트 읽기 평가에 대한 일고찰", 새국어교육, (94), pp.83~108 (2013), 한국국어교육학회[DOI]
- Barrett, T. C., "Taxonomy of reading comprehension", pp.51~58 (1976), Teaching reading in the middle class
- Bejar, I. I., "Item generation for test development", pp.199~217 (2002), Lawrence Erlbaum Associates Publishers
- Development of Standards of Readability: Toward a Rational Criterion of Passage Performance, "Bormuth, J. R.", ~ (1971)
- Next generation item and test development: A practical introduction to automatic item generation, "Choi, J.", The George Washington University, ~ (2017)
- Choi, J., "Assessment Engineering for Learning Analytics", Educational Development, 210, pp.42~45 (2019)
- Choi, J., (2022), CAFA Lab, Inc
- Dardick, W., "Teacher Empowered Assessment System: Assessment for the 21st Century", Journal of Applied Educational and Policy Research, 2(2) (2016)
- Deemter, K. V., "Real versus template-based natural language generation : A false opposition?", Computational linguistics, 31(1), pp.15~24 (2005)
- Drasgow, F., "Educational measurement", pp.91~115 (2006), Praeger Publishers
- Embretson, S. E., "Item generation for test development", pp.219~250 (2002), Erlbaum
- Embretson, S. E., "Handbook of Statistics:Psychometrics, Volume 26", pp.747~768 (2007), Elsevier
- Fillmore, C. J., "Lexical entries for verbs", pp.373~393 (1968), Foundations of language
- Finn, P. J., "A question writing algorithm : The value of explicitly specified processes in test construction", Journal of reading behavior, 7(4), pp.341~367 (1975)
- Gierl, M. J., "Automatic Item Generation:Theory and practice", pp.3~12 (2013), Routledge
- Gorin, J. S., "Item diffficulty modeling of paragraph comprehension items", Applied Psychological Measurement, 30(5), pp.394~411 (2006)
- Hackett, P. M., "Facet theory and the mapping sentence as hermeneutically consistent structured meta-ontology and structured meta-mereology", Frontiers in Psychology, 7, pp.471~ (2016)
- Item Distiller: Text retrieval for computer-assisted test item creation, "Higgins, D.", Educational Testing Service, ~, pp.Educational Testing Service Research Memorandum (RM-07-05) (2007)
- Hively, W., "A"universe-defined"system of arithmetic achievement tests", Journal of educational measurement, 5(4), pp.275~290 (1968)
- Irvine, S., "Generating items for cognitive tests : Theory and practice" (2002), Erlbaum
- Irwin, J. W., "독서 교육론- 독서 과정의 이해와 지도" (2012), 박이정
- Kintsch, W., "Comprehension : A paradigm for cognition" (1998), Cambridge university press
- Kintsch, W., "이해: 인지 패러다임 1, 2" (2010), 나남
- Luecht, R. M., "Automatic item generation: Theory and practice", pp.69~86 (2012), Routledge
- Mislevy, R. J., "Focus article : On the structure of educational assessments", Measurement : Interdisciplinary research and perspectives, 1(1), pp.3~62 (2003)
- Mislevy, Robert, "On the Roles of External Knowledge Representations in Assessment Design", The Journal of Technology, Learning, and Assessment, 8 (2010)
- Williamson, D. M., "Hierarchical IRT Examination of Isomorphic Equivalence of Complex Constructed Response Tasks" (2002), American Educational Research Association
- Yang, A. C., "Automatic Generation of Cloze Items for Repeated Testing to Improve Reading Comprehension", Educational Technology & Society, 24(3), pp.147~158 (2021)