텍스트 마이닝을 활용한 분할점수 연구 동향 분석
Analysis of Research Trends on Cut-off Score Using Text Mining
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
연구목적: 본 연구는 분할점수와 관련된 국내 연구 동향을 분석하여, 2022 개정 교육과정으로 성취평가제 확대를 앞둔 학교 현장의 평가 역량 제고를 위한 학술적 관심의 방향을 제시하는 데에 목적이 있다. 연구방법: ‘분할점수’, ‘기준성취율’, ‘수준설정’, ‘준거설정’을 검색 키워드로 출판된 국내 학술지 논문을 수집하여, 연도별 발행 건수의 특성을 파악하고, TF, TF-IDF, 토픽 모델링을 실시하였다. 도출된 토픽에 대해서는 시계열 분석을 실시하였다. 연구결과: 첫째, 학술지 논문의 발행 건수와 관련된 교육정책의 변화를 기준으로, 연구동향은 3기로 구분되었다. 둘째, 자료에 등장하는 빈도를 기준으로, ‘교육과정’, ‘성취기준’이 중요한 단어였다. 셋째, 연구 토픽은 ‘교육과정 평가 방향 수립’, ‘연구 및 활용 현황 분석’, ‘성취수준과 분할점수 설정’, ‘능력 수준 분석과 반영’, ‘교육과정 기반의 성취기준 개발’로 분류될 수 있었다. 넷째, 도출된 토픽들 중, ‘교육과정 평가 방향 수립’과 ‘성취수준과 분할점수 설정’은 시간이 지나면서 비중이 감소하는 ‘Cold topic’이었다. 논의 및 결론: 연구 동향을 분석한 결과, 국가 교육과정의 성취기준 및 성취수준과 연계, 분할점수 산출 방식들의 비교 및 검증, 성취평가제 맥락 이외의 평가 장면에서의 검증과 관련된 향후 연구가 필요함을 제안하였다.
Abstract
Purpose: The purpose of this study is to analyze domestic research trends related to cut-off scores and suggest directions for academic interest to enhance evaluation capabilities in schools, in anticipation of the expansion of the achievement standards-based assessment under the 2022 revised national curriculum. Method: Domestic research articles were collected to identify the characteristics of the number of publications by year, and TF (Term Frequency), TF-IDF (Term Frequency-Inverse Document Frequency), and topic modeling were conducted. Results: First, based on changes in educational policies related to the number of academic journal publications, research trends were divided into three periods. Second, based on term frequency analysis, “curriculum” and “achievement standards” were identified as key terms. Third, the research topics could be classified into “establishing directions for curriculum evaluation,” “analyzing the current status of research and application,” “setting standards and cut-off scores,” “analyzing and reflecting ability levels,” and “developing curriculum-based achievement standards.” Fourth, among the derived topics, “establishing directions for curriculum evaluation” and “ssetting standards and cut-off scores” were identified as declining “cold topics” over time. Conclusion: It was suggested that future research is needed on the linkage between standards setting and levels of the national curriculum, the comparison and validation of methods for calculating cut-off scores, and validation in assessment contexts beyond the achievement standards-based assessment.
참고문헌 (55)
- 곽예린, "중학교 수리적성 영역 검사에 대한 Modifed-Angoff와 Bookmark 준거설정 방법 비교", 교육과학연구, 53(4), pp.59~82 (2022)
- 중등학교 학사 관리 선진화 방안, "교육과학기술부", 교육부, ~ (2011)
- 교육부, "2022학년도 대학입학제도 개편방안 및 고교교육 혁신방향 발표" (2018), 교육부
- 포용과 성장의 고교교육 구현을 위한 고교학점제 종합 추진계획, "교육부", 교육부, ~ (2021)
- 모든 학생의 성장을 지원하는 공교육 경쟁력 제고방안, "교육부", 교육부, ~ (2023)
- 미래 사회를 대비하는 2028 대학입시제도 개편 확정안, "교육부", 교육부, ~ (2023)
- 교육부, "고교학점제 도입･운영 안내서", ~ (2023)
- 최소 학업성취수준 보장 지도 현황 분석 및 운영 방안 탐색, "권점례", 한국교육과정평가원, ~, pp.CRC 2022-1 (2022)
- 성취평가 결과 분석을 위한 중등학교 성취평가제 운영 모니터링 연구, "김경희", 한국교육과정평가원, ~, pp.연구보고 RRC 2022-2 (2022)
- 김구, "SPSS를 활용한 공공시계열 데이터분석" (2022), 비앤엠북스
- 김동화, "텍스트 마이닝을 활용한 ‘정부지원 학자금대출제도’의 연구 동향 분석", 미래교육학연구, 34(2), pp.23~52 (2021)
- 김성숙, "고등학교 성취평가에서의 고정분할점수와 수준설정방법 적용 결과의 비교 분석", 교육평가연구, 27(1), pp.1~22 (2014)
- 김성숙, "다변량 일반화가능도 이론을 적용한 성취수준설정에서의 오차분석과 최적 조건 탐색", 교육평가연구, 25(4), pp.679~700 (2013)
- 김성연, "예비수학교사의 교직 적성･인성 검사에서 분할점수 변화에 따른 다양한 신뢰도 탐색", 수학교육, 57(1), pp.55~74 (2018)
- 성취수준 점검을 위한 평가도구 개발 및 활용방안, "김수진", 한국교육과정평가원, ~, pp.연구보고 RRE 2023-4 (2023)
- 김순남, "고등학교 성취평가제의 諸문제와 정착 방안", 열린교육연구, 26(3), pp.109~129 (2018)
- 2022년 개정 교육과정에 따른 고등학교 성취수준 개발 연구 총론, "김영은", 한국교육과정평가원, ~, pp.연구보고 CRC 2024-2 (2024)
- 김영준, "장애인의 직업교육을 위한 맞춤형 국가직무능력표준(NCS)구축 및 활용방안", 교육혁신연구, 27(3), pp.181~212 (2017)
- 김현미, "2022 개정 교육과정에 따른 초･중학교 성취수준 개발 연구(총론)" (2024), 교육부
- 김효선, "고교학점제 연구 동향에 관한 연구", 미래교육연구, 13(3), pp.1~20 (2023)
- 민경석, "한국과 미국 국가수준 학업성취도 평가의 성취수준 비교", 중등교육연구, 61(1), pp.111~136 (2013)
- 박민애, "토픽 모델링을 적용한 국내 학생 평가 연구 동향 분석", 교과교육학연구, 26(2), pp.155~165 (2022)
- 성취평가제 내실화를 위한 교사 역량 강화 지원 방안, "박은아", 한국교육과정평가원, ~, pp.연구자료 RRE 2014-1 (2014)
- 박종순, "빅데이터 연구동향 분석 : 토픽 모델링을 중심으로", 디지털산업정보학회논문지, 15(1), pp.1~7 (2019)
- 고교학점제 도입에 따른 성취평가제 개선 방안, "박혜영", 한국교육과정평가원, ~, pp.연구보고 RRE 2022-8 (2022)
- 반재천, "2003~2008년 국가수준 학업성취도 평가의 조건적 측정오차와 분류일관성", 교육평가연구, 23(2), pp.323~345 (2010)
- 반지윤, "텍스트 마이닝을 활용한 사이버폭력 주변인의 연구 동향 분석", 교육학연구, 61(5), pp.1~32 (2023)
- 고등학교 보통교과 성취평가제 적용 실태 분석 및 개선 방안, "손민정", 한국교육과정평가원, ~, pp.연구보고 RRE 2015-5 (2015)
- 유예림, "토픽 모델링을 활용한"교육평가연구"학술지의 연구 동향 분석", 교육평가연구, 36(3), pp.553~579 (2023)
- 이상하, "성취평가제에서 성취도 평정을 위한 분할점수의 적정성 평가 방안", 교육과정평가연구, 15(3), pp.207~230 (2012)
- 이서진, "텍스트 자료에 대한 네트워크 분석과 토픽 모델링 : 대학 역량기반 교육을 중심으로", 교육평가연구, 35(1), pp.165~188 (2022)
- 이영주, "의과대학 수업수준에서의 준거설정 사례 연구", 교육문화연구, 23(2), pp.189~209 (2017)
- 이용상, "수능 한국사의 절대평가 방안 시론-북마크 방법에 의한 분할점수 산출을 중심으로-", 역사교육, 135, pp.69~93 (2015)
- 성취평가제 확대에 따른 고등학교 교육과정 운영 방안 연구, "이정연", 경기도교육연구원, ~, pp.정책연구 2023-17 (2023)
- 이진실, "자기보고식 심리검사에서 머신러닝을 활용한 거짓반응 탐지 방안", 상담심리교육복지, 11(4), pp.89~103 (2024)
- 장윤선, "문항반응이론에 기초한 준거설정 방법 비교", 교육평가연구, 22(3), pp.659~680 (2009)
- 장은하, "텍스트 마이닝을 적용한 성취평가제 연구동향 분석", 교육평가연구, 37(2), pp.381~409 (2024)
- 전은정, "고교학점제 뉴스 기사를 활용한 LDA 토픽 모델링의 적정 표본크기 분석 연구", 교육평가연구, 36(3), pp.365~404 (2023)
- 전은정, "고교학점제의 쟁점과 과제 : 2018~2022 KCI 등재 학술지 논문 중심으로", 교육과학연구, 54(1), pp.165~192 (2023)
- 정혜경, "대학생 기초학력평가 수학교과 문항 분석 및 성취수준 설정 사례 연구", 교육문화연구, 29(1), pp.91~109 (2023)
- 고교교육 혁신 방향에 따른 학생평가 방안 탐색, "진경애", 한국교육과정평가원, ~, pp.RRE 2019-12 (2019)
- 최진수, "텍스트 마이닝을 활용한 국내외 프로세스 데이터 연구 동향 분석", 교육과정평가연구, 27(3), pp.197~221 (2024)
- 최훈원, "키워드 네트워크 분석을 활용한 과정중심평가의 연구 동향 분석", 교육과정평가연구, 27(2), pp.251~277 (2024)
- "성취평가제" (2024)[URL]
- 홍소영, "초등학교 학업성취도평가의 기준설정을 위한 Angoff와 Bookmark 방법의 비교", 학습자중심교과교육연구, 11(4), pp.495~523 (2011)
- Angoff, W. H., "Educational measurement", pp.508~600 (1991), American Council on Education
- Cizek, G. J., "Standard setting : A quide to establishing and evaluating performance standareds on tests" (2007), Sage
- Hidalgo, M. D., "Differential item functioning and cut-off scores : Implications for test score interpretation", Anuario de Psicologia, 2015, pp.45(1), 55~69
- Kane, M., "Validating the performance standards associated with passing scores", Review of educational Research, 64(3), pp.425~461 (1994)
- Manea, L., "Optimal cut-off score for diagnosing depression with the Patient Health Questionnaire(PHQ-9) : a meta-analysis", Cmaj, 184(3), pp.E191~E196 (2012)
- Nedelsky, L., "Absolute grading standards for objective tests", Educational and psychological measurement, 14(1), pp.3~19 (1954)
- Nitko, A. J., "Distinguishing the many varieties of criterion-referenced test", Review of Educational Research, 50(3), pp.461~485 (1980)
- Rahman, M. M., "Trend, projection, and appropriate body mass index cut-off point for diabetes and hypertension in Bangladesh", Diabetes research and clinical practice, 126, pp.43~53 (2017)
- Sahadevan, S., "Diagnostic performance of two mental status tests in the older Chinese : influence of education and age on cut-off values", International journal of geriatric psychiatry, 15(3), pp.234~241 (2000)
- Shepard, L. A., "A guide to criterion-referenced test consturction" (1984), Johns Hopkins University Press