자동채점 프로그램을 적용한 대규모 평가 사회과 서답형 문항 채점 및 결과 분석
Automated Scoring and Analysis on the Scoring Result in Large-scale Social Studies Assessment
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
본 연구는 대규모 평가에서 서답형 문항의 활용을 제고하고 채점의 효율화를 도모하기 위해, 사회과 문항을 포함한 단어･구 수준의 서답형 문항 자동채점 적용의 타당성을 검증하고자 하였다. 이를 위해, 자동채점 프로그램을 국가수준 학업성취도 평가 사회과 서답형 문항의 채점에 적용하기 위한 절차를 탐색하고, 그에 따라 채점한 결과를 바탕으로 채점자 간 일치도 측면에서 자동채점의 적용 타당성을 검토하였다. 더불어 자동채점 프로그램과 적용 절차에 대한 사용자 편의성을 조사하여 향후 보완해야 할 사항을 범주화하였다. 그 결과, 채점자 간 채점 점수의 완전일치도가 평균 99.5%로 매우 양호하여 채점 결과의 정확성을 중시하는 고부담 대규모 평가에도 적정한 것으로 나타났다. 또한 단어･구 수준 자동채점 프로그램의 사용자인 채점자와 채점관리자를 대상으로 프로그램의 기능, 화면 구성 및 조작, 채점 절차 측면의 만족도 조사 결과, 대부분 만족하여 편의성이 높은 수준으로 나타났다. 본 연구는 대규모 평가의 자동채점 적용에 대한 선도적인 연구로 새로운 평가 체제에 대비하여 채점의 효율성을 제고하는 데 기여할 것으로 기대한다.
Abstract
The purpose of this research is to verify the validity of automated scoring application as a way to reduce scoring cost. For that purpose, the process for applying word- and phrase-level automated scoring program to constructed-response items in NAEA 2015 Social Studies is investigated, and the validity of automated scoring program is examined in terms of the exact agreement among raters about scoring results. In addition, the current research surveyed user-friendliness of the automated scoring program and its application process, and then categorized future complements for those. Consequently, it was revealed that the exact agreement rate among raters was 99.5% on average. This result indicates that the automated scoring is adequate for the large-scale high-stakes assessments. Furthermore, as a result of surveying satisfaction about function and screen composition of the program and automated scoring process, most raters and scoring supervisors showed high levels of satisfaction. As a leading research concerning the application of automated scoring to large-scale assessment, this research could contribute to raise the efficacy of scoring in preparation for a new assessment system.
참고문헌 (31)
- 교육과학기술부, "직업기초능력평가 시범 평가 실시", 교육과학기술부, ~ (2012)
- 교육과학기술부, "2009개정 사회과 교육과정", 교육과학기술부 고시 제2012-14호, ~ (2012)
- 교육부, "2015개정 사회과 교육과정", 교육부 고시 제2015-74호, ~ (2015)
- 컴퓨터 기반 국가수준 학업성취도 평가 도입 방안, "김경희", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 CRE 2013-5 (2013)
- 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용, "노은희", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2013-5 (2013)
- 한국어 문장 수준 서답형 문항 자동채점 프로그램 개발 및 적용, "노은희", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2015-9 (2015)
- 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2012-6 (2012)
- 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증, "노은희", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2014-6 (2014)
- 박일남, "정답 템플릿 작성 방식에 의한 한국어 서답형 문항 자동채점 시스템", 정보과학회 컴퓨팅의 실제 논문지, 19(12), pp.630~636 (2013), 한국정보과학회
- OECD 국제 학업성취도 평가 연구: PISA 2015 예비검사 시행 결과 보고서, "송미영", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2014-4-3 (2014)
- "An Evaluation of Automated Scoring of NA PLAN Persuasive Writing" (2015)[URL]
- Attali, Y., "Validity of scores for a developmental writing scale based on automated scoring", Educational and Psychological Measurement, 69(6), pp.978~993 (2009)
- "Problem Solving in Technology-Rich Environments: A Report From the NAEP Technology-Based Assessment Project, Research and Development Series. NCES 2007-466" (2007)[URL]
- Bejar, I. I, "Rater Cognition: Implications for Validity", Educational Measurement: Issues and Practice, 31(3), pp.2~9 (2012)
- "Trial of Automated Essay Scoring: New directions for National Assessment in Australia" (2009)[URL]
- Dikli, S., "An Overview of Automated Scoring of Essays. The Journal of Technology", Learning, and Assessment, 5(1), pp.4~35 (2006)
- ETS Automated Scoring Technologies, "ETS", ETS, ~ (2010)
- Leacock, C., "Scoring of Free-responses Automatically: A Case Study of a Large-scale Assessment", Examens, 1(3), pp.39~47 (2004)
- The AS Decision Matrix: Using Program Stakes and Item Type to Make Informed Decisions about Automated Scoring Implementations, "Lottridge, S. M.", Pacific Metrics Corporation, ~ (2013)
- "eTIMSS Initiative" (2014)[URL]
- "Comparing the Validity of Automated and Human Essay Scoring" (2000)[URL]
- Rudner, L. M., "An Evaluation of the IntelliMetricSM Essay Scoring System", The Journal of Technology, Learning, and Assessment, 4(4) (2006)
- Shermis, M. D., "Contrasting State-of-the-art in the Machine Scoring of Short-form Constructed Responses", Paper presented at the 2013 National Council for Measurement in Education Conference (2013)
- Shermis, M. D., "State-of-the-art automated essay scoring: Competition, results, and future directions from a United States demonstration", Assessing Writing, 20, pp.53~76 (2014)
- Shermis, M. D., "Handbook of Automated Essay Evaluation:Current Applications and New Directions" (2013), Routledge
- Shermis, M. D., "Contrasting State-of-the-art Automated Scoring of Essay: Analysis", Paper presented at the 2012 National Council of Measurement in Education Conference (2012)
- "Field Test: Automated Scoring Research Studies in accordance with Smarter Balanced RFP 17" (2014)[URL]
- Pearson’s Automated Scoring of Writing, Speaking, and Mathematics, "Streeter, L.", ~ (2011)
- "Pricing study Machine scoring of studentessays" (2014)[URL]
- "Short Answer Marking Engines"[URL]
- The Utility of Online Mathematics Constructed-response Items:Maintaining Important Mathematics in State Assessments and Providing Appropriate Access to Students, "Winter, P. C.", Pacific Metrics Corporation, ~ (2012)