Rasch 모형을 통한 <독서와 문법> 평가 문항 분석
A Rasch analysis of a high school Korean achievement test
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 연구는 현실적 차원에서 여전히 중요성을 갖는 선택형 문항들을 Rasch 모형을 통해 분석함으로써 교사가 출제하는 평가 문항의 신뢰도, 학생들의능력에 따른 평가 적절성 여부, 평가 문항에 대한 정보와 판단의 타당성 등을 기술하고자 하였다. 우선 Rasch 모형의 분석을 위해 J 시 인문계 고등학생 총 179명이 치른 <독서와 문법>의 평가 문항을 대상으로 Winsteps 3.68 소프트 프로그램을 사용하였으며 결과는 다음과 같다. 첫째, 이 평가지는 학생의 능력 신뢰도가 문항 난이도의 신뢰도에 비해 낮으며 이를 통해 시험문항들이 학생능력의 상위집단과 하위집단의 능력에 맞게 제작되지 못했음을 알 수 있다. 둘째, 평가의 적합도의 분석 결과, 점이연상관계수가 .20이하를 보이는 5개의 문항들은 국어 성적의 분포 양상에 기여하지 못하는 부적합 문항으로 판정하였다. 셋째, 문항 난이도가 1.5이며, 전체 문항의 33%가너무 쉽게 출제되어 난이도상 적합하지 않았다. 넷째, 문법 영역은 ‘상, 중상, 중하, 하’의 난이도 위계를 고루 포함하나 5개의 문항은 문법 지식을 측정하는 비교적 어려운 문항으로 확인하였다. 반면에 독서 영역은 ‘상’에 해당하는문항이 없으며 ‘중하’와 ‘하’에만 집중된 대체로 쉬운 문제였다. 본 연구가 갖는 의의는 Rasch를 통해 교사들에게 선택형문항에 대해 신뢰도 및 적합도, 문항난이도, 타당도 등을 판단할 수 있는 정보를 제공하며, 이를 바탕으로객관적이고 발전적인 평가 방향을 모색할 수 있다는 점이다.
Abstract
The main objectives of this study were to investigate item reliability, subject ability, and item fit indexes based on Rasch modeling. In particular, this study analyzed a Korean mid-term test results collected from 179 second year high school students, who attended a local high school in a mid-sized Korean city. The following were observed by the application of Winsteps 3.68, which is a software program for Rasch analyses: firstly, the person reliability as well as separation index was low, suggesting that the test itself was not successful in separating students along the ability continuum; secondly, all the test items met Rasch expectations. However, five test items had low levels of discrimination and failed to discriminate high ability students from low ability students. Next, personal ability estimates tended to be higher than item difficulty estimates, indicating that items, in general, were too easy for the students. Only one item was rightly targeted against the highest ability students. Finally, the 13 grammar items were evenly distributed in the hierarchy of item difficulties, forming four groups of items that were categorized as 'the most difficult items', 'the second most difficulty items', 'the third most difficult items' and 'the fourth most difficult items'. However, it was found that reading proficiency items were located only in 'the third most difficult' and 'the fourth most difficult' groups of items. In fact, all of those reading proficiency items were from the text covered in the textbook and most of those reading proficiency items consisted of items that asked students to find simple facts based on the text. One of the implications of this study is that test designers, including in-service teachers themselves, should reflect on the test-making practices so that valid and reliable items are used in achievement tests.
참고문헌 (54)
- 구본관, "문법 능력과 문법 평가 문항 개발의 방향", 국어교육학연구, (37), pp.185~218 (2010), 국어교육학회
- 구본관, "문법 영역 출제의 개선 방향 - 2014학년도 대학수학능력시험 국어 영역을 중심으로", 문법 교육, 18, pp.1~44 (2013), 한국문법교육학회
- 김광해, "국어교육 평가의 이상과 현실", 선청어문, 22, pp.39~58 (1994), 서울대학교 국어교육과
- 김영란, "국어과 국가수준 학업성취도 평가의 문항 개선 방안 연구 －2008∼2010년 검사지의 타당도 검토를 중심으로－", 국어교육학연구, (44), pp.67~110 (2012), 국어교육학회
- 김은애, "독서 평가 문항의 내용 타당도 분석: 고등학교 독서 수행 평가를 중심으로", 우리말교육현장연구, 4(1), pp.177~249 (2010), 우리말교육현장학회
- 김중신, "수능 언어 영역 문항의 비판적 검토와 대안", 국어교육학연구, (31), pp.69~108 (2008), 국어교육학회
- 김종윤, "국어과 교사의 평가 문식성에 대한 연구 : 읽기 영역 평가를 중심으로", 석사, 국어교육, pp.2006
- 김진주, "읽기 평가 문항 분석을 통한 개선 방향 연구", 석사, 국어교육, pp.2006
- 김창원, "국어교육 평가의 구조와 원리", 한국초등국어교육, 15, pp.165~192 (1999), 한국초등국어교육학회
- 김혜정, "고등학교 국어과 평가의 문제점과 개선 방안-평가 사례를 중심으로", 국어교육학연구, (32), pp.97~127 (2008), 국어교육학회
- 김혜정, "국가 수준 학업 성취도 평가 개선을 위한 ‘읽기’ 평가의 비판적 검토", 국어교육, (134), pp.61~86 (2011), 한국어교육학회
- 노명완, "국어교육론" (1988), 한샘
- 노명완, "국어과 교육에서의 평가", 한국국어교육연구회논문집, 40, pp.69~107 (1990), 한국어교육학회
- 노명완, "국어 시험의 현황과 개선 방안", 국어교육학연구, (20), pp.5~30 (2004), 국어교육학회
- 류수열, "중등학교 국어 시험의 현황과 개선 방안 - 고등학교 중간 고사 및 기말 고사를 중심으로", 국어교육학연구, (20), pp.59~84 (2004), 국어교육학회
- 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－", 국어교육학연구, (37), pp.367~391 (2010), 국어교육학회
- 박인기, "국어교육 평가의 패러다임 변화와 실천", 국어교육, 102, pp.87~111 (2000), 한국국어교육연구회
- 박인기, "국어과 평가의 반성과 전망", 국어교육학연구, (32), pp.5~31 (2008), 국어교육학회
- 박준용, "국어과 평가 전문가의 문항 개발 전문성 탐색 -국어과 문항 개발 협의 과정을 중심으로-", 한국어문교육, 13, pp.57~89 (2013), 고려대학교 한국어문교육연구소
- 성태제, "문항반응이론의 이해와 적용" (2001), 교육과학사
- 성태제, "문항제작 및 분석의 이론과 실제" (2004), 학지사
- 유재영, "고등학교 읽기 평가 문항 분석 연구 : 국가 수준 문항과 학교 수준 문항의 비교를 통해서", 석사, 국어교육, pp.2004
- 이삼형, "국어교육 평가의 관점", 국어교육학연구, 9, pp.257~280 (1999), 국어교육학회
- 이영범, "중학교 시 단원의 지필평가 문항 실태 분석", 석사, 국어교육, pp.2011
- 이은희, "문법 평가의 현황과 과제 - 국가 수준 학업 성취도 평가를 중심으로 -", 문법 교육, 15, pp.1~29 (2011), 한국문법교육학회
- 이현숙, "다국면 라쉬모형을 적용한 논술 채점 상황에서 채점 설계 및 채점자 특성이 채점의 정확성에 미치는 효과", 교육평가연구, 21(4), pp.129~152 (2008), 한국교육평가학회
- 임천택, "초등교사의 국어과 평가 전문성 실태 분석 - 평가 문항 개발을 중심으로 -", 학습자중심교과교육연구, 10(2), pp.347~370 (2010), 학습자중심교과교육학회
- 정혜승, "교사의 읽기 평가 전문성 실태: 지필 평가 문항 분석을 중심으로", 독서연구, (19), pp.307~346 (2008), 한국독서학회
- 주세형, "평가 문식성 신장을 위한 국어과 교사 교육", 문법 교육, 15, pp.31~50 (2011), 한국문법교육학회
- 주세형, "국어과 문법 평가 이론의 발전 방향", 국어교육, (135), pp.39~66 (2011), 한국어교육학회
- 주세형, "서울 K고 국어과 정기 고사에서의 문법 평가 실태 조사 연구", 언어와 정보 사회, 12, pp.37~70 (2010), 언어정보연구소
- 조재윤, "국가수준 국어과 학업성취도 평가의적합성 검토 연구：국어과 평가의 적합성 검토 VRUT 모형을 사용하여", 한국초등국어교육, (46), pp.349~377 (2011), 한국초등국어교육학회
- 지은림, "many-facet Rasch 모형을 적용한 대입 논술고사 채점의 객관성 연구", 교육평가연구, 9(2), pp.5~22 (1996), 한국교육평가학회
- 지은림, "논술형 수행평가를 위한 채점방법들의 비교", 경희대학교 교육문제연구소 논문집, 16, pp.235~246 (2000), 경희대학교 부설 교육연구소
- 지은림, "Rasch모형의 이론과 실제" (2000), 교육과학사
- 최미숙, "국어교육에서의 평가-‘수행평가’를 중심으로", 국어교육연구, 5(1), pp.275~298 (1998), 서울대학교 국어교육연구소
- 최미숙, "국어교육 평가의 원리와 실제-‘통합’의 원리를 중심으로", 국어국문학, 126, pp.101~121 (2000), 국어국문학회
- 최미숙, "국어과 성취도 평가의 현황과 개선 방안", 국어교육학연구, (20), pp.237~266 (2004), 국어교육학회
- 최미숙, "국어과 평가의 방향과 탐색", 국어교육, (121), pp.79~105 (2006), 한국어교육학회
- 최숙기, "Rasch 평정척도 모형을 이용한 쓰기불안 척도 분석", 새국어교육, (87), pp.273~301 (2011), 한국국어교육학회
- 최숙기, "Rasch 모형을 활용한 요약문 평가 준거 개발 및 타당도 분석 －고등학생 설명문 텍스트 요약하기를 중심으로－", 독서연구, (25), pp.415~451 (2011), 한국독서학회
- 최숙기, "Rasch 모형을 활용한 국어 교사 평가 전문성 척도개발 및 타당화 연구", 청람어문교육, (56), pp.313~340 (2015), 청람어문교육학회
- 최지현, "선택형 지필 평가의 한계와 가능성", 국어교육, 103, pp.107~131 (2000), 한국국어교육연구회
- 최지현, "초·중·고등학교에서의 독서 평가와 작문 평가", 독서연구, (28), pp.142~174 (2012), 한국독서학회
- 최호성, "선택형 평가와 수행적 평가의 상호관계에 관한 연구", 교육이론과 실천, 6, pp.155~170 (1996), 경남대학교 교육문제연구소
- 하상수, "고등학교 국어과 총괄평가용 교사제작검사지 문항양호도 분석", 석사, 교육과정및수업, pp.2010
- 한국교육과정평가원, "국어과 교사의 학생 평가 전문성 신장 모형과 기준" (2004), 한국교육과정평가원
- Bond, T., "Applying the Rasch Model" (2007), Routledge
- Boon, W. J, "Rasch Analysis in the Human Sciences" (2013), Springer
- Reckase, M., "Unifactor latent trait model applied to multifactor tests: re sults and implications", Journal of Educational and Behavioral Sta tistics, 4, pp.207~230 (1979)
- Smith, R. M., "IPARM : Item and Persons Analysis with the Rasch Mod el" (1991), MESA Press
- Wright, B. D., "BIGSTEPS : Rasch Analysis Computer Program" (1992), MESA Press
- BICAL : Calibrating Rating Scale with th e Rasch Model, "Wright, B. D.", Statistical Lab., Department of Education, University of Chicago, ~, pp.Research Memorandum No. 23 (1976)
- Wright, B. D., "MSCALE: A Computer Program" (1988), MESA Press