의과대학 수업수준에서의 준거설정 사례 연구
Study on Standard Setting Methods Applied to Medical School Class
1
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
역량중심교육은 학생교육의 질적 강화 및 구체적인 교육효과를 요구하고 있다. 이를 위해서는적절한 성취수준 설정 및 학생의 도달 여부를 확인하는 준거참조평가(절대평가)가 보다 적절할것이다. 준거참조평가를 위해서는 준거설정방법을 통해 각 성취수준을 구분하는 분할점수를 산출해야 한다. 기존 준거설정방법들은 대부분 고부담시험에 적용되었으나, 대학의 수업수준에서이뤄진 연구는 거의 없었다. 본 연구는 준거참조평가를 시행하는 의과대학의 실제 수업에서 활용하는 준거설정방법을 소개하였다. 이를 위해 준거설정방법 중 Modified Angoff 방법과 Modified Ebel 방법을 이용하여 성취수준별 분할점수를 산출했다. 산출결과 Modified Ebel 방법이 Modified Angoff 방법보다 엄격하게 평정되어 분할점수가 높았다. 또한 Modified Ebel 방법은 예상정답률과 실제정답률을 사용했을 때 분할점수에 차이가 있었으며, 실제정답률을 반영하는 것이 보다현실적이었다. 본 연구는 고부담시험에서 주로 이뤄지는 준거설정을 실제 의과대학에서 사용하는 방법으로 의과대학 성적에 적용해 보았다는데 의의가 있다. 창의성 기반의 역량중심교육을보다 활성화하려면, 경쟁에 관심을 두는 규준참조평가보다는 협력학습을 가능하게 하는 준거참조평가가 더욱 강조될 것이고, 이때 다양한 준거설정방법이 수업수준에 적용될 것으로 예측된다.
Abstract
Competency-centered education and the Fourth Industrial Revolution require qualitative strengthening of student education and concrete educational effects. To do this, it is appropriate to establish appropriate levels of achievement and to assess the criterionreferenced evaluation (so-called absolute evaluation). For the criterion-referenced evaluation, the division score between each grade should be calculated through the standard setting method. The existing standard setting methods were carried out in high-stakes examinations, but there were few studies conducted at the class level of universities. This study compares the standard setting method of the medical school which performs the criterion referenced evaluation in the actual class level. Among the standard setting methods, the modified score was calculated using Modified Angoff method and Modified Ebel method. As a result, Modified Ebel method was more strict than Modified Angoff method, and the Modified Ebel method had a higher cutoff score than the Modified Angoff method. It was more realistic to reflect actual difficulty. In this study, it is meaningful to apply the standard setting method, which is mainly used in the high stakes test, to the results of the medical college as a method used in actual medical college. In the future, competency-based evaluation will be more emphasized in order to activate competence-based education and creativity through cooperative learning rather than competition.
참고문헌 (25)
- 교육부, "‘지능정보화사회에 대응한 중장기 교육정책의 방향과 전략’시안 발표", ~ (2016)
- 김성숙, "고등학교 성취평가에서의 고정분할점수와 수준설정방법 적용 결과의 비교 분석", 교육평가연구, 27(1), pp.1~22 (2014), 한국교육평가학회
- 김영경, "의대생의 스트레스와 알코올 중독, 인터넷 중독 및 도박중독과의 관계: 영적 안녕의 매개효과", 상담학연구, 14(1), pp.97~114 (2013), 한국상담학회
- 박장희, "준거 및 경계선 학생 개념과 준거설정방법", 절대평가중심의 학생평가체제수립 워크숍 자료집, pp.121~145 (2014), 연세대학교 의과대학 의학교육 아카데미
- 성태제, "준거설정" (2011), 학지사
- 성태제, "현대교육평가" (2014), 학지사
- 연세대학교 의학교육학과, "연세대학교 의학교육학과 20주년 기념 자료집" (2016), 연세대학교 의학교육학과
- 최윤섭, "인공지능: 미래의사의 역할을 대체할 것인가", 의학교육논단, 18(2), pp.47~50 (2016), 연세대학교 의과대학[DOI]
- 한국교육평가학회, "교육평가용어사전" (2004), 학지사
- A. Abdalla Alsmadi, "A comparative Study of Two Standard-Setting Techniques", SOCIAL BEHAVIOR AND PERSONALITY, 35(4), pp.479~486 (2007)
- AERA, "Standard for Educational and Psychological Testing" (2014), American Educational Research Association
- Angoff, W. H., "Educational Measurement" (1971), American Council on Education
- Bandaranayake RC., "Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37", Medical Teacher, 30(9-10), pp.836~845 (2008)
- Berk, R. A., "A consumer's guide to setting performance standards on criterion-referenced test", Review of Educational Research, 56, pp.137~172 (1986)
- Cizek, G. J., "Reconsidering standards and criteria", Journal of Educational measurement, 30(2), pp.93~106 (1993)
- Cizek, G. J., "Standard setting: A guide to establishing and evaluating performance standards on tests" (2007), SAGE Publications
- Ebel, R. L., "Essentials of Educational Measurement" (1972), Prentice-Hall
- Kane, M. T., "Setting Performance Standards:Concepts, Method, and Perspectives", pp.53~88 (2001), Lawrence Erlbaum Associates
- Homer, M., "Psychometric characteristics of integrated multi-specialty examinations : Ebel ratings and unidimensionality", Assessment & Evaluation in Higher Education, 37(7), pp.787~804 (2012)
- Mee, J., "The Impact of Process Instructions on Judges' Use of Examinee Performance Data in Angoff Standard Setting Exercises", Educational Measurement : Issues & Practice, 32(3), pp.27~35 (2013)
- Mills, C. N., "Estimating and adjusting cutoff scores : Features of selected methods", Appled Measurement in Education, 1, pp.261~275 (1988)
- Popham, W. J., "As Always, Provocative", Journal of Educational Measurement, 15(4), pp.297~300 (1978)
- Schindler N, "Description and impact of using a standard-setting method for determining pass", fail scores in a surgery clerkship, 2007, pp.193(2), 252~257
- Schwab, K., "The fourth industrial revolution" (2017), Penguin UK
- Yudkowsky, R., "Simpler standards for local performance examinations : the Yes", No Angoff and whole-test Ebel, 2008, pp.20(3), 212~217