자기 평가 및 동료 평가를 통한 공적 말하기 수행평가의 대면 시행과 온라인 시행 시 적합성과 공정성 탐색
Exploring suitability and fairness in face-to-face and online implementation of public speaking performance evaluation through self- and peer-assessment
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 연구는 온라인과 대면 상황에서 자기 평가와 동료 평가에 의해 고등학생들의 공적 말하기 수행을 평가할 때 적합하고 공정한 평가가 가능한지를 실증적으로 탐색하였다. 26명의 고등학생이 공적 말하기를 수행하고 전통적인 방식대로 대면 상황에서 자기 평가와 동료 평가를 실시하였다. 또 다른 23명의 고등학생이 홀로 공적 말하기를 수행하고 이를 녹화하여 공유한 뒤 온라인으로 자기/동료 평가를 실시하였다. 이들과의 비교 집단으로 22명의 대학생이 홀로 공적 말하기 수행, 녹화, 공유하고 온라인으로 자기/동료 평가를 실시하였다. 그 결과 고등학생 두 집단 모두 대학생 집단보다 채점자로서의 적합성이 부족하였고 채점 엄격성에서의 편차가 더 크게 나타났다. 그리고, 고등학생/대면 집단의 공적 말하기 수행 능력은 대학생/온라인 집단보다 낮게 평가되었다. 이러한 결과가 지닌 시사점을 화법 교육의 관점에서 논의하였다.
Abstract
This study empirically explored whether suitable and fair assessment results can be obtained when evaluating high school students’ public speaking performance by self- and peer-evaluation in online and face-to-face situations. Twenty-six high school students performed and self-/peer-evaluated public speaking in traditional, face-to-face situations. Twenty-three high school students performed public speaking alone, video-recorded and shared, and then conducted the evaluation online. As a comparative group with them, 22 college students performed and evaluated public speaking online. As a result, both high school student groups lacked the suitability as raters than the college student group, and the deviation in the rater severity was larger. In addition, the public speaking performance ability of the face-to-face/high school students were evaluated lower than those of the online/college students. The implications of these results were discussed from the perspective of oracy education.
참고문헌 (40)
- 교육부, "국어과 교육과정, 교육부고시 제2022-33호, ｢별책 5｣", 교육부, ~ (2022)
- 교육부, "2021 국가수준 학업성취도 평가 결과 및 대응 전략 발표", 교육부 보도 자료(2022.6.13.), ~ (2022)
- 김민정, "학습 방법으로서의 동료평가 : 평가자 및 피평가자의 역할이 학습자의 초인지, 학업성취, 학습동기에 미치는 영향", 교육공학연구, 21(4), pp.1~28 (2005)
- 배수정, "대학 수업에서 누적 동료평가 점수를 활용한 성적 산출 방법의 타당성", 인지과학, 27(2), pp.221~245 (2016)
- 서장욱, "온라인 기반 대학교육 환경에서 학습자 실재감 강화를 위한교수설계자의 실천과제 연구", 학습자중심교과교육연구, 20(8), pp.695~718 (2020)
- 서종훈, "담화 갈래와 평가 주체에 따른 쓰기 평가의 상관 연구", 우리말교육현장연구, 8(1), pp.73~108 (2014)
- 이기영, "비대면 성취도 평가에 대한 한국어 교수자들의 인식 연구", 어문연구, 111, pp.265~297 (2022)
- 이슬기, "다국면 Rasch 모형을 적용한 대학 교양 말하기 과목의 동료평가연구 : 설득적 말하기와 정보전달 말하기를 중심으로", 화법연구, 48, pp.1~35 (2020)
- 이창덕, "화법 교육론" (2017), 역락
- 류수열, "국어교육 평가론" (2021), 사회평론아카데미
- 박창균, "말하기 평가 방법의 활용 방안", 화법연구, 43, pp.1~24 (2019)
- 임지은, "온라인 학습자가 인식하는 실재감이 자기조절효능감과 주도적 참여를 매개로 성취도와 만족도에 미치는 영향", 교육방법연구, 32(3), pp.461~485 (2020)
- 조재윤, "말하기 평가 방법간 신뢰도 분석 연구 : 초등학생의 설득하는 말하기를 중심으로", 국어교육학연구, 27, pp.493~514 (2006)
- 조재윤, "말하기 평가의 요소 설정 연구 : 델파이 기법을 이용하여", 새국어교육, 75, pp.337~358 (2007)
- 최미숙, "국어 교육의 이해" (2023), 사회평론아카데미
- 최영인, "국어과 교사들의 설득 담화 평가 양상 및 인식에 관한 고찰", 국어교육연구, 29, pp.219~250 (2012)
- 최영인, "말하기평가 채점 기준표(rubric)의 상세화 및 적용 사례 연구", 새국어교육, 134, pp.7~53 (2023)
- 허선익, "설득하는 말하기에서 전문가 평가와 동료 평가에 대한 비교 분석", 국어교육, 153, pp.109~142 (2016)
- Aryadoust, V., "Self-and peer assessment of oral presentations by first-year university students", Educational Assessment, 20, pp.199~225 (2015)
- Bond, T. G., "Applying the Rasch Model: Fundamental Measurement in the Human Sciences" (2007), Erlbaum
- Broeckelman-Post, M. A., "Online versus face-to-face public speaking outcomes : A comprehensive assessment", Basic Communication Course Annual, 31, pp.144~170 (2019)
- Brown, G., "Handbook of Research on Classroom Assessment" (2013), Sage
- De Grez, L., "How effective are self-and peer assessment of oral presentation skills compared to teachers’assessments?", Active Learning in Higher Education, 13(2), pp.129~142 (2012)
- Dragememark, A., "Self, Peer, and Group Assessment in e-learning" (2006), Idea Group Inc
- Falchicov, N., "Student peer assessment in higher education : A meta-analysis comparing peer and teacher marks", Review of Educatioanl Research, 70, pp.287~322 (2000)
- Falchicov, N., "Improving Assessment Through Student Involvement : Practical Solutions for Aiding Learning in Higher and Further Education" (2005), RoutledgeFalmer
- Helms, J. L., "Comparing student performance in online and face-to-face delivery modalities", Journal of Asynchronous Learning Networks, 18(1), pp.147~161 (2014)
- "Wright Map: IRT Item-Person Map with ConQuest Integration" (2014)[URL]
- Langan, A. M., "Peer assessment of oral presentations : effects of student gender, university affiliation and participation in the development of assessment criteria", Assessment & Evaluation in Higher Education, 30(1), pp.21~34 (2005)
- Linacre, J. M., "Many-faceted Rasch measurement", Doctor, pp.1989
- Littel, D., "The common European framework and the European language portfolio : Involving learners in their judgements in the assessment process", Language Testing, 22, pp.321~336 (2005)
- Luoma, S., "말하기 평가" (2013), 글로벌콘텐츠
- Evaluation of evidence-based practices in online learning: A meta-analysis and review of online learning studies, "Means, B.", US Department of Education, ~ (2010)
- Melvin, K. B., "The prof", peer method of evaluating class participation : Interdisciplinary generality, 1995, pp.29, 258~258
- Morreale, S., "Teaching public speaking online-not a problem but an opportunity!", Journal of Communication Pedagogy, 2, pp.76~82 (2019)
- Reckase, M. D., "Unifactor latent trait models applied to multifactor tests : Results and implications", Journal of Educational and Behavioral Statistics, 4(3), pp.207~230 (1979)
- Robitzsch, A., "TAM: Test Analysis Modules, R package version 4", 1~4 (2022)
- Topping, K., "Optimising new modes of assessment: In search of qualities and standards" (2003), Kluwer Academic Publishers
- Westwick, J. N., "A digital divide? Assessing self-perceived communication competency in an online and face-to-face basic public speaking course", Basic Communication Course Annual, 28, pp.48~86 (2016)
- Wind, S. A., "Rasch Measurement Theory Analysis in R" (2022), CRC Press