글쓰기 채점 전문 인력 양성 프로그램 개발 연구
Research on Developing a Program to Train Rating Experts in Writing Assessment
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
이 연구는 글쓰기 채점 전문 인력을 양성하기 위한 프로그램을 개발하고 시행하며 그 과정에서 고려해야 할 쟁점과 향후 과제에 대해 논의하는 것을 목적으로 한다. 이를 위해 개발 연구의 절차에 따라 프로그램의 설계, 개발, 실행, 평가의 네 단계를 거쳐 연구를 수행하였다. 설계 단계에서는 글쓰기 채점자 교육을 위한 문헌 및 사례 검토를 통해 프로그램의 설계 원리를 도출하고 교육과정과 교육 내용을 설계하였다. 프로그램 개발 단계에서는 단계별 교육 자료와 교육 참여자 대상 설문 도구를 개발하고 개발 자료에 대한 내적 타당화를 위해 전문가 검토를 진행하였다. 이후 대학에서 글쓰기 과목을 담당하고 있는 교강사를 대상으로 참여자를 모집하여 프로그램을 시행하였다. 이후 오프라인 교육에서 수집된 채점 신뢰도와 설문 결과를 분석하여 프로그램 시행 결과에 대한 외적 타당화를 수행하였다. 마지막으로 프로그램의 개발, 운영, 활용의 세 차원에서의 쟁점을 도출하고 이와 관련하여 프로그램의 교육 내용 및 운영 모델의 고도화 방안, 교수·학습 효과 및 참여도 제고를 위한 전략 모색, 프로그램의 활용도를 강화하기 위한 방안 등을 향후 과제로서 제시하였다.
Abstract
This study aimed to develop and implement a program to train rating experts in writing assessments and to discuss related issues and future challenges. The study was conducted in four phases: design, development, implementation, and evaluation of the program, following the procedures of developmental research. In the design phase, a literature review and case review of writing assessment and rater training were conducted to derive program design principles and develop the curriculum and training content. During the development phase, step-by-step training materials and rater training survey tools were created, and expert reviews were conducted to ensure the materials’ internal validity. Participants, recruited from teachers of the university's writing classes, implemented the program. External validation of the program’s results was conducted by analyzing the writing assessment reliability data collected from the in-person training and the participants' pre- and post-surveys. Lastly, this study identified issues in three dimensions: program development, operation, and utilization. It suggested future tasks, such as improving the program's educational content and operational model, exploring strategies to improve teaching-learning effectiveness and participation, and strengthening program utilization.
참고문헌 (29)
- 강지혜, "설계·개발연구와 설계기반연구의 연구동향 분석 : 주제범위 문헌고찰", 교육공학연구, 38(3), pp.661~698 (2022), 한국교육공학회[DOI]
- 인공지능 활용 국어능력 진단체계 개발 기초 연구, "민병곤", 국립국어원, ~ (2022)
- 2023년 국민의 글쓰기 능력 진단 체계 개발, "민병곤", 국립국어원, ~ (2023)
- 박종임, "국어교사의 쓰기 평가 특성 연구", 박사, 국어교육전공, pp.2013
- 박종임, "쓰기 평가 전문성 신장을 위한 온라인 채점자 훈련 프로그램 개발 방향 연구", 작문연구, 17, pp.413~440 (2013), 한국작문학회
- 백유진, "일관성 수준에 따른 논설문 평가 과정의 인지적 차이 분석", 작문연구, 44, pp.37~72 (2020), 한국작문학회[DOI]
- 서수현, "쓰기평가협의과정에나타난쓰기평가자의인식연구", 국어교육학연구, 44, pp.335~367 (2012), 국어교육학회[DOI]
- 이영식, "영어작문 평가에 대한 채점자 훈련의 원리", 영어교육, 55(2), pp.201~217 (2000), 한국영어교육학회
- 임철일, "교수설계 이론과 모형" (2012), 교육과학사
- 전형길, "한국어 교사의 쓰기 평가 문식성 연구", 이중언어학, 69, pp.213~248 (2017), 이중언어학회[DOI]
- 최윤곤, "한국어 교사의 채점자 훈련 모형 개발", 한국언어문화학, 10(2), pp.295~316 (2013), 국제한국언어문화학회
- 홍은실, "한국어 말하기 평가의 채점 타당도 연구-워크숍 기반의 채점자 훈련을 중심으로", 국제어문, 84, pp.513~544 (2020), 국제어문학회
- Bachman, L. F., "언어테스팅의 설계와 개발" (2004), 범문사
- Bejar, I. I., "Rater cognition: Implications for validity", Educational Measurement: Issues and Practice, 31(3), pp.2~9 (2012)
- Carr, N. T., "Designing and analyzing language tests", pp.145~148 (2011), Oxford University Press
- Eckes, T., "Examining rater effects in TestDaF writing and speaking performance assessments : A many-facet Rasch analysis", Language Assessment Quarterly : An International Journal, 2(3), pp.197~221 (2005)
- Eckes, T., "Rater types in writing performance assessments : A classification approach to rater variability", Language Testing, 25(2), pp.155~185 (2008)
- Eckes, T., "Operational rater types in writing assessment : Linking rater cognition to rater behavior", Language Assessment Quarterly, 9(3), pp.270~292 (2012)
- Elder, C., "Individual feedback to enhance rater training : Does it work?", Language Assessment Quarterly : An International Journal, 2(3), pp.175~196 (2005)
- Fleiss, J. L., "Balanced incomplete block designs for inter-rater reliability studies", Applied Psychological Measurement, 5(1), pp.105~112 (1981)
- Herman, J. L., "수행평가 과제 제작의 원리와 실제" (2000), 이화여자대학교 출판부
- Lumley, T., "Assessment criteria in a large-scale writing test: What do they really mean to the raters?", Language Testing, 19(3), pp.246~276 (2002)
- Lumley, T., "Rater characteristics and rater bias : Implications for training", Language Testing, 12(1), pp.54~71 (1995)
- Myford, C. M., "Detecting and measuring rater effects using many-facet Rasch measurement: Part II", Journal of Applied Measurement, 5(2), pp.189~227 (2004)
- Purves, A. C., "In search of an internationally valid scheme for scoring compositions", College Composition and Communication, 35(4), pp.426~438 (1984)
- Richey, R., "Handbook of research for educational communications and technology", pp.1213~1245 (1996), Macmillan Simon & Schuster
- Weigle, S. C., "Investigating rater", prompt interactions in writing assessment: Quantitative and qualitative approaches, 1999, pp.6(2), 145~178
- Weigle, S. C., "쓰기평가" (2017), 글로벌콘텐츠
- Wolfe, E. W., "The relationship between essay reading style and scoring proficiency in a psychometric scoring system", Assessing Writing, 4(1), pp.83~106 (1997)