기업 e-러닝 학업성취도 측정 문항 난이도 분석: 문항반응 이론을 기반으로
Validation of corporate e-Learning test item difficulty in Korea: IRT(Item Response Theory)-based approach
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 국가 정책적 지원을 받는 기업 e-러닝의 성과 평가를 위해 전제되어야 할 학업성취도 측정도구의 난이도를 분석하기 위한 목적으로 수행되었다. 이를 위해 문항반응이론(Item Response Theory)에 기반한 문항모수 분석을 실시하였다. 전문직무, 경영일반, 컴퓨터 등 3개 영역, 총 9개 과정별 평균 64문항에 대해 총 21,596명의 유효 응답자가 참여한 연구 결과, 첫째, 문항반응이론을 통한 기업 e-러닝 문항 난이도 분석이 비교적 적합하다는 것을 확인할 수 있었다. 모형적합도 분석 과정에서 적합하지 않은 문항의 숫자가 상대적으로 적은 것으로 나타났는데 이는 해당 문항들의 관찰된 정답 반응 비율이 너무 넓은 능력 범위를 포함하고 있기 때문인 것으로 판단할 수 있다. 둘째, 연구 대상 9개 콘텐츠의 문항 난이도는 대체로 “낮은” 수준이었으며, 그 중에서도 경영일반 역량(커뮤니케이션 등)의 경우는 “매우 낮은” 난이도를 갖고 있음이 확인되었다. 셋째, 문항별 난이도 평정 점수는 내용 전문가의 판단과 문항반응이론에 의한 검증 결과 간에 차이가 있는 것으로 나타났다. 이러한 차이는 9개 콘텐츠 모두에게서 발견되었다. 이러한 연구 결과에 따라 기존 기업 e-러닝 성취도 측정 문항의 개선 필요점을 정책적 및 교수설계적 측면에서 제시하였다.
Abstract
The study investigated the difficulty of achievement test items of Korean e-Learning contents for corporate employees using IRT (Item Response Theory) method. 9 e-learning contents under the three domains of professional skills, general management, and computer skills with 21,596 respondents were invited as subjects. Results indicated; 1) validity of IRT approach to the analysis of items in Korean e-Learning contents was evidenced, 2) level of difficulties of the test items were generally low, and 3) no sign correlation was found between the difficulty scores provided by human raters and those by IRT analysis across the 9 contents. Interpretations and implications of the results were provided along with the limitations of the present study.
참고문헌 (36)
- 기업 e-Learning 질 관리 제도 개선방안 연구, "권성연", 한국직업능력개발원, ~ (2005)
- 김명숙, "Rasch 측정모형에 의한K 비판적 사고성향 검사의 양호도 검증", 교육평가연구, 20(2), pp.101~124 (2007), 한국교육평가학회
- 나현미, "기업 e-Learning 시스템 구축 및 운영 가이드라인 개발" (2006), 한국전자거래진흥원
- 박정, "문항반응이론과 선형방법에 의한 대학수학능력시험 선택과목 조정점수 비교", 교육학연구, 40(5), pp.8~180 (2002), 한국교육학회
- 기업 e-Learning 운영실태 분석 연구, "변숙영", 한국직업능력개발원, ~ (2006)
- 서현주, "학습 공동체의 특성이 기업 e-learning 성과에 미치는 영향", 지식경영연구, 5(1), pp.19~38 (2004), 한국지식경영학회
- 성태제, "문항반응이론의 이해와 적용" (2005), 교육과학사
- 성태제, "문항제작 및 분석의 이론과 실제" (2008), 학지사
- 성태제, "교육평가의 기초" (2009), 학지사
- 송은하, "문항 반응 이론에 의한 학습자 평가 시스템 설계 및 구현", 컴퓨터교육학회 논문지, 6(2), pp.1~8 (2003), 한국컴퓨터교육학회
- 양은하,정재삼, "학습전이의 진단도구를 추구하며", 기업교육연구, 8(2), pp.101~122 (2006)
- 유평준, "e-러닝 평가의 구성요소 및 평가준거에 관한 소고", 산업교육연구, 9, pp.73~94 (2003)
- 임미경, "문항반응이론을 의사국가시험에 적용하기 위한 일차원성 및 적합도 검정", 한국의학교육, 19(2), pp.163~169 (2007), 한국의학교육학회
- 임정훈, "웹기반 교육의 비용효과성 분석을 위한 탐색적 연구", 기업교육연구, 3(1), pp.49~75 (2001)
- 정금희, "간호사국가시험 문항 분석에 문항반응이론의 적용 가능성", 보건의료교육평가, 2(1), pp.23~29 (2005)
- 정재삼, "교육프로그램평가" (2004), 교육과학사
- 정화영, "문항난이도를 이용한 웹 서비스 기반의적응적 이러닝 시스템", 인터넷정보학회논문지, 10(3), pp.151~157 (2009), 한국인터넷정보학회
- 정희영, "컴퓨터 기반 검사에서 소규모 수험자 집단에 대한 문항반응이론 적용" (2008), 한국학술정보(주)
- 조일현, "보육교사 양성 e-러닝 과정의 효과성 분석", 정보교육학회논문지, 11(3), pp.289~298 (2007), 한국정보교육학회
- 조일현, "고용보험법 적용 국내 기업 e-러닝의 콘텐츠와 운영의 질이 학습 성과 및 전이에 미치는 영향", 교육공학연구, 25(2), pp.27~46 (2009), 한국교육공학회
- 주영주, "기업 이러닝 강좌평가를 위한 측정도구 개발 및 양호도 검증", 기업교육연구, 10(2), pp.1~20 (2008), 한국기업교육학회
- 주영주, "기업 사이버교육생의 학업적 자기효능감, 자기조절학습능력, 온라인과제가치가 학업성취도와 학습전이에 미치는 영향", 지식경영연구, 9(4), pp.1~16 (2008), 한국지식경영학회
- 한향숙, "SCORM 기반의 e-Learning 시스템에서 적응형 학습자 수준 판단기법", 한국정보과학회 학술발표논문집, pp.566~568 (2003), 제주대학교
- Baker, F. B, "The basic of item response theory (2nd ed.)" (2001), ERIC
- Baldwin, T. T, "Transfer of training: a review and direction for future research", Personal Psychology, 41(1), pp.63~105 (1988)
- Broad, M. L, "Transfer of training action-packed strategies to ensure high payoff from training investments" (1992), Addison-Wesley Publishing Company
- Engelhard Jr, G, "Using item response theory and model-data fit to conceptualize differential item and person functioning for students with disabilities", Educational and Psychological measurement, 69(4), pp.585~602 (2009)
- Ford, J. K, "Transfer of training: an updated review and analysis", Performance Improvement Quarterly, 10(2), pp.22~41 (1997)
- Glas, C. A. W, "A comparison of item-fit statistics for the three-parameter logistic model", Applied Psychological Measurement, 27(2), pp.87~106 (2003)
- Hambleton, R. K, "Item response theory and testing practices: current international status and future directions", European Journal of Psychological Assessment, 13(1), pp.21~28 (1997)
- Hazari, S, "Online testing methods in web-based training courses. in: based training. Englewood Cliffs" (2001), Educational Technology Publications
- Holton, E. F, "The flawed four-level evaluation model", Human Resource Development, 7(1), pp.5~20 (1996)
- Holton, E. F, "An examination of learning transfer system characteristics across organizational settings", Human Resource Development Quarterly, 14(4), pp.459~482 (2003)
- Hulin, C. L, "Recovery of two- and three-parameter logistic item characteristic curve: a monte carlo study", Applied psychological Measurement, 6(3), pp.249~260 (1982)
- Kirkpatrick, D. L, "Evaluation training programs(3th ed)" (2006), Berrett-Koehler
- Phillips, P. P, "The value of learning" (2007), John Wiley & Sons, Inc