LSA를 이용한서술형 주관식 평가 시스템의 설계 및 구현
Design and Implementation of the Subjective Evaluation System Using LSA
0
조회
0
다운로드
4
인용
0
참고문헌
초록
자동화된 교육 평가 시스템과 관련된 연구가 컴퓨터 기술의 발전에 따라 크게 개선되어 왔다. 그러나 이전의 자동화된 교육 평가 시스템에서는 기술적인 한계 때문에 주로 선다형 객관식 평가 방법이 적용되어 왔고 몇몇의 주관식 평가 시스템의 경우는 주로 간단한 단어 매칭 기법을 채용한 것이었다. 본 논문에서는 기존의 시스템들을 분석하여 이러한 과거의 주관식 평가 시스템이 갖는 한계를 극복할 수 있는 자동화된 주관식 평가 시스템을 설계하고 구현하여 그 성능을 평가하였다. 개발된 시스템은 LSA(Latent Analysis)를 사용하고 있으며 이를 통하여 정확한 답과 학습자의 답이 갖는 의미적인 유사도를 평가하게 하도록 하였다. 개발된 시스템의 성능을 평가하기 위하여 LSA 평가 결과와 인간 교사의 채점 결과를 비교하도록 하였다. 비교 결과는 LSA 기반의 자동화된 주관식 평가와 인간 교사의 채점 결과가 매우 유사함을 보였으며 이는 개발된 시스템이 효과적으로 자동화된 주관식 평가 시스템으로 사용될 수 있음을 보이는 것이 라고 결론지을 수 있다.
Abstract
The researches related to educational evaluation systems have been significantly improved with the progress of computer technology. However, previous automatic educational evaluation systems have been based upon the multiple choice selection style approach due to technological difficulties and some subjective evaluation systems are based on simple word matching approaches. In this paper, we have designed and implemented a prototype of automatic subjective evaluation system that copes with previous subjective evaluation systems' drawbacks after analyzing previous systems. Our system uses the LSA (Latent Semantic Analysis) for estimating the semantic similarities between correct answer and student's answer. To measure the system's performance, we compare the LSA outcomes and human teachers' grading results for given questions. The comparison results show that the LSA based automatic subjective evaluations are very similar to human teachers' grading results and we conclude that the developed system can be effectively used for automatic subjective evaluation system.
참고문헌 (17)
- 김경민, "English Collocation^A LatentSemantic Analysis" (2004), 서울대학교
- 김현권, "EuroWordNet의 구성 원리와 설계", pp.146~147 (2000)
- 진영선, "컴퓨터 시스템 구조’ 과목을 위한 형성 총괄 평가 시스템의 설계 및 구현" (2000), 한국교원대학교
- 김홍기, "주관식 평가를 위한 웹 기반 온라인 평가 시스템에 관한 연구" (2003), 계명대학교
- 한영자, "Web을 이용한 학습능력 평가시스템 연구", pp.28~ (2001), 경희대학교
- Deerwester, "Indexing by latent semantic analysis", 41, pp.391~407 (1990)
- 권재술, "초·중학생들의 과학탐구능력 측정도구의 개발", 14(3), pp.251~264 (1994)
- Foltz,P. W, "Latent semantic analysisfor text-based research. Behavior ResearchMethods", and computers 28, pp.197~202 (1996)
- 류애리, "LSA(Latent Semantic Analysis) 모형의 소개와 적용" (2000), 서울대학교
- 박희정, "유의어 사전을 이용한 주관식문제 채점 시스템 설계 및 구현", 6(3) (2003)
- Landauer, ". Asolution to Plato's problem The latentsemantic analysis theory of acquisition and representation of knowledge.Psychological Review. 104", pp.211~240 (1997)
- 신동호, "Latent Semantic analysis를 이용한 내용기반 정보검색 시스템" (2000)
- Landauer, "Introduction to latent semanticanalysis. Discourse Processes", pp.259~284 (1998)
- Ki-Sang Song. et al, "A framework ofsynthesizing tutoring conversation capabilitywith web-based distance educationcourseware. Journal of the Computers &Education. Vol. 42 pp. 375-388.", 42 (2004)
- 이진경, "웹 기반 학습을 위한 평가 시스템 설계 및 구현" (2000), 서울교육대학교
- 정상목, "웹 기반 평 가시스템의 고찰", pp.144~145 (2004), 컴퓨터 교육학회
- Wolfe, ". Learning from text Matching readers and texts by latent semanticanalysis. Discourse Processes 25", pp.309~336 (1998)