MLSQ: 멀티모달 기반 학습 자료 요약 및 문제 생성 시스템
MLSQ: A Multimodal-based System for Learning Material Summarization and Question Generation
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
디지털 교육 환경의 보편화에 따라 다양한 멀티미디어 학습 자료가 활용되고 있으나, 이는 종종 학습자의 수동적인 정보 습득으로 이어지는한계를 가진다. 기존의 텍스트 기반 자동 문제 생성 기술 역시 이러한 한계를 극복하기에는 부족하다. 이에 본 연구는 동영상 강의와 서면 자료를통합 분석하는 멀티모달 기반 학습 자료 요약 및 문제 생성 시스템(MLSQ)을 제안한다. 이 시스템은 OCR과 STT로 추출된 데이터뿐만 아니라,강의 영상에서 탐지된 필기 정보를 핵심 강조점으로 활용하여 이 모든 데이터를 시간 정보를 기준으로 정밀하게 융합하고, 이를 대형 언어 모델(LLM)에 입력하여 학습 내용을 요약하며 주관식 및 객관식 문제를 자동 생성한다. 성능 평가 결과, 제안된 멀티모달 융합 방식은 단일 모달 방식 대비BLEU 점수에서 최대 3.4%p, ROUGE-L 점수에서 최대 3.1%p 향상된 성능을 보였다. 또한, 5점 척도의 사용자 만족도 평가(MOS)에서 음성 변환신뢰도 및 문제 생성의 학습 적합성 항목이 평균 4.33점을 기록하는 등 모든 항목에서 4.0 이상의 높은 점수를 획득하여 제안 시스템의 교육적실용성과 효과성을 입증하였다.
Abstract
While the proliferation of digital learning environments has increased the use of diverse multimedia materials, this often leads to passivelearning. Existing text-based automatic question generation technologies are insufficient to overcome this limitation. Therefore, this studyproposes an AI-based system (MLSQ) that integrates and analyzes video lectures and written materials. This system precisely fuses textdata extracted via OCR and STT, along with handwriting information detected from the lecture video as a key emphasis point, basedon temporal information and inputs it into a Large Language Model (LLM) to summarize learning content and automatically generateboth short-answer and multiple-choice questions. Performance evaluation results showed that the proposed multimodal fusion methoddemonstrated improved performance over single-modal approaches, with a maximum increase of 3.4%p in BLEU score and 3.1%p inROUGE-L score. Furthermore, in a 5-point Mean Opinion Score (MOS) user evaluation, the system demonstrated its educational practicalityand effectiveness by achieving high scores above 4.0 in all categories, with ‘Speech Conversion Reliability’ and ‘Learning Suitability ofQuestion Generation’ receiving an average of 4.33.