오픈 소스 AI를 활용한 스마트 강의 영상 생성 시스템 구현
Implementation of a Smart Lecture Video Generation System Using Open Source AI
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 대학 강의자료를 기반으로 강의 영상을 생성하는 오픈소스 AI 기반 강의 영상제작 시스템을 제안한다. 제안 시스템은 LLM과 RAG를 중심으로, 강의 대본 생성, TTS 기반 음성 합성, 디지털 휴먼 립싱크 영상 합성의 과정을 통합하여 End-to-End 방식으로 강의 영상을 생성한다. 이를 위해 국내 대학의 특정 교과목으로부터 강의자료를 수집하여 지식베이스를 구축한다. 구축된 지식베이스를 기반으로 LangChain 프레임워크를 이용해 HyperCLOVA X SEED 3B와RAG를 연계하여, 교수자의 요구에 적합한 강의 대본을 생성한다. 생성된 대본은 GPT-SoVITS에입력되며, TTS 음성 합성과 디지털 휴먼 립싱크 합성 과정을 통해 최종적으로, 현실감 있는 강의영상이 제작된다. 제안 시스템은 RAG를 연계하여 LLM 단독 모델 대비 BERTScore 5.6%, ROUGE-L 3.3%, BLEU 3.6% 향상된 성능을 보였다. 이는 제안 시스템의 RAG 구조가 외부 지식베이스의 정의문과 예시문을 참조하여 모델의 사실적 정확성과 논리적 일관성을 향상시켰음을 의미한다. 본 연구는 별도의 파인튜닝 없이 RAG 기반 접근만으로 교육용 LLM의 실질적 활용 가능성을 입증하였으며, 향후 AI 기반 스마트 교육 플랫폼 구축의 핵심 기술적 기반을 제공한다.
Abstract
In this study, we propose an open-source AI-driven lecture video generation system that automatically produces instructional videos from university lecture materials. The proposed system integrates large language models (LLMs) and retrieval-augmented generation (RAG) to generate lecture scripts, synthesize speech through text-to-speech (TTS), and create lip-synced digital human videos in a unified pipeline. To construct a domain-specific knowledge base, lecture materials were collected from two Korean universities. Using the LangChain framework, the system connects HyperCLOVA X SEED 3B with a RAG module to generate lecture scripts tailored to an instructor’s intent. The generated scripts are then processed by GPT-SoVITS for TTS synthesis and by a digital-human rendering module to produce realistic lecture videos. Experimental results show that integrating RAG improves performance over an LLM-only baseline by 5.6% in BERTScore, 3.3% in ROUGE-L, and 3.6% in BLEU. These improvements indicate that the proposed RAG structure enhances factual accuracy and logical consistency by referencing definitional and exemplar statements from external knowledge bases. This work demonstrates that even without fine-tuning, a RAG-based approach can be effectively applied to educational LLMs. It also provides foundational technology for future AI-driven smart-education platforms.