대학 강의를 위한 Open-Source AI 기반 다국어 번역 강의 자막 시스템
An Open-Source AI-Based Multilingual Translation Lecture Script System for Global University Lectures
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 대학 강의 환경에서 발생하는 언어 장벽과 전문용어 오인식 문제를 해결하기 위해실시간 음성인식과 다국어 번역 기능을 통합한 오픈소스 AI(Artificial Intelligence) 다국어 번역 시스템을 제안한다. 제안 시스템은 Whisper 기반 음성인식, BERT(Bidirectional Encoder Representations from Transformers) 및 레벤슈타인 거리 기반 교정 알고리즘, DeltaLM 다국어 번역 모델을 결합하여 강의 음성으로부터 잡음 제거, 문장 구조 정제, 문맥 기반 번역, 자막 출력까지의 전 과정을자동화한다. 특히, 컴퓨터공학 분야의 전문용어를 포함한 번역 데이터셋을 구축하고 파인튜닝을수행함으로써 전문 도메인에서의 번역 정밀도를 향상시켰다. 실험 결과, WER(Word Error Rate)이9.2%에서 4.7%로 약 51% 개선되었으며, BLEU(Bilingual Evaluation Understudy Score) 평균 점수가56.3에서 60.2로 약 6.9% 향상되어 모든 언어 쌍에서 일관된 번역 품질 개선을 확인하였다.
Abstract
We propose an open-source Artificial Intelligence (AI)-driven multilingual translation system that integrates real-time speech recognition and translation to resolve language barriers and misrecognition of technical terms in university lecture environments. The proposed system combines Whisper-based speech recognition, Bidirectional Encoder Representations from Transformers (BERT) and Levenshtein-distance based correction algorithm, and the DeltaLM multilingual translation model to automate the entire process from noise reduction and sentence refinement to context-aware translation and lecture script generation. In particular, a translation dataset containing domain-specific technical terms in the field of computer engineering is constructed and fine-tuned to improve translation precision in specialized domains. Experimental results show that the Word Error Rate (WER) decreases from 9.2 % to 4.7 %, achieving an improvement of approximately 51 %, while the average Bilingual Evaluation Understudy (BLEU) score increases from 56.3 to 60.2, corresponding to a 6.9 % performance gain. These results confirm that the proposed system achieves consistent translation quality improvements across all language pairs in academic lecture scenarios.