저사양 엣지 환경을 위한 시각 정보 기반의 효율적 잡음 제거 및 발화 감지 파이프라인
Enhancing Voice Recognition Accuracy through Sequential Application of Visual Speech Detection and Noise Reduction
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
기존의 에너지 기반 VAD(Voice Activity Detection)는 소음이 심한 환경에서 음성과 비음성을 명확하게구분하지 못하고, 불필요한 연산을 유발하는 한계를 가진다. 본 논문은 저사양 엣지 디바이스 환경에서 배경소음으로 인해 음성인식률이 저하되는 문제를 해결하기 위한 전처리 파이프라인으로 시각적 발화 검출(Visual Voice Activity Detection)을 시스템의 연산 차단 게이트(Gate)로 사용하는 4단계 순차적 파이프라인을 제시한다. 제안하는 시스템은 파이프라인에서 검증된 발화 구간에 대해서만 선별적으로 잡음 제거 및STT를 수행함으로써, 딥러닝 기반의 모델 없이도 기초적인 알고리즘 조합만으로 실시간성을 확보하고 비발화 구간의 잡음을 효과적으로 차단할 수 있음을 보였다. 실험 결과, RTF 0.134를 유지하면서 발화 구간에서의 잡음제거성능을 15.67dB로 향상시켰으며, 배경 잡음이 제거됨에 따라 Speech Loss는 14.59dB로 나타나 일반적인 잡음제거 VAD보다 전반적으로 개선된 성능을 보였다.
Abstract
Traditional energy-based voice activity detection (VAD) fails to clearly distinguish between speech and non-speech in noisy environments and leads to unnecessary computations. It presents a pre-processing pipeline to address the issue of decreased speech recognition accuracy due to background noise in low-spec edge device environments. This study designs a four-stage sequential pipeline that uses visual voice activity detection as a computational gating mechanism in the system. The proposed system selectively performs noise reduction and STT only on verified speech segments, demonstrating that real-time performance can be achieved and non-speech noise can be effectively blocked using only a basic combination of algorithms, without the need for deep learning-based models. Experimental results show that the system maintains an RTF of 0.134 while improving noise reduction performance in speech-active segments to 15.67 dB, and as background noise is removed, a Speech Loss of 14.59 dB is observed, demonstrating overall improved performance compared to conventional noise-removal-based VAD.