디지털 취약 계층의 디지털 사이니지 사용성 향상을 위한 음성-영상 기반 UI 파이프라인 설계
Designing a Voice-Video Based UI Pipeline to Improve Digital Signage Usability for Digitally Vulnerable Groups
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 교통 약자의 디지털 사이니지 사용성 향상을 위한 음성-영상 융합형 UI 파이프라인을 제안하며크게 시각적 발화 감지와 청각적 신호 개선의 두 단계로 구성된다. 첫째, 영상 처리 모듈은 Google MediaPipe Holistic과 MobileNetV2-GRU 하이브리드 모델을 활용하여 사용자의 입술 움직임을 분석하고 실시간으로 '발화 의도'를 포착한다. 특히 데이터 증강(Data Augmentation)과 순환 버퍼(Circular Buffer)를 통해 초기 발화 손실을 방지하고 100%의 발화 감지 정확도를 달성하였다. 둘째, 음성 처리 모듈은 '불필요한개입 최소화(Do No Harm)' 원칙에 기반한 적응형 SNR(Signal-to-Noise Ratio) 노이즈 제거 알고리즘을 적용한다. 딥러닝 모델(Sepformer)이 한국어 음성 신호를 왜곡하는 문제를 해결하기 위해, SNR 6dB를 임계값으로 설정하여 저SNR 환경에서는 선별적 노이즈 제거를 수행하고, 고SNR 환경에서는 처리를 생략(Skip)하여 음성 손실을 방지한다. 특히, 저SNR환경에서 전체 데이터의 79.4% 음성처리를 생략할 경우, WER 1.07% 감소시키는 효과를 보였다. 또한 시각적 발화 감지에서 데이터 증강 기법을 적용하여 정확도 1.0(100%), 검증손실(Loss) 0.0004을 획기적으로 달성할 수 있다.
Abstract
This paper proposes a speech-image UI pipeline to improve the usability of digital signage for the mobility-challenged. It consists of two main stages: visual speech detection and auditory signal enhancement. First, the image processing module utilizes Google MediaPipe Holistic and a MobileNetV2-GRU hybrid model to analyze the user's lip movements and capture "speech intent" in real time. Specifically, data augmentation and a circular buffer prevent early speech loss, achieving 100% speech detection accuracy. Second, the speech processing module adopts an adaptive signal-to-noise ratio (SNR) noise removal algorithm based on the "Do No Harm" principle. To solve the problem of deep learning models (Sepformer) distorting Korean speech signals, the SNR threshold is set to 6 dB. It is remove noise in case of low-SNR environments and skip processing in case of high-SNR environments to prevent speech loss. In particular, if it omit the speech processing of 79.4% of the total speech data in a low-SNR environment, 1.07% decrease in WER will be achieved. Furthermore, applying data augmentation techniques in visual speech detection significantly achieve the accuracy of 1.0(100%) and the loss of 0.0004.