제어되지 않은 조명 조건하에서 입술움직임의 강인한 특징추출을 이용한 바이모달 음성인식
Bimodal speech recognition using robust feature extraction of lip movement under uncontrolled illumination conditions
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
본 논문에서는 인위적으로 조절되지 않은 조명하에서 영상특징을 정확히 추출하고 음성과 영상정보를 효과적으로 통합하는 새로운 바이모달(bimodal) 음성인식 시스템을 제안한다. 영상특징 추출과정에서는 영상에서의 불균일한 조 명을 보상한 후 여러 형태의 컬러영상으로부터 입술의 윤곽을 추출하며 이를 통해 입술의 모양에 관한 정보와 입안의 컬러 정보로 영상특징을 표현한다. 음성특징 추출과정에서는 MFCCs(Mel-Frequency Cepstral Coefficients)를 추출한다. 음성과 영상특징의 인식기로는 모두 은닉 마코프 모델(HMMs: Hidden Markov Models)을 사용한다. 영상정보와 음성정보의 통합은 후기통합모델에 기반하며, 음성신호의 잡음수준을 추정하여 영상과 음성정보간의 최적가중치를 결정하는 두 가지 방법을 제시한다. 화자의존 고립단어 숫자인식 실험을 통해, 제안된 영상특징 추출방식이기존의 변형가능한 템플(deformable template) 방법보다 우수함을 보이며, 잡음환경에서 바이모달 시스템으로 최대 12%의 인식율 향상을 얻을 수 있음을 보인다.
Abstract
This paper proposes a novel bimodal speech recognition system which successfully extracts visual features in uncontrolled illumination conditions using color information and effectively integrates acoustic and visual information. In the visual subsystem, the uneven illumination in an image is compensated and the contour points of the lip are extracted from various color images. Visual speech features are represented by geometrical contour information of lips and color information of the oral cavity. In the acoustic subsystem, mel-frequency cepstral coefficients (MFCCs) are extracted from the acoustic signal. Hidden Markov models (HMMs) are used to model both the visual and acoustic speech. Late integration method is used for information fusion. We develop two methods estimating the acoustic signal-to-noise ratio (SNR) and determining the optimal weight balancing two modalities for a given test data. For a speaker-dependent isolated digit recognition task, we show that the proposed visual feature extraction technique outperforms the deformable template method and the bimodal system improves the recognition rate by amount of a maximum 12% in the noisy environment.
참고문헌 (16)
- "음성인식 기술 개요 및 향후과제", 28(5), pp.74~80
- "최근의 음성인식 응용서비스", 28(5), pp.81~89
- "Speech recognition in noisy environments: a survey", 16, pp.261~291
- "''Hearing lips and seeing voices", 264, pp.746~748 (1976)
- "''Some preliminaries to acomprehensive account of audio-visual speechperception '' in Hearing by Eye", pp.3~51 (1987)
- "''A review of speech-based bimodal recognition", 4(1), pp.23~37
- "바이모달 음성인식의음성정보와 입술정보 결합방법 비교", 18(4), pp.31~37
- "Fundamentals of Speech Recognition" (1993), Prentice Hall
- "''Energy minimization for extracting mouth curves in a facial image", pp.381~385 (1997)
- "Combining noise compensation with visual information in speech recognition"
- "Features for audio-visual speech recognition" (1998), University of East Anglia
- "Speech Perception by Ear and Eye A Paradigm for Psychological Inquiry" (1987), LawrenceErlbaum Associates
- "Digital Image Processing", 14(1) (2004), Prentice Hall
- "''Audio-visual speech modeling for continuous speech recognition", 2(3), pp.141~151
- "Comparison of parametric representations for monosyllable word recognition in continuously spoken sentences", 28, pp.357~366 (1980)
- "Computer lipreading for improved accuracy in automatic speech recognition", 4(5), pp.337~351