시청각 음성인식을 위한 정보통합: 신뢰도 측정방식의 비교와 신경회로망을 이용한 통합 기법
Information Fusion for Audio-visual Speech Recognition: Comparison of Reliability Measures and A Neural Network-based Fusion Method
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
시청각 음성인식은 잡음이 존재하는 환경에서 강인한 음성인식 성능을 얻기 위해 시각 정보와 청각 정보를 함께 이용하여 사람의 말을 인식하는 것이다. 다양한 잡음 환경에서 강인한 인식을 위해서는 각 정보의 상대적인 신뢰도를 측정하고 그에 따라 적절한 가중치를 두어 두 정보를 통합하는 것이 중요하다. 본 논문에서는 신뢰도를 측정하는 여러 방식들을 비교하고 적절한 가중치를 얻기 위한 새로운 신경회로망 기반 기법을 제안한다. 실험을 통해 제안하는 기법이 기존의 기법에 비해 더욱 강인한 통합인식성능을 나타냄을 보인다
Abstract
Audio-visual speech recognition is to recognize speech by utilizing both visual and acoustic information for robust speech recognition in noisy environments. For robustness in various noise conditions, it is important to measure the relative reliabilities of the two information sources and integrate them with an appropriate weight according to the measured reliabilities. In this paper, we compare different definitions of the reliability and propose a new neural network-based integration method. By the experimental results the proposed method is shown to be superior to the conventional one in producing robust integrated recognition performance.
참고문헌 (16)
- "Speech recognition in noisy environments: a survey", 16, pp.261~291
- "A review of speech-based bimodal recognition", 4(1), pp.23~27
- "the integration of auditory and visual parameters in an HMM-based ASR", pp.461~472 (1996)
- "Adaptive fusion of acoustic and visual sources for automatic speech recognition", 26(1-2), pp.149~161 (1998)
- "Bayesian decision theory and psychophysics", pp.123~161 (1996), Cambridge University Press, MA
- "Humans integrate visual and haptic information in a statistically optimal fashion", 415(6870), pp.429~433 (2002)
- "Sensor fusion weighting measures in audio-visual speech recognition", pp.305~314 (2004)
- "Stream confidence estimation for audio-visual speech recognition", 3, pp.746~749 (2000)
- "Audio-visual speech recognition using multiscale nonlinear image decomposition", pp.38~41 (1996)
- "''Training feedforward networks with the Marquardt algorithm", (v), pp.989~993 (1994)
- "Training hidden Markov models by hybrid simulated annealing for visual speech recognition", pp.198~202
- "Pattern Classification" (2001), John Wiley & Sons, Inc, New York
- "Assessment for automatic speech recognition: II. NOISEX-92: A database and an experiment to study the effect of additive noise on speech recognition systems", 12(3), pp.247~251 (1993)
- "''Comparison of parametric representations for monosyllable word recognition in continuously spoken sentences", pp.357~366 (1980)
- "Compensation for environmental degradation in automatic speech recognition", 17(3), pp.33~42 (1997)
- "Fundamentals of SpeechRecognition 시청각 음성인식을 위한 정보통합 신뢰도 측정방식의 비교와 신경회로망을 이용한 통합 기법 550" (1993), Prentice Hall Inc