향상된 자동 독순을 위한 새로운 시간영역 필터링 기법
A New Temporal Filtering Method for Improved Automatic Lipreading
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
자동 독순(automatic lipreading)은 화자의 입술 움직임을 통해 음성을 인식하는 기술이다. 이 기술은 잡음이 존재하는 환경에서 말소리를 이용한 음성인식의 성능 저하를 보완하는 수단으로 최근 주목받고 있다. 자동 독순에서 중요한 문제 중 하나는 기록된 영상으로부터 인식에 적합한 특징을 정의하고 추출하는 것이다. 본 논문에서는 독순 성능의 향상을 위해 새로운 필터링 기법을 이용한 특징추출 기법을 제안한다. 제안하는 기법에서는 입술영역 영상에서 각 픽셀값의 시간 궤적에 대역통과필터를 적용하여 음성 정보와 관련이 없는 성분, 즉 지나치게 높거나 낮은 주파수 성분을 제거한 후 주성분분석으로 특징을 추출한다. 화자독립 인식 실험을 통해 영상에 잡음이 존재하는 환경이나 존재하지 않는 환경에서 모두 향상된 인식 성능을 얻음을 보인다.
Abstract
Automatic lipreading is to recognize speech by observing the movement of a speaker's lips. It has received attention recently as a method of complementing performance degradation of acoustic speech recognition in acoustically noisy environments. One of the important issues in automatic lipreading is to define and extract salient features from the recorded images. In this paper, we propose a feature extraction method by using a new filtering technique for obtaining improved recognition performance. The proposed method eliminates frequency components which are too slow or too fast compared to the relevant speech information by applying a band-pass filter to the temporal trajectory of each pixel in the images containing the lip region and, then, features are extracted by principal component analysis. We show that the proposed method produces improved performance in both clean and visually noisy conditions via speaker-independent recognition experiments.
참고문헌 (18)
- C. C. Chibelushi, "A review of speech-based bimodal recognition", IEEE. Trans. Multimedia, 4(1), pp.23~37 (2002)
- H. Yao, "Visual features extracting and selecting for lipreading", in Proc. Int. Conf. Audio- and Video-based Biometric Person Authentication, pp.251~259 (2003)
- 이종석, "제어되지 않은 조명 조건하에서 입술움직임의 강인한 특징추출을 이용한 바이모달 음성인식", Telecommunications Review, 14(1), pp.123~134 (2004), SK텔레콤
- C. Bregler, "Eigenlips for robust speech recognition", in Proc. Int. Conf. Acoustics, Speech and Signal Processing, pp.669~672 (1994)
- G. Potamianos, "A cascade image transform for speaker independent automatic speechreading", in Proc. Int. Conf. Multimedia and Expo, pp.1097~1100 (2000)
- P. Scanlon, "Feature analysis for automatic speechreading", in Proc. Int. Conf. Multimedia and Expo, pp.625~630 (2001)
- G. Potamianos, "Audio-visual speech recognition in challenging environments", in Proc. Eurospeech, Geneva, Switzerland, pp.1293~1296 (2003)
- K. Saenko, "Articulatory features for robust visual speech recognition", Proc. Int. Conf. Multimodal Interfaces, State College, PA, pp.152~158 (2004)
- A. Amer, "Fast and reliable structure-oriented video noise estimation", IEEE. Trans. Circuits and Systems for Video Technology, 15(1), pp.113~118 (2005)
- 이종석, "시청각 음성인식을 위한 정보통합: 신뢰도 측정방식의 비교와 신경회로망을 이용한 통합 기법", Telecommunications Review, 17(3), pp.538~550 (2007), SK텔레콤
- J.-S. Lee, "Training hidden Markov models by hybrid simulated annealing for visual speech recognition", in Proc. Int. Conf. Systems, Man, and Cybernetics, pp.198~202 (2006)
- R. C. Gonzalez, "Digital Image Processing" (2001), Prentice-Hall
- S.Lucey, "An evaluation of visual speech features for the tasks of speech and speaker recognition", in Proc. Int. Conf. Audio- and Video-based Biometric Person Authentication, pp.260~267 (2003)
- X. Huang, "Spoken Language Processing" (2001), Prentice-Hall
- J. J. Ohala, "The temporal regulation of speech", pp.431~453 (1975), Academic Press
- K. Munhall, "The moving face during speech communication, in Hearing by Eye II: Advances in the Psychology of Speechreading and Audio-Visual Speech", pp.123~142 (1998), Psychology Press
- J. G. Proakis, "Digital signal processing" (1996), Prentice-Hall
- M. Vitkovitch, "Visible speech as a function of image quality: effects of display parameters on lipreading ability", Applied Cognitive Psychology, 10, pp.121~140 (1996)