컬러 입술영상과 주성분분석을 이용한 자동 독순
Automatic lipreading using color lip images and principal component analysis
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
본 논문은 화자의 입술 움직임으로부터 음성을 인식하는 자동 독순에서 회색조 영상 대신 컬러 영상을 사용하는 것의 유용성에 대해 고찰한다. 먼저 인간의 독순 실험을 통해 컬러 정보가 인식 성능에 어떠한 영향을 미치는지 확인한다. 다음으로 주성분분석을 이용한 자동 독순에서 회색조 또는 컬러 입술영상을 사용하는 경우에 대해 인식 성능을 비교한다. 다양한 컬러 좌표계에 대한 실험을 통해 컬러 영상의 사용으로 인식율이 향상됨을 보인다. 특히 RGB 좌표계를 사용했을 때 가장 좋은 성능을 얻으며, 회색조의 경우에 비해 잡음이 없는 환경에서는 4.7%, 잡음이 있는 경우 평균 13.0%의 상대적 오인식율 감소를 얻을 수 있음을 확인한다.
Abstract
This paper examines effectiveness of using color images instead of grayscale ones for automatic lipreading. First, we show the effect of color information for performance of humans' lipreading. Then, we compare the performance of automatic lipreading using features obtained by applying principal component analysis to grayscale and color images. From the experiments for various color representations, it is shown that color information is useful for improving performance of automatic lipreading; the best performance is obtained by using the RGB color components, where the average relative error reductions for clean and noisy conditions are 4.7% and 13.0%, respectively.
참고문헌 (16)
- 이종석, "잡음에 강인한 시청각 음성인식", iCROS, 13(3), pp.28~34 (2007)
- P. Scanlon, "Feature Analysis for Automatic Speechreading", Proc. Int. Conf. Multimedia and Expo, Tokyo, Japan, pp.625~630 (2001)
- P. Daubias, "Is Color Information Really Useful for Lip-reading? (Or What Is Lost When Color Is Not Used)", Proc. Interspeech, Lisbon, Portugal, pp.1193~1196 (2005)
- S. L. Wang, "Automatic Lip Contour Extraction from Color Images", Pattern Recognit, 37(12), pp.2375~2387 (2004)
- G. I. Chiou, "Lipreading from Color Video", IEEE Trans. Image Processing, 6(8), pp.1192~1195 (1997)
- S.Lucey, "An Evaluation of Visual Speech Features for the Tasks of Speech and Speaker Recognition", Proc. Int. Conf. Audio-Video-based Biometric Person Authentication, Guildford, UK, pp.260~267 (2003)
- K. Saenko, "Articulatory Features for Robust Visual Speech Recognition", Proc. Int. Conf. Multimodal Interfaces State College PA USA, pp.1525~158 (2004)
- L. A. Ross, "Do You See What I Am Saying? Exploring Visual Enhancement of Speech Comprehension in Noisy Environments", Cerebral Cortex, 17(5), pp.1147~1153 (2007)
- M. V. McCotter, "The Role of Facial Colour and Luminance in Visual and Audiovisual Speech Perception", Perception, 32(8), pp.921~936 (2003)
- J.-S. Lee, "Training Hidden Markov Models by Hybrid Simulated Annealing for Visual Speech Recognition", Proc. Int. Conf. Systems, Man, Cybernetics, Taipei, Taiwan, pp.198~202 (2006)
- A. R. Weeks Jr, "Fundamentals of Electronic Image Processing", pp.1995, SPIE
- H. Park, "Adaptive Filtering for Noise Reduction in Hue Saturation Intensity Color Space", Opt. Eng, 41(6), pp.1232~1239 (2002)
- L. Rabiner, "Fundamentals of Speech Recognition" (1993), Prentice-Hall
- R. C. Gonzalez, "Digital Image Processing" (2002), Prentice-Hall
- N. Evano, "A New Color Transformation for Lips Segmentation", Proc. Multimedia Signal Processing, Cannes, France, pp.3~8 (2001)
- L. Gillick, "Some Statistical Issues in the Comparison of Speech Recognition Algorithms", Proc. Int. Conf. Acoustics, Speech, Signal Processing, Glasgow, UK,, pp.532~535 (1989)