다양한 저하 요인하에서의 자동 독순: 특징 추출을 위한 주성분 분석과 이산코사인 변환 기법의 비교
Automatic Lipreading Under Various Degradation Factors: Comparison of Principal Component Analysis and Discrete Cosine Transform for Feature Extraction
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
자동 독순은 화자의 입술 움직임을 통해 음성을 인식하는 기술로써, 기록된 영상에서 특징을 추출하는 과정에서 영 상 변환 기법이 많이 사용된다. 본 논문은 입술 영상의 다양한 저하 요인에 대해 영상변환 기법이 인식성능에 미치는 영향을 비교하고 분석한다. 많이 사용되는 변환 기법인 주성분 분석과 이산코사인 변환을 깨끗한 영상, 백색 잡음이나 충격잡음과 같은 화소(pixel) 잡음이 포함된 영상, 번짐 효과에 의해 화질이 저하된 영상 및 입술 영역이 평행이동되거 나 회전된 상황에 대해 비교한다. 비교 결과 각 변환에 의해 추출된 특징이 지니는 정보의 특성 차이로 인해 상황별로 성능에 다른 영향을 보이는 것을 확인한다.
Abstract
Automatic lipreading is a technology to understand speech by observing the lips' movement of a speaker. Image transformation methods are frequently used for extracting features from the recorded images. In this paper, we compare and analyze the effects of different image transformation methods on the performance of lipreading in various conditions of the images. Two popular methods, principal component analysis and discrete cosine transform, are compared for clean images, images containing pixel noise such as white noise and impulse noise, blurred images, and translated or rotated images. The results show that different characteristics of the information contained in the features from the two methods produce different effects on performance for various conditions.
참고문헌 (20)
- Y. Gong, "Speech recognition in noisy environments: a survey", Speech Communication, 16, pp.261~291 (1995)
- G. Potamianos, "Recent advances in the automatic recognition of audiovisual speech", Proc. IEEE, 91(9), pp.1306~1326 (2003)
- W. H. Sumby, "Visual contribution to speech intelligibility in noise", J. Acoust. Soc. Amer, 26(2), pp.212~215 (1954)
- L. E. Bernstein, "Speech perception without hearing", Percept. Psychophys, 62(2), pp.233~252 (2000)
- H. Yao, "Visual features extracting and selecting for lipreading", Proc. Int. onf. Audio- and Video-based Biometric Person Authentication, pp.251~259 (2003)
- M. N. Kaynak, "Lip geometric features for human-computer interaction using bimodal speech recognition: comparison and analysis", Speech Communication, 42(1-2), pp.1~16 (2004)
- G. Potamianos, "An image transform approach for HMM based automatic lipreading", in Proc. Int. Conf. Image Processing, 3, pp.173~177 (1998)
- S. Lucey, "An evaluation of visual speech features for the tasks of speech and speaker recognition", Proc. Int. Conf. Audio- and Video-based Biometric Person Authentication, pp.260~267 (2003)
- P. Scanlon, "Feature analysis for automatic speechreading", Proc. Int. Conf. Multimedia and Expo, pp.625~630 (2001)
- I. Matthews, "A comparison of model and transform-based visual features for audio-visual LVCSR", Proc. Int. Conf. Multimedia and Expo, pp.22~25 (2001)
- C. Bregler, "Eigenlips for robust speech recognition", Proc. Int. Conf. Acoustics, Speech and Signal Processing, 2, pp.669~672 (1994)
- G. Potamianos, "A cascade image transform for speaker independent automatic speechreading", Proc. Int. Conf. Multimedia and Expo, 2, pp.1097~1100 (2000)
- G. Potamianos, "Audio-visual speech recognition in challenging environments", Proc. Eurospeech, Geneva, pp.1293~1296 (2003)
- K. Saenko, "Articulatory features for robust visual speech recognition", Proc. Int. Conf. Multimodal Interfaces, pp.152~158 (2004)
- 이종석, "시청각 음성인식을 위한 정보통합: 신뢰도 측정방식의 비교와 신경회로망을 이용한 통합 기법", Telecommunications Review, 17(3), pp.538~550 (2007), SK텔레콤
- 이종석, "제어되지 않은 조명 조건하에서 입술움직임의 강인한 특징추출을 이용한 바이모달 음성인식", Telecommunications Review, 14(1), pp.123~134 (2004), SK텔레콤
- R. C. Gonzalez, "Digital Image Processing" (2001), Prentice-Hall, Upper Saddle River
- X. Huang, "Spoken Language Processing: A Guide to Theory, Algorithm, and System Development" (2001), Prentice-Hall, Upper Saddle River
- J.-S. Lee, "Temporal filtering of visual speech for audio-visual speech recognition in acoustically and visually challenging conditions", Proc. Int. Conf. Multimodal Interfaces, Nagoya, Japan, pp.220~227 (2007)
- K. Chehdi, "A blind system to identify and filter degradations affecting an image", Proc. Int. Conf. Signal Processing, Beijing, China, pp.1987~1994 (2000)