입 모양 인식 시스템 전처리를 위한관심 영역 추출과 이중 선형 보간법 적용
Region of Interest Extraction and Bilinear Interpolation Application for Preprocessing of Lipreading Systems
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
입 모양 인식은 음성 인식의 중요 부분 중 하나로 음성 인식을 위한 입 모양 인식 시스템에서 입 모양 인식 성능을 개선하기 위한 여러 연구가진행됐다. 최근의 연구에서는 인식 성능을 개선하기 위해 입 모양 인식 시스템의 모델 구조를 수정하는 방법이 사용됐다. 본 연구에서는 모델 구조를수정하는 것으로 인식 성능을 개선하는 기존의 연구와 달리 모델 구조의 변화 없이 인식 성능을 개선하는 것을 목표로 한다. 모델 구조의 수정 없이인식 성능을 개선하기 위해, 사람이 하는 입 모양 인식에서 사용되는 단서를 참고해 입 모양 인식 시스템의 기존 관심 영역인 입술 영역과 함께 턱,뺨과 같은 다른 영역을 관심 영역으로 설정하고 각 관심 영역의 인식률을 비교해 가장 높은 성능의 관심 영역을 제안한다. 또한, 관심 영역 크기를정규화하는 과정에서 보간법의 차이로 인해 발생하는 정규화 결과의 차이가 인식 성능에 영향을 준다고 가정하고 최근접 이웃 보간법, 이중 선형 보간법,이중 삼차 보간법을 사용해 동일한 관심 영역을 보간하고 각 보간법에 따른 입 모양 인식률을 비교해 가장 높은 성능의 보간법을 제안한다. 각 관심영역은 객체 탐지 인공신경망을 학습시켜 검출하고, 각 관심 영역을 정규화하고 특징을 추출하고 결합한 뒤, 결합된 특징들을 차원 축소한 결과를저차원 공간으로 매핑하는 것으로 동적 정합 템플릿을 생성했다. 생성된 동적 정합 템플릿들과 저차원 공간으로 매핑된 데이터의 거리를 비교하는것으로 인식률을 평가했다. 실험 결과 관심 영역의 비교에서는 입술 영역만을 포함하는 관심 영역의 결과가 이전 연구의 93.92%의 평균 인식률보다3.44% 높은 97.36%의 평균 인식률을 보였으며, 보간법의 비교에서는 이중 선형 보간법이 97.36%로 최근접 이웃 보간법에 비해 14.65%, 이중 삼차보간법에 비해 5.55% 높은 성능을 나타내었다. 본 연구에 사용된 코드는 https://github.com/haraisi2/Lipreading-Systems에서 확인할 수 있다.
Abstract
Lipreading is one of the important parts of speech recognition, and several studies have been conducted to improve the performanceof lipreading in lipreading systems for speech recognition. Recent studies have used method to modify the model architecture of lipreadingsystem to improve recognition performance. Unlike previous research that improve recognition performance by modifying modelarchitecture, we aim to improve recognition performance without any change in model architecture. In order to improve the recognitionperformance without modifying the model architecture, we refer to the cues used in human lipreading and set other regions such aschin and cheeks as regions of interest along with the lip region, which is the existing region of interest of lipreading systems, and comparethe recognition rate of each region of interest to propose the highest performing region of interest In addition, assuming that the differencein normalization results caused by the difference in interpolation method during the process of normalizing the size of the region ofinterest affects the recognition performance, we interpolate the same region of interest using nearest neighbor interpolation, bilinearinterpolation, and bicubic interpolation, and compare the recognition rate of each interpolation method to propose the best performinginterpolation method. Each region of interest was detected by training an object detection neural network, and dynamic time warpingtemplates were generated by normalizing each region of interest, extracting and combining features, and mapping the dimensionalityreduction of the combined features into a low-dimensional space. The recognition rate was evaluated by comparing the distance betweenthe generated dynamic time warping templates and the data mapped to the low-dimensional space. In the comparison of regions ofinterest, the result of the region of interest containing only the lip region showed an average recognition rate of 97.36%, which is 3.44%higher than the average recognition rate of 93.92% in the previous study, and in the comparison of interpolation methods, the bilinearinterpolation method performed 97.36%, which is 14.65% higher than the nearest neighbor interpolation method and 5.55% higher thanthe bicubic interpolation method. The code used in this study can be found a https://github.com/haraisi2/Lipreading-Systems.
참고문헌 (25)
- Z. Zhang, "Deep learning for environmentally robust speech recognition : An overview of recent devel"opments", ACM Transactions on Intelligent Systems and Technology, 9(49), pp.1~28 (2018)
- C. Bregler, ""Eigenlips"for robust speech recognition", Proceedings of the ICASSP’94. IEEE International Conference on Acoustics, Speech and Signal Processing, Adelaide, 2, pp.669~672 (1994)
- U. Meier, "Towards unrestricted lip reading", International Journal of Pattern Recognition and Artificial Intelligence, 14(5), pp.571~585 (2000)
- Y. G. Kim, "Feature selection method for speaker independent lip reading on noisy environments", Ph.D, pp.2019
- 한민경, "독화에 청각적으로 제공된 기본 주파수(F0) 보완정보", Communication Sciences & Disorders, 1(1), pp.150~177 (1996)
- D. G. Stork, "Speechreading by humans and machines: models, systems, and applications", pp.525~531 (1996), Springer Science & Business Media
- B. Martinez, "Lipreading using temporal convolutional networks", Proceedings of the ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing, pp.6319~6323 (2020)
- P. Ma, "Towards practical lipreading with distilled and efficient models", Proceedings of the ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing, pp.7608~7612 (2021)
- K. Vayadande, "LipReadNet : A deep learning approach to lip reading", Proceedings of the 2023 International Conference on Applied Intelligence and Sustainable Computing, pp.1~6 (2023)
- 최병문, "구화교육" (1970), 한국구화학교
- M. Hao, "A survey of research on lipreading technology", IEEE Access, 8, pp.204518~204544 (2020)
- 김민정, "임상중심 말소리장애" (2021), 학지사
- J. J. O’Neill, "Visual communication for the hard of hearing : History, research, and methods" (1981), Prentice Hall
- S. H. Cho, "Viseme and its teaching strategy for speech-reading and language normalization of people with hearing loss", Audiology and Speech Research, 14(4), pp.219~226 (2018)
- G. Potamianos, "Improved ROI and within frame discriminant features for lipreading", Proceedings of the 2001 International Conference on Image Processing, 3, pp.250~253 (2001)
- J. Redmon, "You only look once : Unified, real-time object detection", Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pp.779~788 (2016)
- J. Redmon, "Yolov3 : An Incremental Improvement", Computer Vision and Pattern Recognition, 1804, pp.1~6 (2018)
- "Ultralytics YOLOv8 Docs"[URL]
- J. Luettin, "Speechreading using probabilistic models", Computer Vision and Image Understanding, 65(2), pp.163~178 (1997)
- Y. Lan, "Improving visual features for lip-reading", Proceedings of the Auditory-visual Speech Processing 2010, 7(3) (2010)
- B. Sujatha, "A novel approach inter"grating geometric and Gabor wavelet approaches to improvise visual lip-reading", International Journal of Soft Computing(IJSC), 5, pp.13~18 (2010)
- M. Z. Ibrahim, "Robust geometrical based lip-reading using Hidden Markov models", Pro-ceedings of the EUROCON 2013, pp.2011~2016 (2013)
- 박혜영, "패턴 인식과 기계학습" (2011), 이한출판사
- 박창순, "생활 속의 임베디드 소프트웨어" (2007), U-북
- A. Koumparoulis, "Exploring ROI size in deep learning based lipreading", Proceedings of the Auditory-visual Speech Processing 2017, pp.64~69 (2017)