언어장애인의 스마트스피커 접근성 향상을 위한 개인화된 음성 분류 기법
Personalized Speech Classification Scheme for the Smart Speaker Accessibility Improvement of the Speech-Impaired people
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
음성인식 기술과 인공지능 기술을 기반으로 한 스마트스피커의 보급으로 비장애인뿐만 아니라 시각장애인이나 지체장애인들도 홈 네트워크 서비스를 연동하여 주택의 전등이나 TV와 같은 가전제품을 음성을 통해 쉽게 제어할 수 있게 되어 삶의 질이 대폭 향상되었다. 하지만 언어장애인의 경우 조음장애나 구음장애 등으로 부정확한 발음을 하게 됨으로서 스마트스피커의 유용한 서비스를 사용하는 것이 불가능하다. 본 논문에서는 스마트스피커에서 제공되는 기능 중 일부 서비스를 대상으로 언어장애인이 이용할 수 있도록 개인화된 음성분류 기법을 제안한다. 본 논문에서는 소량의 데이터와 짧은 학습시간으로도 언어장애인이 구사하는 문장의 인식률과 정확도를 높여 스마트스피커가 제공하는 서비스를 실제로 이용할 수 있도록 하는 것이 목표이다. 본 논문에서는 ResNet18 모델을 fine tuning하고 데이터 증강과 one cycle learning rate 최적화 기법을 추가하여 적용하였으며, 실험을 통하여 30개의 스마트스피커 명령어 별로 10회 녹음한 후 3분 이내로 학습할 경우 음성분류 정확도가 95.2% 정도가 됨을 보였다.
Abstract
With the spread of smart speakers based on voice recognition technology and deep learning technology, not only non-disabled people, but also the blind or physically handicapped can easily control home appliances such as lights and TVs through voice by linking home network services. This has greatly improved the quality of life. However, in the case of speech-impaired people, it is impossible to use the useful services of the smart speaker because they have inaccurate pronunciation due to articulation or speech disorders. In this paper, we propose a personalized voice classification technique for the speech-impaired to use for some of the functions provided by the smart speaker. The goal of this paper is to increase the recognition rate and accuracy of sentences spoken by speech-impaired people even with a small amount of data and a short learning time so that the service provided by the smart speaker can be actually used. In this paper, data augmentation and one cycle learning rate optimization technique were applied while fine-tuning ResNet18 model. Through an experiment, after recording 10 times for each 30 smart speaker commands, and learning within 3 minutes, the speech classification recognition rate was about 95.2%.
참고문헌 (17)
- "Smart speaker household penetration rate in the United States from 2014 to 2025*" (2020)[URL]
- , 2016
- , 2018
- "한국형 웹 콘텐츠 접근성지침 2.1", 미래창조과학부 국립전파연구원, ~ (2015)
- "모바일 애플리케이션 콘텐츠 접근성 지침 2.0", 한국정보통신기술협회, ~ (2015)
- C. Espana-Bonet, "Automatic speech recognition with deep neural networks for impaired speech", Third International Conference on Advances in Speech and Language Technologies for Iberian Languages, pp.97~107 (2016), Springer
- Biadsy, F, "Parrotron: An end-to-end speech-to-speech conversion model and its applications to hearing-impaired speech and speech separation", arXiv preprint arXiv:1904.04169, ~ (2019)
- "How ai can improve products for people with impaired speech" (2019)[URL]
- 김종우, "합성곱 신경망을 이용한 언어장애인용 음성인식", 한국소프트웨어종합학술대회(KSC2019)논문집, 46(2), pp.1600~1602 (2019)
- 김남호, "로그인 과정에서의 화자인증 메커니즘을 이용한 사용자인증 방안 연구", 스마트미디어저널, 8(3), pp.23~30 (2019), (사)한국스마트미디어학회[DOI]
- 이승권, "언어장애인의 음성문장인식을 위한 알고리즘 비교", 한국스마트미디어학회 추계학술대회논문집, 9(2), pp.13~15 (2020)
- Fadhilah Rosdi, "Automatic Speech Intelligibility Detection for Speakers with Speech Impairments: The Identification of Significant Speech Features", Sains Malaysiana, 48(12) (2019)
- Colin Lea, "Nonverbal Sound Detection for Disordered Speech", IEEE ICASSP (2022)
- Cai S, "A Voice-Activated Switch for Persons with Motor and Speech Impairments: Isolated-Vowel Spotting Using Neural Networks", InterSpeech (2021)
- Smith, L.N., "Super-convergence: very fast training of neural networks using large learning rates", arXiv:1708.07120, ~ (2018)
- Leslie N. Smith, "Cyclical Learning Rates for Training Neural Networks", 2017 IEEE Winter Conference on Applications of Computer Vision (WACV) (2017)