딥러닝을 이용한 소리 분류 시 방해음의 영향 분석
Sound Classification Performance of Deep Neural Networks in the Presence of Disturbing Sounds
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
환경음 분류는 일상 환경에서 흔히 들을 수 있는 소리를 자동으로 인식해서 분류하는 분야이다. 이는 가정, 보안, 감시 등 분야에서 시각이 미치지 못하는 영역의 데이터 처리에 유용하게 사용될 수 있어 점차 관심이 커지고 있으며, 최근에는 CNN과 같은 심층 신경망을 이용하여 인식률을 높이려는 연구가 활발하게 진행되고 있다. 이 방법에서는 먼저 대량의 소리 데이터를 이용하여 심층 신경망을 학습한 후, 학습이 완료된 신경망에 마이크 등으로 소리를 입력하는 방식으로 동작한다. 그런데 응용하는 단계에서 인식하려는 소리와 함께 주변 소음이 판별하려는 소리와 함께 마이크로 입력되며, 이러한 방해음으로 인해 원래 학습했던 소리의 분류 성능이 떨어지게 된다. 이때 방해음의 크기가 커질 수록 심층 신경망의 인식률이 저하될 것으로 예상할 수 있으나, 구체적인 소음의 종류와 크기가 인식률에 미치는 영향에 대한 분석은 찾아보기 힘들다. 본 논문에서는 CNN을 이용하여 환경음 분류 시 방해음으로 인한 인식률 영향을 실험적으로 분석하였다. 사용한 데이터셋은 10종의 도시 환경음으로 구성된 UrbanSound8K이며, 심층 신경망으로는 이미지 분류에서 좋은 성능을 보이고 있는 VGG16 기반의 CNN을 이용하였다. 방해음은 주거 공간의 일상에서 흔히 들을 수 있는 3가지 유형의 소리를 사용하였는데, 생활 소음(헤어드라이어, 청소기, 수돗물, 망치), 음성(남자, 여자, 합성음), 음악(첼로, 피아노, 트럼펫)등으로 구성되어 있다. 실험은 판별하려는 소리와 방해음을 신호대 잡음비가 -50dB ~ 50dB 범위가 되도록 합성한 다음, 이를 학습이 완료된 심층 신경망에 입력하여 방해음이 없을 경우와 비교한 상대적 인식률을 구하였다. 실험 결과 SNR이 10~15dB 구간에서는 방해음이 없을 경우와 비교 시 90% 이상의 상대 인식률을 보였고, SNR이 20dB 이상인 경우는 방해음의 종류와 무관하게 95% 이상의 상대 인식률을 나타내었다.
Abstract
Environmental sound classification is an area that automatically classifies sounds in our surroundings. It can be applied to home automation, security, and surveillance. Recently, the deep learning approaches have been adopted as a classifier for increasing performance. In this method, a deep neural network is trained using many sound data, and after the learning is completed, the microphone pickup sound is applied for classification. However, during this stage, the ambient noise can be put into the microphone along with the sound to be identified. And the sound cannot be properly classified due to this disturbing noise. The recognition rate of the deep neural network decreases as the loudness of the disturbing sound increases, but the analysis about the noise effect on the classification have been limited. In this paper, we present the effect of the disturbing noise on the classification rate. For this purpose, UrbanSound8K, which is composed of 10 types of urban environmental sounds, is used for training and test data. And the VGG16-based CNN which shows good performance in image classification was adopted as a baseline model. For the disturbing noise, we use three types of sounds that are consist of daily noises (hairdryer, vacuum cleaner, faucet water, and hammer), voices(male, female, and synthesized sound), and music(cello, piano, and trumpet). In the experiment, these disturbing noises are mixed with the clean sounds so that the signal-to-noise ratio is in the range of -50dB to 50dB. Then the mixed sound was applied to a deep neural network to obtain a relative recognition rate when compared to the clean cases. The results show that the recognition rate is more than 90% compared to the clean sound cases when the SNR is between 10 and 15 dB, and 95% or more when the SNR is greater than 20 dB, regardless of the type of the disturbing sound.
참고문헌 (15)
- S. Abdoli, "End-to-end environmental sound classification using a 1D convolutional neural network", Expert Systems with Applications, 136, pp.252~263 (2019)
- B. Zhu, "Learning environmental sounds with multi-scale convolutional neural network", Proceedings of the International Joint Conference on Neural Networks, pp.1~8 (2018)
- V. Boddapati, "Classifying environmental sounds using image recognition networks", Procedia Computer Science, 112, pp.2048~2056 (2017)
- Y. Tokozume, "Learning environmental sounds with end-to-end convolutional neural network", 2017 IEEE International Conference on Acoustics, Speech, and Signal Processing, pp.2721~2725 (2017)
- D. Chong, "Multi-channel convolutional neural networks with multi-level feature fusion for environmental sound classification", Lecture Notes in Computer Science, pp.157~168 (2019)
- K. J. Piczak, "Environmental sound classification with convolutional neural networks", Proceeding of IEEE 25th International Workshop on Machine Learning for Signal Processing, pp.1~6 (2015)
- Y. Su, "Environment sound classification using a two-stream CNN based on decision-level fusion", Sensors, 19, pp.1733~1747 (2019)
- 서상민, "고속 딥러닝 알고리즘의 효과적인 구현", 한국지식정보기술학회 논문지, 14(5), pp.553~561 (2019), 한국지식정보기술학회[DOI]
- 강민정, "조류 울음소리를 이용한 조류 분류 딥러닝 시스템 개발", 한국지식정보기술학회 논문지, 15(2), pp.195~203 (2020), 한국지식정보기술학회[DOI]
- J. Salamon, "A dataset and taxonomy for urban sound research", Proceedings of the 22nd ACM International Conference on Multimedia, pp.1041~1044 (2014)
- K. Simonyan, "Very deep convolutional networks for large-scale image recognition", ~ (2015)
- W. Oh, "Audio classification performance of CNN according to audio feature extraction methods", Proceedings of Acoustical Society of Korea, pp.64~ (2019)
- 오원근, "오디오 전처리 방법에 따른 콘벌루션 신경망의 환경음 분류 성능 비교", 한국음향학회지, 39(3), pp.143~149 (2020), 한국음향학회
- O. Russakovsky, "ImageNet large scale visual recognition challenge", International Journal of Computer Vision, 115, pp.211~252 (2015)
- "Freesound" (2020)[URL]