음악 소리가 딥 러닝의 음향 분류 성능에 미치는 영향
Effect of Music on the Performance Degradation of Sound Classification Using Deep Learning
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
음향 분류(sound classification)는 소리를 컴퓨터를 이용해 구분하는 기술이며, 최근에는 머신 러닝을 이용한 연구가 활발하게 진행되고 있다. 머신 러닝 기반의 음향 분류는 먼저 소리 데이터 세트를 이용해서 심층 신경망을 학습시킨 다음, 여기에 실제 소리를 입력하여 판별하는 방식으로 동작한다. 그런데 판별 단계에서는 주변 소음으로 인해 머신 러닝의 인식률이 낮아지는 문제가 발생한다. 즉, 실험 환경과는 달리 현장에서는 목적음과 함께 주변의 다양한 소리가 마이크로 입력되는데, 이러한 소리들은 학습 시에는 사용하지 않았던 소리이기 때문에 목적음의 인식률을 떨어뜨리는 방해음으로 작용한다. 이때 방해음의 레벨과 종류 그리고 인식률의 상관관계는 음향 분류의 실용화를 위해 선행되어야 할 주제이나 이에 대한 연구 결과는 그리 많지 않다. 본 논문에서는 음악 소리가 방해음인 상황에서 목적음을 인식할 때 음악 장르와 음량에 따른 머신 러닝의 음향 인식 성능 변화에 대해 실험적으로 고찰하였다. 이를 위해 CNN과 10종의 일상 환경음으로 구성된 UrbanSound8K 데이터 세트, 그리고 10종의 음악장르가 들어있는 GTZAN 데이터 세트을 사용하여 실험을 수행하였다. 먼저 UrbanSound8K의 소리만을 이용하여 이를 인식하도록 CNN을 학습시킨 후, GTZAN에서 각 장르별로 5개의 음악을 선택하여 목적음과 신호대 잡음비가 -20dB, 0dB, 5dB, 10dB, 20dB가 되도록 합성하였다. 이 혼합음을 학습이 완료된 CNN에 입력하여 잡음이 없는 목적음을 입력했을 때와 비교 시 인식률 변화를 실험하였다. 실험 결과 음악 장르별로 인식률이 2.8%~22% 차이가 발생하였다. 또한 음악이 방해음으로 큰 영향을 주지 않기 위해서는 SNR이 20dB 이상이 되어야 한다는 결과를 도출하였다.
Abstract
Sound classification is a computer technology that involves learning to classify sounds and to predict the category of that sound. Recently, the machine learning based approach is being actively conducted for improving recognition accuracy. In this approach, a deep neural network is trained using a sound dataset, and then the actual sound is applied to identify the sound category. In the identification stage, the recognition accuracy of the machine learning is degraded due to the ambient noise. In other words, unlike the experimental environment, various sounds are input into the microphone along with the target sound. Since these ambient sounds are not trained, they could lower the classification performance. However, there are only a few research results on the relation between the noise and the recognition performance despite of the practical importance. In this paper, we study the performance degradation of sound classification in the space where the music is playing with considering the music genre and the volume level. For this, we use CNN, UrbanSound8K dataset consisting of 10 kinds of environmental sounds, and GTZAN data set containing 10 kinds of music genres. First, CNN is trained to recognize the sounds of UrbanSound8K, and then five songs for each genre were selected from GTZAN and mixed to the UrbanSound8K so that the signal-to-noise ratio are -20dB, 0dB, 5dB, 10dB, and 20dB. Then we test the accuracy with the mixed sound input and compare with the noise-free target sound. As a result, there is 2.8% to 22% difference in the recognition accuracy by music genre and sound level. The result show that the SNR should be 20dB or more in order for music not to have a significant effect on the recognition accuracy.
참고문헌 (15)
- D. Gerhard, "Audio signal classification:History and current technique" (2003), Department of Computer Science, University of Regina
- S. Abdoli, "End-to-end environmental sound classification using a 1D convolutional neural network", Expert Systems with Applications, 136, pp.252~263 (2019)
- V. Boddapati, "Classifying environmental sounds using image recognition networks", Procedia Computer Science, 112, pp.2048~2056 (2017)
- D. Chong, "Multi-channel convolutional neural networks with multi-level feature fusion for environmental sound classification", Lecture Notes in Computer Science, pp.157~168 (2019)
- B. Zhu, "Learning environmental sounds with multi-scale convolutional neural network", Proceedings of the International Joint Conference on Neural Networks, pp.1~8 (2018)
- Y. Tokozume, "Learning environmental sounds with end-to-end convolutional neural network", 2017 IEEE International Conference on Acoustics, Speech, and Signal Processing, pp.2721~2725 (2017)
- K. J. Piczak, "Environmental sound classification with convolutional neural networks", Proceeding of IEEE 25th International Workshop on Machine Learning for Signal Processing, pp.1~6 (2015)
- Y. Su, "Environment sound classification using a two-stream CNN based on decision-level fusion", Sensors, 19, pp.1733~1747 (2019)
- 강민정, "조류 울음소리를 이용한 조류 분류 딥러닝 시스템 개발", 한국지식정보기술학회 논문지, 15(2), pp.195~203 (2020), 한국지식정보기술학회[DOI]
- 오원근, "딥러닝을 이용한 소리 분류 시 방해음의 영향 분석", 한국지식정보기술학회 논문지, 15(6), pp.973~981 (2020), 한국지식정보기술학회[DOI]
- W. Oh, "Performance degradation according to music genres in urban sound recognition using machine learning", Proceedings of Acoustical Society of Korea, pp.167~ (2021)
- J. Salamon, "A dataset and taxonomy for urban sound research", Proceedings of the 22nd ACM International Conference on Multimedia, pp.1041~1044 (2014)
- "GTZAN Dataset" (2021)[URL]
- W. Oh, "Audio classification performance of CNN according to audio feature extraction methods", Proceedings of Acoustical Society of Korea, pp.64~ (2019)
- 오원근, "오디오 전처리 방법에 따른 콘벌루션 신경망의 환경음 분류 성능 비교", 한국음향학회지, 39(3), pp.143~149 (2020), 한국음향학회