설명가능 인공지능을 이용한 머신 러닝의 환경음 분류 분석
Analysis of Machine Learning-based Environmental Sound Classification Using Explainable Artificial Intelligence(XAI)
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
머신 러닝 기반의 음향 분류는 여러 분야에 효과적으로 응용될 수 있는 기술이다. 음향 분류기의 인식 성능을 높이기 위해서는 복잡한 모델 사용이나 전처리 방법 개선 등과 같은 다양한 방법이 시도되고 있으며, 그 결과 인식률이 높은 알고리즘이 지속적으로 개발되고 있다. 그러나 성능이 개선된 이유에 대해서는 명확하게 설명할 수 없는 경우가 많으며, 이는 머신 러닝 모델의 블랙박스 특성으로 인한 것이다. 본 논문에서는 이러한 점에 주목하여 머신 러닝 음향 분류기에 설명 가능 인공지능 기법을 적용하고, 분류할 소리의 스펙트로그램에서 어떤 부분이 결과에 영향을 미치는지 분석하였다. 설명 가능 인공지능 기법은 다양한 응용 분야에서 적용되고 있으나, 이미지나 정형 데이터 분석에 비해 음향 인식에 사용된 연구는 많지 않은 편이다. 본 논문에서 사용한 XAI 알고리즘은 LIME이며, 이는 대리 분석 기반의 XAI 알고리즘으로서 모델이나 학습 방법과 관련 없이 적용할 수 있는 특징이 있다. 실험에 사용한 데이터 세트는 10종의 도시 환경음으로 구성된 UrbanSound8K이며, 이를 처리할 머신 러닝 모델은 VGG16 기반의 전이 학습 시스템으로 구성하였다. 실험은 학습이 완료된 모델에 소리를 입력한 다음, LIME 알고리즘을 사용하여 분류 결과에 영향을 가장 크게 준 스펙트로그램 영역을 도출하였다. 이를 통해 소리를 바르게 인식한 경우와 그렇지 않았을 때 스펙트로그램의 인식 영역 패턴을 찾아내고자 하였다. 분석 결과는 소리에 따라 차이가 있었다. 복합음과 임펄스성 소리는 어느 정도 공통된 분류 패턴을 보였으나 여러 소리가 혼합된 소리는 뚜렷한 패턴을 보이지 않았다. 이처럼 소리 종류에 따라 LIME으로 분석한 결과는 차이가 있었으며, 이 경우 LIME 파라미터 조정이나 다른 XAI 기법 적용을 통해 더 향상된 결과를 얻을 수 있을 것으로 생각된다. 향후 소리 유형 분류의 세분화, 그리고 또 다른 소리 데이터 세트를 이용하여 더욱 다양한 소리에 대해 분석할 예정이다.
Abstract
Sound classification using machine learning is a technology that can be effectively applied to various fields. Several methods, such as adapting more complex models or improving pre-processing stages, have been attempted to increase the recognition performance of sound classifiers, and as a result, algorithms with high recognition rates are continuously being developed. However, it is often impossible to clearly explain why the performance has improved, and this is due to the black box characteristics of machine learning models. In this paper, we applied an explainable artificial intelligence(XAI) technique to the machine learning sound classifier and analyzed which part of the spectrogram of the sound to be classified affects the results. The XAI is applied in various applications, but only a few studies are conducted for sound recognition compared to image data analysis. The XAI technique used in this paper is LIME, a surrogate model algorithm that can be applied regardless of the model or learning method. The dataset used in the experiment is UrbanSound8K, which consists of 10 types of urban environmental sounds, and the machine learning model to handle it consists of a VGG16-based transfer learning model. The experiment uses the LIME algorithm to derive the spectrogram area most significantly affecting the classification results. Through this, we tried to find out the recognition patterns of the spectrogram when sound was correctly recognized and when it was not. The analysis results were different depending on the sound. Complex sounds and impulsive sounds showed some common classification patterns, but sounds mixed with several sounds did not show a clear pattern. The results of the LIME analysis differed depending on the type of sound, and these could be improved by adjusting the LIME parameters or applying other XAI techniques. In the future, we plan to refine the taxonomy of the sounds further and analyze a wider variety of sounds using different audio datasets.
참고문헌 (16)
- A. F. R. Nogueira, "Sound classification and processing of urban environments : a systematic literature review", Sensors, 22(22), pp.8608~ (2022)
- J. Sharma, "Environment sound classification using multiple feature channels and attention based deep convolutional neural network", pp.1186~1190 (2020), Interspeech
- 강민정, "조류 울음소리를 이용한 조류 분류 딥러닝 시스템 개발", 한국지식정보기술학회 논문지, 15(2), pp.195~203 (2020), 한국지식정보기술학회[DOI]
- 오원근, "딥러닝을 이용한 소리 분류 시 방해음의 영향 분석", 한국지식정보기술학회 논문지, 15(6), pp.973~981 (2020), 한국지식정보기술학회[DOI]
- "End-to-end audio strikes back: boosting augmentations towards an efficient audio classification network" (2022)[URL]
- Y. Chen, "Effective audio classification network based on paired inverse pyramid structure and dense mlp block", International Conference on Intelligent Computing, pp.70~84 (2023)
- A. Das, "Opportunities and challenges in explainable artificial intelligence(XAI) : A survey", ArXiv : 2006. 11371, ~ (2020)
- E. Tjoa, "A survey on explainable artificial intelligence(XAI) : Towards medical XAI", IEEE Transactions on Neural Networks and Learning Systems, 32(11), pp.4793~4813 (2020)
- Z. Ren, "Deep attention-based neural networks for explainable heart sound classification", Machine Learning with Applications, 9, pp.100322~ (2022)
- P. Zinemanas, "An interpretable deep learning model for automatic sound classification", Electronics, 10(7), pp.850~ (2021)
- M. T. Ribeiro, "Why should i trust you?’: Explaining the predictions of any classifier", Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining, pp.1135~1144 (2016)
- J. Salamon, "A dataset and taxonomy for urban sound research", Proceedings of the 22nd ACM International Conference on Multimedia, pp.1041~1044 (2014)
- K. Simonyan, "Very deep convolutional networks for large-scale image recognition", ArXiv : 1409. 1556, ~ (2014)
- Y. Su, "Environment sound classification using a two-stream CNN based on decision-level fusion", Sensors, 19, pp.1733~1747 (2019)
- 오원근, "오디오 전처리 방법에 따른 콘벌루션 신경망의 환경음 분류 성능 비교", 한국음향학회지, 39(3), pp.143~149 (2020), 한국음향학회
- "Rethinking CNN models for audio classification" (2020)[URL]