음성 감정 인식에서의 어텐션 노이즈 감소를 위한CNN 기반의 Log-Mel 스펙트로그램 이미지 압축 기법
CNN-Based Log-Mel Spectrogram Image Compression Method for Attention Noise Reduction in Speech Emotion Recognition
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 음성 감정 인식에서 log-Mel 스펙트로그램을 기반으로 한 이미지 압축 기법을 제안하고, 이 기법이 어텐션 메커니즘을활용한 vision transformer 모델에서 성능 향상에 기여할 수 있음을 보인다. 특히, log-Mel 스펙트로그램은 음성 신호의 주파수특성을 잘 포착하여 음성 감정 인식에 유용하게 사용되는데, 본 연구에서는 이 스펙트로그램을 이미지 형태로 처리하면서 발생할수 있는 어텐션 노이즈를 효과적으로 감소시키는 방법을 제시한다. 핵심적인 아이디어는 CNN을 수평 커널로 사용하여 log-Mel 스펙트로그램 이미지의 해상도를 압축하고, 이를 통해 vision transformer 모델에서 중요한 패턴을 보다 효과적으로 학습하도록 돕는 것이다. 제안된 기법은 기존의 log-Mel 스펙트로그램을 128×1001 크기로 처리하고, 이 이미지를 128×129로 고정된 크기로압축하면서 임의의 이미지 보간이 수행되도록 설계되었다. 이러한 전처리 과정은 모델이 음성 감정 인식에서 유용한 특징을 보다잘 추출할 수 있도록 돕는다. 본 논문에서는 log-Mel 스펙트로그램의 주어진 특성에 맞게 CNN 기반의 압축 기법을 사용하여 스펙트로그램의 중요 정보를 보존하면서, vision transformer 모델의 어텐션 메커니즘에서 발생할 수 있는 노이즈를 최소화하는 방법을 제안한다. Crowd Sourced Emotional Multimodal Actors(CREMA) 데이터셋을 이용한 실험을 통해, 제안하는 기법이86.83%의 정확도를 나타내어 기존의 방법들보다 음성 감정 인식에서 더 뛰어난 성능을 보임을 확인하였다.
Abstract
This paper proposes convolutional neural networks (CNN) based log-Mel spectrogram image compression methodfor attention noise reduction in speech emotion recognition (SER) and demonstrates how this method can contributeto improved performance in vision transformer models utilizing attention mechanisms. log-Mel spectrograms,which effectively capture the frequency characteristics of speech signals, are commonly used in SER tasks. In thisstudy, we present a method to reduce attention noise that may arise when processing these spectrograms asimages. The core idea is to use a CNN with horizontal kernels to compress the resolution of log-Mel spectrogramimages, thereby facilitating the vision transformer model's ability to learn important patterns more effectively. Theproposed approach processes the original log-Mel spectrograms at a size of 128×1001 and compresses them intoa fixed 128×129 resolution while performing random image interpolation. This preprocessing step aids the modelin better extracting relevant features for emotion recognition. This paper propose how the CNN-based compressionmethod preserves essential information from the log-Mel spectrograms while minimizing attention noise in thevision transformer model's attention mechanism. Through experiments using the Crowd Sourced EmotionalMultimodal Actors (CREMA) dataset, the proposed method achieved an accuracy of 86.83%, demonstrating superiorperformance in speech emotion recognition compared to existing methods.
참고문헌 (7)
- Huang, Zhengwei, "Speech emotion recognition using CNN", Proceedings of the 22nd ACM international conference on Multimedia (2014)
- Chen, Lijiang, "Speech emotion recognition:Features and classification models", Digital signal processing, 22(6), pp.1154~1160 (2012)[DOI]
- LeCun, Yann, "Deep learning", nature, 521(7553), pp.436~444 (2015)
- Ristea, Nicolae Cătălin, "SepTr: Separable Transformer for Audio Spectrogram Processing", Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH (2022)
- Dosovitskiy, Alexey, "An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale", International Conference on Learning Representations (2020)
- Cao, Houwei, "Crema-d: Crowd-sourced emotional multimodal actors dataset", IEEE transactions on affective computing, 5(4), pp.377~390 (2014)[DOI]