채널 강조와 공간 강조의 결합을 이용한 딥 러닝 기반의 초해상도 방법
Deep Learning-based Super Resolution Method Using Combination of Channel Attention and Spatial Attention
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 논문은 채널 강조(Channel Attentin)와 공간 강조(Spatial Attention) 방법을 결합한 딥 러닝 기반의 초해상도 방법을 제안하였다. 초해상도 과정에서 질감, 특징과 같은 주변 픽셀의 변화량이 큰 고주파 성분의 복원이 중요하다. 채널 강조와 공간 강조를 결합한 특징 강조를 이용한 초해상도 방법을 제안하였다. 기존의 CNN(Convolutional Neural Network) 기반의 초해상도 방법은 깊은 네트워크의 학습이 어려우며, 고주파 성분의 강조가 부족하여 윤곽선이 흐려지거나 왜곡이 발생한다. 문제를 해결하기 위해 스킵-커넥션(Skip Connection)을 적용한 채널 강조와 공간 강조를 결합한 강조 블록과 잔차 블록(Residual Block)을 사용하였다. 방법으로 추출한 강조된 특징 맵을 부-픽셀 컨볼루션(Sub-pixel Convolution)을 통해 특징맵을 확장하여 초해상도를 진행하였다. 이를 통해 기존의 SRCNN과 비교하여 약 PSNR는 5%, SSIM은 3% 향상되었으며 VDSR과 비교를 통해 약 PSNR는 2%, SSIM은 1% 향상된 결과를 보였다.
Abstract
In this paper, we proposed a deep learning based super-resolution method that combines Channel Attention and Spatial Attention feature enhancement methods. It is important to restore high-frequency components, such as texture and features, that have large changes in surrounding pixels during super-resolution processing. We proposed a super-resolution method using feature enhancement that combines Channel Attention and Spatial Attention. The existing CNN (Convolutional Neural Network) based super-resolution method has difficulty in deep network learning and lacks emphasis on high frequency components, resulting in blurry contours and distortion. In order to solve the problem, we used an emphasis block that combines Channel Attention and Spatial Attention to which Skip Connection was applied, and a Residual Block. The emphasized feature map extracted by the method was extended through Sub-pixel Convolution to obtain the super resolution. As a result, about PSNR improved by 5%, SSIM improved by 3% compared with the conventional SRCNN, and by comparison with VDSR, about PSNR improved by 2% and SSIM improved by 1%.
참고문헌 (15)
- 권명규, "계층적 CNN을 이용한 방송 매체 내의 객체 인식 시스템 성능향상 방안", 디지털융복합연구, 15(3), pp.201~209 (2017), 한국디지털정책학회[DOI]
- 김봉현, "위치 측위 기술을 이용한 영상 추적 시스템 설계", 디지털융복합연구, 14(11), pp.143~148 (2016), 한국디지털정책학회[DOI]
- D. W. Lee, "A Study on Super Resolution Method using Encoder-Decoder with Residual Learning", Journal of Advanced Research in Dynamical and Control Systems, 11(7), pp.2426~2433 (2019)
- 이동우, "얼굴 검출을 위한 Flood Fill 기반의 개선된 피부색 추출기법", 한국융합학회논문지, 10(6), pp.7~14 (2019), 한국융합학회[DOI]
- 김회준, "동영상에서 보행자 추적을 위한 변형된 HOG 특징 추출에 관한 연구", 한국융합학회논문지, 10(3), pp.39~47 (2019), 한국융합학회[DOI]
- K. He, "Deep residual learning for image recognition", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.770~778 (2016)
- J. Hu, "Squeeze-and-excitation networks", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.7132~7141 (2018)
- S. Woo, "Cbam:Convolutional block attention module", Proceedings of the European conference on computer vision (ECCV), pp.3~19 (2018)
- W. Shi, "Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.1874~1883 (2016)
- B. Zhou, "Learning deep features for discriminative localization", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.2921~2929 (2016)
- J. Park, "Bam : Bottleneck attention module", arXiv preprint arXiv:1807.06514., ~ (2018)
- R. Keys., "Cubic convolution interpolation for digital image processing", IEEE transactions on acoustics, speech, and signal processing, 29(6), pp.1153~1160 (1981)
- D. P. Kingma, "Adam: a method for stochastic optimization", arXiv preprint arXiv:1412.6980., 1~15 (2014)
- C. Dong, "Image super-resolution using deep convolutional networks", IEEE transactions on pattern analysis and machine intelligence, 38(2), pp.295~307 (2015)
- J. Kim, "Accurate image super-resolution using very deep convolutional networks", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.1646~1654 (2016)