중요도 기반 가이드 영상 활용을 통한 적외선 영상 초해상화
Infrared Image Super-Resolution Using Attention-Based Guided Information
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
적외선 영상은 조도가 낮은 환경에서도 안정적인 시각 정보를 제공하지만, 해상도가 낮고 세부 정보가 부족하다는 한계로 인해 활용에 제약이 있다. 이러한 한계를 보완하기 위해 RGB 영상을 가이드로 활용하는 Guided Image Super-Resolution기법이 주목받고 있으며, Swin Transformer 기반의 SwinFuSR은 IR과 RGB 간의 상호 보완적인 정보를 효과적으로 융합한다. 그러나 SwinFuSR의 얕은 특징 추출기(Shallow Feature Extractor)는 고정 커널 기반의 합성곱 구조로 구성되어 있어, 위치별 정보의 중요성이나 채널 간의 관계를 정밀하게 반영하는 데 한계가 있다. 본 논문에서는 이러한 구조적 한계를 극복하기 위해 SwinFuSR의 특징 추출 단계에 Attention 기반의 Pixel Adaptive Convolution을 도입하는 방법을 제안한다. APAC는 입력의 국소적 문맥 및 방향 정보를 바탕으로 위치별 적응적인 합성곱을 수행함으로써 의미 있는 정보만을 선택적으로 반영할 수 있다. 이를 통해 구조 보존 능력과 RGB 정보 억제 측면에서 보다 정밀한 초해상화 결과를 구현할 수 있었다. 다양한 성능 지표를 활용한 실험 결과는 제안한 방법이 기존 SwinFuSR에 비해 구조 복원 및 시각적 품질 향상 측면에서 효과적임을 입증하였다.
Abstract
IR images provide stable visual information even in low light environments, but their application is limited due to their low resolution and insufficient details. Guided Image Super-Resolution (Guided SR) method, which uses RGB images as a guide, is attracting attention to compensate for this, and SwinFuSR based on SwinTransformer effectively fuses complementary information between IR and RGB. However, since SwinFuSR's Shallow Feature Extractor is composed of a convolutional structure based on a fixed kernel, there is a limit to precisely reflecting the importance of information by location or the relationship between channels. In this paper, we propose a method of introducing an Attention-based Pixel Adaptive Convolution (APAC) in the feature extraction step of SwinFuSR to overcome these structural limitations. APAC can selectively reflect only meaningful information by performing adaptive convolution by location based on the local context and attitude information of the input. Through this, more precise super-resolution results were implemented in terms of structure preservation ability and RGB information suppression. Experimental results using various performance indicators proved that the proposed method is effective in structural restoration and visual quality improvement compared to the existing SwinFuSR.