RGB+IR 영상분할 모델 성능 향상을 위한 열화상 초해상화
Thermal image super-resolution for performance improvement of RGB+IR image segmentation model
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
단일 RGB 이미지 비전 시스템의 성능은 조명 의존도가 높기 때문에 저조도 또는 악천후 조건에서 종종 저하된다. 이러한 한계를 해결하기 위해 적외선(IR) 이미지를 통합하는 RGB+IR 센서 융합 기술이 유망한 솔루션으로 부상했다. 센서 융합은 야간 및 저조도 환경에 대한 견고성을 향상시키지만, RGB와 IR 이미지 간의 해상도 차이로 인해 문제가 발생한다. 본 연구에서는 이러한 문제를 완화하기 위한 IR 이미지의 초해상화 기술을 제안한다. 실험은 RGB+IR 이미지를 사용한 이미지 분할 프레임워크인 Sigma 모델을 사용하여 수행되었다. 사전 훈련된 가중치를 활용했으며, 원본 이미지를 해상도의 1/8과 1/16로 서브 샘플링하여 열화된 IR 이미지를 생성한다. 열화된 이미지는 양방향 및 가이드 필터 기반 방법을 사용하여 초해상화 되고 딥러닝 기반 분할 모델의 입력으로 사용되어 모델의 성능을 분석한다. 결과는 제안된 업샘플링 방법이 분할 성능에서 기존의 보간 기술을 능가한다는 것을 입증했다. 본 연구는 제안하는 초해상화 방법이 RGB+IR 이미지의 센서 융합에서 해상도 차이로 인한 문제를 줄일 수 있음을 강조한다.
Abstract
The performance of single RGB image vision systems often degrades under low-light or adverse weather conditions due to their high dependence on illumination. To address these limitations, RGB+IR sensor fusion technology, which integrates infrared (IR) images, has emerged as a promising solution. Sensor fusion enhances robustness in night and low-light environments but presents challenges due to resolution differences between RGB and IR images. This study proposes a super-resolution technique for IR images to mitigate these issues. Experiments were conducted using the Sigma model, an image segmentation framework utilizing RGB+IR images. Pre-trained weights were employed, and the original images were subsampled to 1/8 and 1/16 of their resolution to create degraded IR images. The degraded images undergo super-resolution using bilateral and guided filter-based methods, and the performance of the deep learning-based segmentation model was analyzed. The results demonstrate that the proposed upsampling method surpasses traditional interpolation techniques in segmentation performance. This study highlights that the proposed super-resolution method can effectively reduce issues arising from resolution differences in RGB+IR sensor fusion.
참고문헌 (13)
- M. Laad, "Unveiling the Vision: A Comprehensive Review of Computer Vision in AI and ML", 2024 International Conference on Advances in Data Engineering and Intelligent Computing Systems (ADICS), pp.1~6 (2024)
- W. El Ahmar, "Enhanced Thermal-RGB Fusion for Robust Object Detection", 2023 IEEE, 2023, 365~374
- M. Purohit, "Image Processing Framework for Performance Enhancement of Low-Light Image Sensors", IEEE Sensors Journal, 21(6), pp.8530~8542 (2021)
- J. Ma, "GANMcC: A Generative Adversarial Network With Multiclassification Constraints for Infrared and Visible Image Fusion", IEEE Transactions on Instrumentation and Measurement, 70, pp.1~14 (2021)
- Milanfar, P, "Super-Resolution Imaging" (2011), CRC Press
- D. Robinson, "Statistical performance analysis of super-resolution", IEEE Transactions on Image Processing, 15(6), pp.1413~1428 (2006)
- C. Tomasi, "Bilateral filtering for gray and color images", Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271), pp.839~846 (1998)
- K. He, "Guided Image Filtering", IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(6), pp.1397~1409 (2013)
- Q. Ha, "MFNet: Towards real-time semantic segmentation for autonomous vehicles with multi-spectral scenes", 2017 IEEE, 2017, 5108~5115
- Yin, Hui, "Side window filtering", Proceedings of the IEEE, 2019, ~
- Kim, H., "Image Interpolation using directional edge Weight", Journal of the Institute of Convergence Signal Processing, 11(1), pp.26~31 (2010)
- R. E. Rivadeneira, "Thermal Image Super-Resolution Challenge Results - PBVS 2024", 2024 IEEE, 2024, 3113~3122