딥러닝 기반 EO/IR 영상 호모그래피 추정
Deep Image Homography Estimation for EO/IR Images
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 전자광학(Electro-Optical, EO) 및 적외선(Infrared, IR) 영상 정합에서 시점 변화와 스펙트럼 차이로 인한 기존 기법의 성능 저하 문제를 해결하기 위해, 팽창 합성곱(dilated convolution)을 적용한 ResNet-18 백본과 반복적 호모그래피 정제(iterative homography refinement) 구조를 결합한 딥러닝 기반 정합 모델을 제안한다. 제안한 모델은 넓은 수용 영역을 통한 시각 정보 추출과 단계적 정합 보정을 통해 다양한 환경에서도 안정적이고 견고한 성능을 보였다. AI Hub EO/IR 위성 데이터셋,Drone Vehicle EO/IR 데이터셋, 그리고 COCO 2014 범용 이미지 데이터셋에서 각각 평균 코너 오차(Mean Average CornerError, MACE) 1.18, 1.27, 0.42를 기록하여 높은 정합 정확도와 우수한 도메인 일반화 성능을 입증하였다. 향후 연구에서는Synthetic Aperture Radar (SAR) 영상 등 이종 센서 기반 환경으로의 확장을 통해 다중 모달 영상 정합의 적용 범위와 활용성을강화하는 것을 목표로 한다.
Abstract
This study proposes a deep learning-based Electro-Optical/Infrared(EO/IR) image registration model that integratesa ResNet-18 backbone with dilated convolutions and an iterative homography refinement module to overcome theperformance degradation of conventional methods caused by viewpoint variations and spectral differences. The proposedmodel effectively combines wide-receptive-field feature extraction with progressive alignment refinement, enablingstable and robust performance under diverse imaging conditions. Experiments on the AI Hub EO/IR satellite dataset,Drone Vehicle EO/IR dataset, and the COCO 2014 dataset achieved Mean Average Corner Error(MACE) values of1.18, 1.27, and 0.42, respectively, demonstrating high registration accuracy and strong domain generalization. Future work will extend this framework to heterogeneous sensor environments, such as Synthetic Aperture Radar(SAR) imagery, to further enhance the applicability and versatility of multi-modal image registration.