정확한 카메라 간 포인트 매칭을 통한 임의 시점 영상 합성 품질 향상 기법
Image quality enhancement for arbitrary viewpoint synthesis based on accurate inter-camera point matching
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
NoPe-NeRF와 같은 딥 뉴럴 네트워크를 이용하여, 사전 카메라 정보 없이 2D 이미지를 입력으로 3D 공간정보를 학습한 후, 임의의 시점(Viewpoint)으로부터 2D 합성 이미지를 생성할 때 원경영역의 이미지 품질 저하 문제가 관찰되었다. 이에 본 논문은 합성 이미지에서 원경 영역의 화질저하의 문제점을 해결하기 위한 방안을 제시한다. 해당 문제가 NoPe-NeRF에서 포인트 클라우드손실 함수 계산 시, 매칭 정확도가 낮은 포인트 쌍을 기반으로 손실을 계산하는 과정에서 비롯된다고 추정하고, 이를 개선하기 위해 확률적 밀집 대응 네트워크(PDCNet)를 이용하여 인접 카메라이미지 간의 포인트 매칭 정확도를 높이고, 이를 기반으로 보다 신뢰도 높은 포인트 클라우드 손실을 계산하도록 설계하였다. 제안 기법의 효과는 PSNR, SSIM, LPIPS 지표를 활용한 정량적 평가와 합성 이미지에 대한 정성적 비교 분석을 통해 입증되었다. 또한, 카메라 포즈 추정 성능의 개선 여부를 검증하기 위해 ATE 및 RPE 지표를 기준으로 제안 방법 적용 전후의 성능을 비교하였다. 실험 결과, 제안 기법은 임의 시점에서 생성된 합성 이미지의 품질을 향상시켰을 뿐만 아니라, 카메라 포즈 추정의 정확도 역시 함께 개선되었음을 확인하였다.
Abstract
Using deep neural networks such as NoPe-NeRF, it has been observed that when generating 2D synthesized images from arbitrary viewpoints—after learning 3D spatial information from 2D input images without prior camera information—the image quality in distant regions tends to degrade significantly. This paper proposes a method to address the issue of image quality degradation in distant regions of synthesized images. The degradation is presumed to result from the use of inaccurately matched point pairs with low correspondence accuracy when computing the point cloud loss function in NoPe-NeRF. To mitigate this problem, we incorporate a Probabilistic Dense Correspondence Network (PDCNet) to improve point matching accuracy between adjacent camera images. These refined correspondences are then used to compute a more reliable point cloud loss. The effectiveness of the proposed method is validated through quantitative evaluation using PSNR, SSIM, and LPIPS, as well as qualitative visual comparisons. Furthermore, to assess improvements in camera pose estimation, ATE and RPE metrics are compared before and after applying our method. The results demonstrate that the proposed approach not only enhances the visual quality of synthesized images from arbitrary viewpoints but also improves the accuracy of camera pose estimation.