비디오 시퀀스로부터 고해상도 정지영상 복원을 위한 입력영상 선택 알고리즘
An Improved Input Image Selection Algorithm for Super Resolution Still Image Reconstruction from Video Sequence
1
조회
0
다운로드
0
인용
0
참고문헌
초록
본 논문에서는 SR(Super Resolution) 복원 과정에 있어 사용되는 입력 후보 영상 중 적합한 입력 영상을 자동 선택하는 알고리즘을 제안함으로써 복원된 고해상도 영상의 질을 개선하고자 한다. SR 복원과정에서 이상적인 결과 영상을 얻기 위해서는 입력되는 모든 영상이 유기적으로 잘 정합되어야 하지만, 실제로는 그렇지 못하다. 이런 이유로 입력 후보군 영상의 정합 적합성이 얼마나 높은가가 단순히 많은 입력 영상의 수보다 고품질의 고해상도 결과 영상을 얻는데 더욱 결정적이라 할 수 있다. 입력 영상의 적합성은 통계 특성 및 정합 특성을 이용하여 평가 가능하다. 그러므로 본 논문에서는 SR복원과정에 정합 적합성을 자동으로 평가하여 이에 따라 입력 영상을 결정하는 전처리 과정을 제안하고 구조화하였다. 또한 비디오 시퀀스의 모든 입력 영상은 SR복원과정의 기준 영상이나 저해상도 입력 영상과 같이 사용될 수 있으므로 본 논문에서는 연속적인 비디오 시퀀스를 위한 SR 복원알고리즘을 제안한다. 적합성의 유무는 임계값(Threshold Value)에 의해 결정되며, 이 임계값은 기준 영상과의 움직임 추정에서 그 보상 값의 오류 값 중 최대치(MMCE, Maximum Motion Compensation Error)로 결정된다. 만약 저해상도 입력 영상의 보상 오류 값의 범위가 0과 MMCE사이(0 < MCE < MMCE )값이라면 그 범위 안의 입력 후보 영상은 SR 복원과정에 사용되며 범위 밖의 후보 영상은 제외 된다. 최적의 저해상도 기준(ORLR, Optimal Reference Low Resolution)영상은 선택된 저해상도 입력(SLRI, Selected LR Input)영상들과 각각의 저해상도 기준 입력(RLRI, Reference Low Resolution Input)영상들의 비교를 통해 결정된다. 본 논문에서는 이와 같은 과정에 의해 결정된 저해상도의 최적 기준영상과 선택영상을 ‘Hardie’ 보간 법을 사용하여 고해상도 영상을 만들어 내는 것으로 사용자의 조정이 없이도 SR복원영상의 질적 향상을 가져올 것이라 기대된다.
Abstract
In this paper, we propose the input image selection-method to improve the reconstructed high-resolution (HR) image quality. To obtain ideal super-resolution (SR) reconstruction image, all input images are well-registered. However, the registration is not ideal in practice. Due to this reason, the selection of input images with low registration error (RE) is more important than the number of input images in order to obtain good quality of a HR image. The suitability of a candidate input image can be determined by using statistical and restricted registration properties. Therefore, we propose the proper candidate input Low Resolution(LR) image selection-method as a pre-processing for the SR reconstruction in automatic manner. In video sequences, all input images in specified region are allowed to use SR reconstruction as low-resolution input image and/or the reference image. The candidacy of an input LR image is decided by the threshold value and this threshold is calculated by using the maximum motion compensation error (MMCE) of the reference image. If the motion compensation error (MCE) of LR input image is in the range of 0 < MCE < MMCE then this LR input image is selected for SR reconstruction, else then LR input image are neglected. The optimal reference LR (ORLR) image is decided by comparing the number of the selected LR input (SLRI) images with each reference LR input (RLRI) image. Finally, we generate a HR image by using optimal reference LR image and selected LR images and by using the Hardie’s interpolation method. This proposed algorithm is expected to improve the quality of SR without any user intervention.
참고문헌 (6)
- S.C. Park, "Super-resolution image reconstruction: a technical overview", IEEE Signal Processing magazine, pp.21~36 (2003)
- E.S. Lee, "Regularized adaptive high-resolution image reconstruction considering inaccurate subpixel registration", IEEE Trans. Image Processing, 12, pp.826~837 (2003)
- Y. Altunbasak, "Super-resolution still and video reconstruction from MPEG-coded video", IEEE Trans. Circuits Syst. Video Technol, 12, pp.217~226 (2002)
- S. Baker, "Limits on sper-resolution and how to break them", IEEE Trans. Pattern Analysis Machine Intelligence, 24, pp.1167~1183 (2002)
- R.C. Hardie, "Joint MAP registration and high-resolution image estimation using a sequence of undersampled image", IEEE Trans. Image Processing, 6, pp.1621~1633 (1997)
- R.R Schultz, "Extraction of high-resolution frames from video sequences", IEEE Trans, 5, pp.996~1011 (1996)