시공간 평탄화 제약 조건을 이용한 동적 비디오에서의 초해상도 영상 복원
Super Resolution Reconstruction from Dynamic Video Sequenceusing the Spatio-Temporal Smoothness Constraints
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
초해상도 영상 복원이란 임의의 저해상도 영상 혹은 영상 시퀀스로부터 고해상도 영상을 복원해 내는 것을 말한다. 저해상도 영상들은 일반적으로 노이즈가 많고 블러링 되어 있기 때문에 이러한 저해상도 영상으로부터 화질이 좋은 고해상도 영상을 복원하는 기술은 항공 사진, 감시용 영상, 의료 영상 등 다양한 분야에 유용하게 사용될 수 있다. 특히, 노이즈가 많고 블러링된 오래된 공연 영상 자료들을 화질이 좋은 고해상도 영상으로 복원함으로써, 무형 문화를 보존하는데 응용되어 질 수도 있다. 본 논문에서는 동적 비디오에 적용할 수 있는 반복적 고해상도 영상복원 방법을 제안하였다. 기존의 방법은 전 단계에서 예측된 고해상도 영상에서 만들어진 저해상도 영상들과 실제 관측된 저해상도 영상들과의 차이만을 다음 단계에서 보정해주는데 반해 본 논문에서는 공간 및 시간영역의 국부 정보를 영상의 평탄화에 관계된 제한 조건에 적용한 후, 그에 대한 양을 동시에 고려하였다. 이러한 고려를 통해 에지는 보존되면서 주변 영역과 주변 프레임 사이에는 자연스러운 연속성을 가지는 고해상도 영상을 획득하였다. 또한 잘못된 움직임 추정에 의해 발생하는 에러를 줄이기 위해 양방향 필터링을 움직임 벡터에 의해 생긴 시간적 에지에 적용하였다. 마지막으로 점 확산 함수에 의한 번짐 현상을 정교하게 모델링 하기 위해 본 논문에서는 움직임 벡터에 따른 타원 가중치 평균 필터를 이용하였다. 제안한 방법의 성능을 검증하기 위하여 직접 촬영한 비디오와 인위로 열화 시킨 비디오를 대상으로 실험을 수행하였다. 제안한 방법은 카메라의 움직임이 있거나 혹은 물체의 움직임이 있는 비디오에서 움직임 주변에 발생하는 잔상을 효과적으로 감소시키면서 선명하고 자연스러운 영상을 복원하였다.
Abstract
This paper proposes an efficient super resolution method based on iterative back projection (IBP). The existing super resolution methods usually have focused on the videos containing global motion only and they also have high computational complexity. Therefore, for real-time super resolution over video sequences, these methods are not suitable. However, iterative back projection method by Irani and Peleg is a stable and less demanding approach which is appropriate for video sequences. Therefore, the proposed method is based on iterative back projection. However, they still have some drawbacks, the artifacts owing to incorrect motion estimation and poor quality than reconstruction-based methods. To solve these problems, the proposed approach is explained below. In contrast to conventional iterative back projection methods, the proposed method enforces the spatio-temporal smoothness prior based on Huber Markov random field (MRF) image prior. While iterative process to estimate high resolution image is performed, the amount of the spatio-temporal constraints is updated simultaneously. As a result, the reconstructed image is much smoother and more continuous. In addition, to reduce artifacts caused by incorrect motion estimation we applied bilateral filtering to temporal edge based optical flows between adjacent frames. We also use elliptical weighted area (EWA) filter whose kernel shape and size are determined by the motion vector so that point spread function (PSF) is approximated more accurately. The proposed algorithm is applied to both synthetic and real sequences and compared with the results of the other reconstruction methods. We confirmed that the proposed method is highly robust to inaccurate motion estimation and produces high resolution images with preserved edge.
참고문헌 (14)
- B. C. Tom, "Reconstruction of a high resolution image from multiple degraded mis-registered low resolution images", Visual Communications and Image Processing SPIE, 2308, pp.971~981 (1994)
- B. Lucas, "An Iterative Image Registration Technique with an Application to Stereo Vision", Seventh International Joint Conference on Artificial Intelligence, 674~679 (1981)
- C. Tomasi, "Bilateral filtering for gray and color images", IEEE International conference Computer Vision, pp.836~846 (1998)
- D. Capel, "Super-resolution enhancement of text image sequence", International Conference on Image Processing, 1, pp.600~605 (2000)
- D. Keren, "Image sequence enhancement using sub-pixel displacement", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.742~746 (1988)
- H. Shen, "A MAP Algorithm to Super-Resolution Image Reconstruction", International Conference on Image and Graphics, pp.544~547 (2004)
- M. Irani, "Motion analysis for image enhancement: resolution, occlusion, and transparency", Journal of Visual Comm- unication and Image Representation, 4, pp.324~335 (1993)
- M. V. W. Zibetti, "A Robust and Computationally Efficient Simultaneous Super-Resolution Scheme for Image Sequences", IEEE Trans- action on Circuit and System for Video Technology, 17(10), pp.1288~1300 (2007)
- N. Greene, "Creating raster ominimax images from multiple perspective views using the elliptical weighted average filter", IEEE Computer Graphics and Applications, 6(6), pp.21~27 (1986)
- R. R. Schultz, "A Bayesian approach to image expansion for improved definition", IEEE Transaction on Image processing, 3(3), pp.233~242 (1994)
- R. R. Schultz, "Extraction of high resolution frames from video sequences", IEEE Transactions on Image Processing, 5(6), pp.996~1011 (1966)
- S. C. Park, "Super-resolution image reconstruction: A technical overview", IEEE Signal Processing Magazine, 20(3), pp.21~36 (2003)
- T. S. Huang, "Multi-frame image restoration and registration", Advance in Computer Vision and Image Processin, 1, pp.317~339 (1984)
- Z. Jiang, "Practical Super-Resolution from Dynamic Video Sequences", Computer Society Conference on Computer Vision and Pattern Recognition, 2, pp.549~554 (2003)