Gaussian 가중 최소 자승법을 이용한 깊이 영상의 시간적 상관도 향상 방법
Temporally Consistent Depth Video Filtering Using Gaussian-weighted Least Squares
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
다시점 영상을 이용해서 깊이 영상을 획득하기 위한 방법으로는 스테레오 정합 방법이 일반적으로 가장 많이 사용되고 있다. 이 방법은 비교적 높은 정확도의 깊이 영상을 제공할 수 있지만, 매 화면마다 독립적으로 깊이 영상을 탐색하기 때문에 깊이 영상의 시간적 상관도가 낮은 단점이 있다. 시간적 상관도 저하 문제는 깊이 영상을 이용하여 가상 시점의 영상을 합성했을 때, 장면이 떨리게 되어, 시청자에게 시각적인 불편함을 유발한다. 또한, 깊이 영상 자체의 부호화 과정에서 시간적 예측 효과를 저하시키기 때문에 깊이 영상의 부호화 효율을 저하시킨다. 본 논문에서는 깊이 영상의 시간적 상관도를 향상시키는 방법을 제안한다. 제안하는 방법은 깊이 영상에 변형된 결합형 다방향 필터(modified joint multilateral filter)를 적용하는데 이 필터는 하나의 공간 필터와 밝기 및 깊이값의 유사도에 대한 두 개의 범위 필터로 구성된다. 또한, 제안한 방법은 시간축에서 움직이는 객체에 대한 필터링을 위해 Gaussian 가중 최소자승법을 사용해서 외곽오차를 제거한다. 실험 결과를 통해, 제안하는 방법이 깊이 영상의 시간적 상관도를 향상시켰을 뿐만 아니라, 화질도 약 1.22dB 향상시켰음을 확인할 수 있었다.
Abstract
In general, a stereo matching algorithm is widely used to estimate the depth map by the aid of the multi-view video. Although this method provides us with reliable quality of depth maps, it has a problem that the temporal consistency of the depth video is low since the estimation process is independently performed on a frame-basis. The tmeporal inconsistency problem affects the rendering quality of the synthesized views, as the flickering artifact causes viewer discomfort. In addition, performance degradation of temporal prediction transpires in depth coding. In this paper, we propose a depth filtering algorithm for temporally consistent depth video. The proposed method applies a modified joint multilateral filter (MJMF) to depth video. Fundamentally, MJMF is based on three Gaussian distributions: one spatial filter and two range filters for color and depth similarities. In addition, we perform outlier reduction in the temporal domain using Gaussian-weighted least squares to deal with temporal motion. Experimental results show that the proposed method improves the depth quality by 1.22 dB on average compared to previous algorithms due to enhanced temporal consistency.
참고문헌 (21)
- A. Smolic, "3D Video and Free Viewpoint Video - Technologies, Applications and MPEG Standards", Proc. IEEE International Conference on Multimedia and Expo, pp.2161~2164 (2006)
- "제임스 캐머런‘상상력, 기술의 新르네상스’"[URL]
- C. Fehn, "Depth-image-based Rendering (DIBR), Compression and Transmission for a New Approach on 3DTV", Proc. SPIE Stereoscopic Displays and Virtual Reality Systems, 5291, pp.93~104 (2004)
- C. Fehn, "Key Technologies for an Advanced 3D-TV System", Proc. SPIE Three-Dimensional TV, Video and Display, pp.66~80 (2004)
- W. R. Mark, "Post-Rendering 3D Warping", Proc. Symposium on Interactive 3D Graphics, pp.7~16 (1997)
- D. Sharstein, "A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms", International Journal of Computer Vision, 47(1-3), pp.7~42 (2002)
- P. Perez, "Markov Random Fields and Images", CWI Quarterly, 11(4), pp.413~437 (1998)
- M. Bleyer, "Graph-based Surface Reconstruction from Stereo Pairs Using Image Segmentation", Proc. SPIE Electronic Imaging, 5665, pp.288~299 (2005)
- Y. Deng, "A Symmetric Patch-based Correspondence Model for Occlusion Handling", Proc. IEEE International Conference on Computer Vision, pp.1316~1322 (2005)
- P.F. Felzenszwalb, "Efficient Belief Propagation for Early Vision", International Journal of Computer Vision, 70(1), pp.41~54 (2006)
- J. Sun, "Symmetric Stereo Matching for Occlusion Handling", Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp.399~406 (2005)
- H. Tao, "Dynamic Depth Recovery from Multiple Synchronized Video Streams", Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp.118~124 (2001)
- E. S. Larsen, "Temporally Consistent Reconstruction from Multiple Video Streams Using Enhanced Belief Propagation", Proc. IEEE International Conference on Computer Vision, pp.1~8 (2007)
- J. Kopf, "Joint Bilateral Upsampling", Proc. SIGGRAPH, pp.96~100 (2007)
- P. Lai, "Depth Map Processing with Iterative Joint Multilateral Filtering", Proc. Picture Coding Symposium, pp.9~12 (2010)
- Q. Yang, "A Constantspace Belief Propagation Algorithm for Stereo Matching", Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp.1458~1465 (2010)
- J. Choi, "2D-Plus-Depth Based Resolution and Frame-rate Up-conversion Technique for Depth Video", IEEE Transactions on Consumer Electronics, pp.2489~2497 (2010)
- M. Tanimoto, "Reference Software of Depth Estimation and View Synthesis for FTV", 3DV, ISO, SC29, pp.WG11, M15836[DOI]
- A. Telea, "An Image Inpainting Technique Based on the Fast Marching Method", Journal of Graphics Tools, 9(1), pp.25~36 (2004)
- M. Hannuksela, "Extension of Existing 3DV Test Set toward Synthetic 3D Video Content, ISO", IEC JTC1, WG11, M19221, 2011[DOI]
- F. Bruls, "Philips response to new Call for 3DV Test Material: Arrive book & Mobile, ISO", IEC JTC1, WG11, M16419, 2009[DOI]