3차원 비디오 생성을 위한 깊이 영상의 시점간 상관도 향상 방법
View-consistent Multi-view Depth Map Estimation for 3D Video Generation
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
다시점 3차원 비디오는 여러 대의 카메라를 평행형 혹은 수렴형 배열로 배치한 다시점 카메라를 이용해 획득되는다시점 영상과 각 시점 영상에 상응하는 다시점 깊이 영상으로 구성된다. 깊이 영상이란 영상내에 존재하는 객체들의3차원 거리 정보를 8비트로 표현한 영상을 말하며 깊이 영상의 화소값은 각 해당 화소의 깊이 정보를 나타낸다. 깊이영상의 정확도는 3차원 TV 시스템의 중요한 기능 가운데 하나인 중간시점 합성 기술의 화질을 좌우하기 때문에 정확한 깊이 영상을 생성하는 것이 매우 중요하다. 본 논문에서는 시점 사이의 상관도를 향상시키는 다시점 깊이 영상 탐색 방법을 제안한다. 기존의 방법이 각 시점별로 깊이 영상을 독립적으로 탐색하는 반면에 본 논문에서 제안하는 방법은 모든 시점에 대해 동시에 깊이 영상을 탐색한다. 이를 위해 좌우 시점 각각에 대해서 기존의 방법으로 초기 깊이 영상을 구하고 초기 깊이 영상을 가운데 시점으로 3차원 워핑한다. 그런 다음 세 시점에 대해 종합 오차 최소화 과정을수행하여 시점사이의 상관도를 향상시킨다. 컴퓨터 모의실험을 통해 제안하는 방법이 깊이 영상의 시점간 상관도를향상시켰을 뿐만 아니라 합성 영상의 화질도 향상시켰음을 확인할 수 있었다.
Abstract
In this paper, we propose a new algorithm for view-consistent multi-view depth estimation for threedimensional (3D) video generation. After we obtain depth maps at the left and right viewpoints using a conventional depth estimation method, we project them into the center viewpoint and perform an error minimization process using a multi-view graph cut algorithm. Experimental results showed that the proposed algorithm improved view consistency of depth maps as well as rendering quality of the 3D video.
참고문헌 (16)
- A. Smolic, "3D Video and Free Viewpoint Video - Technologies, Applications and MPEG Standards", IEEE International Conference on Multimedia and Expo (ICME), pp.2161~2164 (2006)
- A. Redert, "ATTEST: Advanced Three-dimensional Television System Techniques", Proc. of International Symposium on 3D Data Processing, pp.313~319 (2002)
- 호요성, "다시점비디오기반의3차원실감 방송", 방송과 기술, 161, pp.136~143 (2010)
- "방통위, 3차원방송 등 집중 육성키로"[URL]
- 호요성, "3차원비디오부호화기술의국제 표준화 동향", TTA Journal, 123, pp.77~83 (2009)
- P. Kauff, "An immersive 3D videoconferencing system using shared virtual team user environments", Proc. of international conference on Collaborative virtual environments, pp.105~112 (2002)
- Z. Zhang, "A Flexible New Technique for Camera Calibration", IEEE Transaction on Pattern Analysis and Machine Intelligence, 22(11), pp.1330~1334 (2000)
- "Applications and Requirements on FTV", ISO, SC29, pp.WG11, 2007[DOI]
- C.L. Zitnick, "High-quality Video View Interpolation Using a Layered Representation", SIGGRAPH, pp.600~608 (2004)
- Q. Yang, "A constant-space belief propagation algorithm for stereo matching", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.1458~1465 (2010)
- "Call for Contributions on 3D Video Test Material", ISO, SC29, pp.WG11, 2008[DOI]
- "Reference Software of Depth Estimation and View Synthesis for FTV", 3DV, IEC JTC1, pp.SC29, WG11[DOI]
- S. Lee, "Temporally Consistent Depth Map Estimation Using Motion Estimation for 3DTV", International Workshop on Advanced Image Technology, pp.149~ (2010)
- "Depth Estimation Reference Software (DERS) 5.0", ISO, SC29, pp.WG11, 2009[DOI]
- "1D Parallel Test Sequences for MPEG-FTV", ISO, SC29, pp.WG11, 2008[DOI]
- "Multi-view Video Test Sequence and Camera Parameters", ISO, SC29, pp.WG11, 2008[DOI]