복합형 카메라 시스템을 이용한 고화질 3차원 비디오 생성 방법
3D Video Generation using Hybrid Camera System
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 다시점 비디오와 그에 상응하는 다시점 깊이영상을 생성하기 위해 다시점 비디오 카메라와 깊이 카메라를 결합한 복합형 카메라 시스템을 제안한다. 제안한 복합형 카메라 시스템을 이용해 3차원 비디오를 생성하기 위해서는 우선 다시점 카메라와 깊이 카메라를 이용해 다시점 비디오와 깊이영상을 획득한다. 획득한 깊이영상을 이용해3차원 워핑(warping)을 적용하여 각 다시점 카메라를 위한 초기 깊이 정보를 예측하고 예측한 초기 깊이 정보를 이용해 세그먼트 기반의 스테레오 정합을 수행하여 초기 깊이영상을 생성한다. 3차원 워핑을 이용해 초기 깊이 정보를 예측하는 것은 다시점 카메라의 각 시점에서의 초기 깊이영상을 계산하기 위한 것이다. 본 논문에서는 물체의 외곽선 영역의 깊이영상 정확도를 높이기 위해 비디오 앞 뒤 영상의 색상 차분 정보를 이용해 움직임 영역을 추출한다. 마지막으로 고화질의 다시점 깊이영상을 생성하기 위해서 제안한 비용함수를 이용해 깊이영상을 정제한다. 제안한 복합형 카메라 시스템은 기존의 깊이영상 예측 방법보다 다시점 깊이영상을 포함하는 3차원 비디오를 빠르고 정확하게 생성할수 있었다. 이는 다양한 3차원 응용 분야를 위해 기존의 방법보다 자연스러운 3차원 영상을 생성할 수 있었다.
Abstract
In this paper, we present a hybrid camera system combining one time-of-flight depth camera and multiple video cameras to generate multi-view video sequences and their corresponding depth maps. In order to obtain the multi-view video-plus-depth data using the hybrid camera system, we capture multi-view videos using multiple video cameras and a single view depth video with the depth camera. After performing a threedimensional (3D) warping operation to obtain an initial depth map at each viewpoint, we refine the initial depth map using segment-based stereo matching. In order to reduce mismatched depth values along object boundaries,we detect moving objects using color difference between frames. Finally, we recompute the depth value of each pixel in each segment using pariwise stereo matching with a new cost function. Experimental results show that the proposed hybrid camera system produces multi-view video sequences with accurate depth maps, especially along the boundary of objects. In addition, it is suitable for generating more natural 3D views for 3D TV than previous works.
참고문헌 (21)
- P. Kauff, "Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability", Signal Processing Image Communication, 22(2), pp.217~234 (2007)
- C. Fehn, "Interactive 3-DTVconcepts and key technologies", Proceedings of the IEEE, 94(3), pp.524~538 (2006)
- "ISO", IEC JTC1, WG11 N8944“, Preliminary FTV model and requirements, 2007[DOI]
- A. Smolic, "3DAV exploration of video-based rendering technology in MPEG", IEEE Trans. on Circuits and Systems for Video Technology, 14(3), pp.348~356 (2004)
- S. Nayar, "Shape from Focus", IEEE Trans. Pattern Analysis and Machine Intelligence, 16(8), pp.824~831 (1994)
- C. Zitnick, "High-quality video view interpolation using a layered representation", Proc. of ACM SIGGRAPH, pp.600~608 (2004)
- D. Scharstein, "High-accuracy stereo depth maps using structured light", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1, pp.195~202 (2003)
- G. Iddan, "3D imaging in the studio and elsewhese", Proc. of SPIE Vidometrics and Optical Methods for 3D Shape Measurements, pp.48~55 (2011)
- M. Kawakita, "HDTV axi-vision camera", Proc. of International Broadcasting Conference, pp.397~404 (2002)
- S. Gokturk, "A time-of-flight depth sensor - system description, issues and solutions", Proc. of IEEE Conference on Computer Vision and Pattern Recognition Workshop, 3, pp.35~ (2004)
- "SwissRangerTM SR4000"[URL]
- G. Um, "Threedimensional scene reconstruction using multi-view images and depth camera", Proc. of SPIE Stereoscopic Displays and Virtual Reality Systems XII, 5664, pp.271~280 (2005)
- J. Diebel, "An application of Markov random fields to range sensing", Proc. of Advances in Neural Information Processing systems, pp.291~298 (2005)
- J. Zhu, "Fusion of time-of-flight depth and stereo for high accuracy depth maps", Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp.231~236 (2008)
- E. Lee, "3-D video generation using hybrid camera system", Proc. of International Conference on Immersive Telecommunications (IMMERSCOM), pp.T5(1)~T5(6) (2009)
- "Camera calibration toolbox program for Matlab provided by Caltech"[URL]
- Z. Zhang, "A flexible new technique for camera calibration", IEEE Trans. on Pattern Analysis and Machine Intelligence, 22(2), pp.1330~1334 (2000)
- Y. Kang, "Geometrical compensation for multi-view video in multiple camera array", Proc. of International Symposium ELMAR, 1, pp.83~86 (2008)
- Automatic color calibration for large camera arrays, "N. Joshi", UCSD CSE Technical, ~, pp.CS2005-0821 (2005)
- D. Comaniciu, "Mean shift: a robust approach toward feature space analysis", IEEE Trans. on Pattern Analysis and Machine Intelligence, 24(4), pp.603~619 (2002)
- "ISO", IEC JTC1, WG11 M15377, ''Reference softwares for depth estimation and view synthesis, 2008[DOI]