시점 합성을 이용한 다시점 비디오와 깊이 영상의 동시 부호화 방법
A Joint Coding Algorithm for Multi-view Video and Corresponding Depth Maps using View Synthesis
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 다시점 비디오 데이터와 동일 시점의 깊이 영상을 동시에 부호화하는 새로운 방법을 제안한다. 우 선 이웃 시점의 깊이 영상에 3차원 워핑(warping) 방법을 이용하여 현재 부호화하려는 시점의 가상 깊이 영상을 미리 합성하였다. 이렇게 합성된 깊이 영상에 시점 보간 예측(VIP: View Interpolation Prediction) 방법을 적용하여 깊이 영상을 부호화할 때 시점간 예측 성능을 향상시켰다. 위 방법으로 다시점 깊이 영상을 모두 부호화한 후, 부호화된 깊 이 영상을 이용하여 같은 방법으로 다시점 비디오 데이터를 부호화했다. 위 과정 중 가상 영상을 만들 때 이용되는 3 차원 워핑 단계에서 폐색(occlusion) 영역과 비폐색(disocclusion) 영역으로 인해 겹침 현상과 빈 공간이 발생했다. 전경이 배경에 의해 가려지는 겹침 현상은 깊이 정보가 사상되어있는 깊이 영상을 이용해 전경과 배경을 구분함으로써 해결하였다. 또한 작은 빈 공간은 이용 가능한 이웃한 화소들의 중간값을 이용했고 전경의 경계에서 발생하는 비교적 큰 빈 공간은 대부분 배경에서 발생하므로 배경의 화소값을 이용하여 채웠다. 본 논문에서 제안한 방법을 다시점 비디 오 부호화 참조소프트웨어인 JMVM 1.0에 추가했을 경우에 다시점 깊이 영상 부호화에서는 평균 약 0.65dB, 다시점 비디오 부호화에서는 평균 약 0.17dB의 PSNR 이득이 발생했다.
Abstract
In this paper, we have proposed a joint coding method for both multi-view video data and their corresponding depth maps. After we employ a 3D warping technique in order to synthesize a virtual view for the current view using available neighboring views, we apply a view interpolation prediction(VIP) scheme on the synthesized view to improve the inter-view prediction. We take the same approach to encode both multi-view video sequences and their depth maps. During the inter-view synthesis process, we often encounter two problems: overlapping is occurring in occlusion regions and holes are generated in disocclusion regions. In this paper, we avoid the overlapping problem using depth maps, which include depth information, by distinguishing foregrounds from backgrounds. We also fill the holes by median values of the neighboring views. Experimental results show that the proposed method has achieved approximately 0.65 dB of the PSNR gain on average for the multi-view depth maps and 0.17 dB of the PSNR gain on average for the multi-view video sequences, compared to JMVM 1.0.
참고문헌 (19)
- A. Smolic, "3D Video and Free Viewpoint Video Technologies, Applications and MPEG Standards", IEEE ICME 2006 (2006)
- ISO, "IEC JTC1", SC29, Call for Evidence on Multi-view Video Coding, 2004[DOI]
- ISO, "IEC MPEG & ITU-T VCEG JVT-T208", Joint Multiview Video Model (JMVM) 1.0, 2006
- P. Merkle, "Efficient Compression of Multi-view Video Exploiting Inter-view Dependencies Based on H.264", MPEG4- AVC, 2006, ~
- A. Smolic, "Interactive 3D Video Representation and Coding Technologies", IEEE Spatial Issue on Advance in Video Coding and Delivery, 93(1) (2005), Proc
- R. S. Wand, "Multiview Video Sequence Analysis, Compression, and Virtual Viewpoint Synthesis", IEEE Transactions on Circuits and Systems for Video Technology, 10(3) (2000)
- K. J. Oh, "Multi-view Video Coding based on the Lattice-like Pyramid GOP Structure", Proc. of PCS 2006 (2006)
- ISO, "IEC MPEG & ITU-T VCEG JVT-W100", Multi-view video plus depth (MVD) format for advanced 3D video systems, 2007
- C. Lee, "An Efficient View Interpolation Scheme and Coding Method for Multi-view Video Coding", Proc. of IWSSIP 2007 (2007)
- C. Fehn, "An Evolutionary and Optimized Approach on 3D-TV", Proc. of IBC 2002 (2002)
- P. Merkle, "Efficient Compression of Multi-view Depth Data based on MVC", Proc. of IEEE 3DTV Conference (2007)
- M. Leonard, "An Image-Based Approach to Three-Dimensional Computer Graphics" (1997), University of North Carolina at Chapel Hill
- T. Wiegand, "Overview of the H.264", AVC video coding standard, 2003, pp.13(7), ~
- S. Ince, "Depth Estimation for View Synthesis in Multiview Video Coding", IEEE 3DTV Conference
- L. Zhang, "Stereoscopic Image Generation Based on Depth Images for 3DTV", IEEE Transactions on Broadcasting, 51(2) (2005)
- H. Schwarz, "Analysis of Hierarchical B Pictures and MCTF", In IEEE ICME 2006 (2006)
- C. L. Zitnick, "High-quality video view interpolation using a layered representation" (2004), ACM SIGGRAPH
- S. T. Na, "Multi-view Depth Video Coding using Depth View Synthesis", IEEE ISCAS 2008 (2008)
- Calculation of Average PSNR Differences between RD-Curves, "G. Bjontegaard", Doc, ~, pp.VCEG-M33 (2001)