2D 콘텐츠의 3D 입체 콘텐츠로의 변환 기법
Algorithms for 2D to 3D Contents Conversion
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 논문에서는 3D 입체영상 생성 기법에 대한 기본 원리를 설명하고 기존에 제안되었던 다양한 기법들을 소개하고자 한다. 또한 성능이 우수한 변환 기술을 새로이 제안한다. 3D 입체영상 생성 기술은 지난 20년간 꾸준히 연구 개발이 진행되어온 분야로 최근 3DTV 보급과 더불어 3D 콘텐츠의 수요 증가와 함께 관심을 받는 분야이다. 본 논문에서는 영상이나 동영상 등 2D 콘텐츠에서 좌, 우 스테레오 3D 콘텐츠 변환 기법과 좌우 스테레오 콘텐츠로부터 다수의가상 시점(다시점) 콘텐츠를 생성하는 IVR 기법을 3D 콘텐츠 변환 기법에 포함하였다. 좌, 우 스테레오 영상 생성시발생하는 가려짐 영역을 보상하기 위하여 심카빙(seam carving) 기법을 이용하여 에너지 패턴을 구하고 이를 이용하는 새로운 기법을 제안한다. 또한 다시점 영상 생성시 발생하는 공통 홀(common hole)을 보상하기 위하여 나선형 가중 평균 기법(spiral weighted average method)도 제안한다. 심카빙 기법은 에너지 변화가 가장 작은 패턴을 찾아가려짐 영역 보상에 해당 영역을 이용하여 보상된 영역의 자연스러움을 최대로 할 수 있다는 장점이 있다. 나선형 가중 평균 기법도 공통 홀 주변 화소의 깊이 정보 차이값과 거리의 가중치를 이용하여 가장 근사한 화소의 색상값으로 보상을 하기 때문에 객체 정보를 반영할 수 있다는 장점이 있다. 실험 결과를 통해 제안하는 기법이 기존 기법들 보다 성능이 우수하다는 것을 보였다.
Abstract
In this paper, we first explain the basic principle of 3D content generation by converting 2D content and introduce the previously proposed converting algorithms. Also we propose new algorithms to recover the occlusion region and remove the boundary noise occurred during the converting process. Recently, this area is getting more interests because we need more content with 3DTV come into wider use even though the related R&D has been done for more than 20 years. In this paper, we are mainly treating two problems; generating 3D stereoscopic content from 2D format and generating multi-view 3D content from the stereoscopic 3D format. We propose a new algorithm to recover occluded regions by using seam carving method and also propose the spiral weighted average method to recover the common hole occurred when a virtual view is generated. The first proposed algorithm can recover the occluded regions naturally by finding the minimum energy change patterns and the spiral weighted average method can also have a maximum effect because it considers the neighbor pixels’depth information and use the weighting factor properly. Through the experimental results, the proposed algorithms outperformed compared with the conventional algorithms.
참고문헌 (50)
- B. J. Garcia, "Approaches to stereoscopic video based on spatio-temporal interpolation", SPIE Photonic West, 2635, pp.85~95 (1996)
- T. Okino, "New television with 2D", 3D image conversion techniques, 1995, pp.2653, 96~103
- M. B. Kim, "Stereo conversion of mono-scopic video by the transformation of vertical-horizontal disparity", SPIE Photonic West, 3295, pp.65~74 (1998)
- Y. Matsumoto, "Conversion system of monocular image sequence to stereo using motion parallax", SPIE Photonic West, 3012, pp.108~115 (1997)
- M. B. Kim, "On the implementation of Ross phenomenon for stereoscopic conversion of 2D video", Proc. 11th Workshop of Image Processing and Image Understanding, pp.187~192 (1999)
- D. F McAlister, "Stereo Computer Graphics and Other True 3D Technologies" (1993), Princeton University Press
- C. Fehn, "Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3DTV", Proc. of SPIE, Stereoscopic Displays and Virtual Reality Systems XI, 5291, pp.93~104 (2004)
- M. B. Kim, "A new method for the conversion of MPEG encoded data into stereoscopic video", J. of the Society for 3D Broadcasting and Imaging, 1(1), pp.48~59 (2000)
- 백윤기, "2차원 동영상으로부터 다시점 동영상 생성 기법", 한국통신학회논문지C, 33(1), pp.53~61 (2008), 한국통신학회
- 김지홍, "에지 방향성 히스토그램을 이용한 2차원 동영상의 3차원 입체변환기법", 한국통신학회논문지C, 34(8), pp.782~789 (2009), 한국통신학회
- 김수동, "Depth layer partition을 이용한 2D 동영상의 3D 변환 기법", 방송공학회 논문지, 16(1), pp.44~53 (2011), 한국방송공학회
- Ross J., "Stereopsis by binocular delay", Nature, 248, pp.354~364 (1974)
- T. Okino, "New television with 2D", 3D image conversion techniques, 1996, pp.2653, ~
- T. Okino, ""New television with 2D", 3D image conversion techniques, 1995, pp.2653, 96~103
- Lenny Lipton, "Stereo-vision formats for video and computer graphics", Proc. of SPIE, 3012, pp.239~244 (1997)
- 김만배, "2차원 동영상의 3차원 입체 변환 방법", 방송공학회지 학회지, 6(1), pp.~35 (2001)
- C. Weerasighe, "2D-to-pseudo 3D conversion if head-and-shoulder images using feature-based parametric disparity maps", IEEE, 3, pp.963~966 (2001)
- P. Harmon, "Home-based 3D entertainment: an overview", ICIP, 1, pp.1~4 (2002)
- K. H. Bae, "New disparity estimation scheme based on adaptive matching window for intermediate view reconstruction", Optical Engineering, 42(6), pp.1778~1786 (2003)
- C. L. Zitnick, "High-quality video view interpolation using a layered representation", ACM SIGGRAPH and ACM Trans. On Graphics, Los Angeles, 23(3), pp.600~608 (2004)
- 박세환, "다시점 동영상에서 임의시점영상 생성을 위한 가려진 영역 보상기법", 한국통신학회논문지C, 33(12), pp.1029~1037 (2008), 한국통신학회
- "Boundary Filtering on Synthesized Images for 3D Video", ISO, SC29, pp.WG11, 2008[DOI]
- A. Smolic, "Intermediate view interpolation based on multiview video plusdepth for advanced 3D video systems", ICIP 2008, pp.2448~2451 (2008)
- Y. Mori, "View generation with 3D warping using depth information for FTV", 3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video, pp.229~232 (2008)
- Richard Hartley, "Multiple View Geometry", pp.152~247 (2003), Cambridge University
- 김태준, "다시점 카메라 모델의 기하학적 특성을 이용한 가상시점 영상 생성 기법", 한국통신학회논문지C, 34(12), pp.1154~1166 (2009), 한국통신학회
- "ATTEST"[URL]
- J. Zhu, "Fusion of time-of-flight depth and stereo for high accuracy depth maps", Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp.1~8 (2008)
- Y. Kang, "Multi-depth camera system for 3-D video generation", International Workshop on Advanced Image Technology, pp.44~ (2010)
- G. Um, "Threedimensional scene reconstruction using multiview images and depth camera", Proc. of 3D Digital Imaging and Modeling, 5664, pp.271~280 (2005)
- E. Lee, "3-D video generation using hybrid camera system", International Conference on Immersive Telecommunications, pp.5~ (2009)
- S. Avidan, "Seam Carving for Content-Aware Image Resizing", ACM Transactions on Graphicsvo, 26(3) (2007)
- A. Criminisi, "Object removal by exemplar-based inpainting", Proc. IEEE Computer Vision and Pattern Recognition, Madison, 2, pp.721~729 (2003)
- M. Rubinstein, "Improved seam carving for video retargeting", ACM Transactions on Graphics-TOG, 16~ (2008)
- 윤종철, "이미지리사이징을위한 플로우 기반의 심카빙 기법", 2009 학술발표논문집, 36(2), pp.251~255 (2009), 한국정보과학회
- 안재우, "Seam carving을 이용한 가려짐 영역 보상 기법", 2010 한국방송공학회 추계학술대회, pp.159~162 (2010)
- 최미남, "다시점 동영상의 중간시점영상 생성을 위한 변이 예측 기법", 방송공학회 논문지, 13(6), pp.915~929 (2008), 한국방송공학회
- J. S. McVeigh, "Intermediate view synthesis considering occluded and ambiguously referenced image regions", Signal Processing Image Communication, 9, pp.21~28 (1996)
- S. D. Cochran, "3-D surface description from binocular stereo", IEEE Trans. PAMI, 14(10), pp.981~994 (1992)
- J. Y. Goulermas, "Hybrid symbiotic genetic optimisation for robust edge-based stereo correspondence", Pattern Recognition, 34(12), pp.2477~2496 (2001)
- Yao Wang, "Use of 2-D deformable mesh structures for video coding", IEEE Trans. on Circuit sand Systems for Video Tech, 6(6) (1966)
- Y. Wang, "Video processing and communications" (2001), Prentice Hall
- Y. Mori, "View generation with 3D warping using depth information for FTV", IEEE 3DTV-CON'08, pp.239~232 (2008)
- Y. Mori, "View generation with 3D warping using depth information for FTV", ELSEVIER, Signal Processing : Image Communication, 24(1), pp.65~72 (2009)
- W. Mark, "Post-rendering 3D warping", Proc. Symposium on I3D Graphics, pp.7~9 (1997)
- A. Telea, "An image in-painting technique based on the fast marching method", J. Graphics Tools, 9(1), pp.25~36 (2003)
- A. Buades, "A non-local algorithm for image denoising", IEEEInt, Conf. on Computer Vision and Pattern Recognition, 2, pp.60~65 (2005)
- 강근호, "객체 추출과 Non-Local 필터를 이용한 2D 영상의 3D 변환", 한국방송공학회 추계학술대회, pp.184~187 (2010)
- "Methodology for subjective assessment of the quality of television picture", ITU-R Recommendation BT. 500-11, ~ (2011)
- "Implementation of Hole Filling Methods for VSRS 3.5.alpha", ISO, SC29, pp.WG11, 2011[DOI]