다시점 동영상의 계층적 깊이영상 기반 표현, 부호화 및 중간 시점 보간 기법
Representation, Encoding and Intermediate View Interpolation Methods for Multi-view Video Using Layered Depth
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 다양한 형태의 멀티미디어를 이용한 새로운 응용분야와 고품질 콘텐츠가 나타면서 사용자들은 한층 향상된 실감나는 서비스를 즐길 수 있게 되었다. 그 중에서도 다시점 동영상은 여러 시점에서 다수의 카메라로부터 획득된 정보를 이용하여 사용자에게 원하는 시점의 영상을 제공할 수 있는 장점이 있다. 따라서 차세대 서비스인 삼차원 TV, 자유시점 TV, 실감방송 등에 사용될 중요한 실감형 멀티미디어로 각광을 받고 있다. 그러나 다시점 동영상은 카메라 수에 비례하여 데이터양이 늘어나므로, 이를 다양한 응용분야에서 효율적으로 사용하기 위해서는 다시점 동영상의 효과적인 표현, 처리, 복원 기법을 개발하는 것이 필요하다. 본 논문에서는 영상기반 렌더링 기법 중에서 계층적 깊이영상의 개념을 이용하여 다시점 동영상을 효과적으로 표현, 처리, 복원하고, 복원된 시점 사이를 보간하는 방법을 제안하였다. 제안한 방법은 다시점 동영상을 삼차원 정보가 포함된 계층적 깊이영상의 개념을 이용해 나타냄으로써, 다시점 색상과 깊이정보를 구조적으로 표현한다. 이렇게 표현한 데이터를 데이터 모으기와 계층채우기 기법을 이용해 처리하고, 이를 구성요소별로 부호화하여 데이터양을 감소시킨다. 기존의 다시점 동영상 부호화 기법은 원본 시점의 복원을 목적으로 하며, 중간 시점 보간을 위해서는 영상 사이의 정합정보를 계산하는 독립적인 알고리즘 및 모듈이 필요하다. 하지만 제안한 방식은 다시점 동영상 데이터를 새로운 표현으로 변환함으로써 별도의 모듈 없이 부호화와 중간 시점 보간 기능을 동시에 제공하는 장점이 있다.
Abstract
The multi-view video is a collection of multiple videos, capturing the same scene at different viewpoints. If we acquire multi-view videos from multiple cameras, it is possible to generate scenes at arbitrary view positions. It means that users can change their viewpoints freely and can feel visible depth with view interaction. Therefore, the multi-view video can be used in a variety of applications including three-dimensional TV (3DTV), free viewpoint TV, and immersive broadcasting. However, the data size of the multi-view video linearly increases as the number of cameras, it is necessary to develop an effective framework to represent, process, and display multi-view video data. In this paper, we propose a system to represent, encode, and reconstruct multi-view video based on an image-based representation, especially, using the concept of layered depth images (LDI). The proposed framework hierarchically represents various information included in multi-view video based on LDI. In addition, we reduce a large amount of multi-view video data to a manageable size by exploiting an encoding technique, reconstruct original multiple viewpoints, and finally generate intermediate images using a view interpolation method of LDI.
참고문헌 (20)
- "Layered Depth Image", pp.291~298 (1998)
- "Call for Evidence on Multi-view Video Coding"
- "Call for Proposals on Multi-view Video Coding"
- "Subjective Test Results for the CfP on Multi-view Video Coding"
- "Description of Core Experiments in MVC"
- "Survey of Image-based Representations and Compression Techniques", 13(11), pp.1020~1037 (2003)
- "The Lumigraph", pp.43~54 (1996)
- "Light Field Rendering", pp.31~42 (1996)
- "View Morphing", pp.21~30 (1996)
- "http:", projects, pp.ldi
- "Virtualized Reality: Constructing Virtual Worlds from Real Scenes", 1(1), pp.34~47 (1997)
- "Image-based Visual Hulls", pp.369~374 (2000)
- "A Real-time Distributed Light Field Camera", pp.77~85 (2002)
- "High-quality Video View Interpolation using a Layered Representation", pp.600~608 (2004)
- "An Image-Based Approach to Three-dimensional Computer Graphics" (1997)
- "Interactive visual media group at Microsoft Research"
- "Generation and Coding of Layered Depth Images for Multi-view Video"
- "A Framework for Multi-view Video Coding using Layered Depth Images", 3767, pp.431~442 (2005)
- "Coding of Layered Depth Images Representing Multiple Viewpoint Video", SS3(2), pp.1~6 (2006)
- "Compression of the LDI", 12(3), pp.365~372 (2003)