Optical Flow와 Normalized Cut을 이용한 2차원 동영상의 3차원 동영상 변환
Three-Dimensional Conversion of Two-Dimensional Movie Using Optical Flow and Normalized Cut
2
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 논문에서는 2차원 동영상을 normalized cut과 optical flow를 이용하여 3차원 동영상으로 변환하는 방법을 제안하였다. 이를 통해 특정 디스플레이 장치와 특정 동영상 포맷에 국한되지 않는 2차원 동영상의 3차원 동영상 변환 방법을 제안하였다. 본 연구에서는 2차원 동영상의 3차원 변환을 위하여 먼저 영상을 객체로 분할하고, 분할된 객체의 깊이를 추정하는 방법을 사용하였다. Normalized cut은 영상분할의 한 방법으로, 본 연구에서는 연산속도 향상을 위하여 기존 방법에 watershed 알고리즘을 적용하였고, 정확도 향상을 위하여 가중치에 optical flow를 추가하였다. Normalized cut을 이용하여 분할된 영상의 깊이 정보를 추정하기 위하여 optical flow를 이용하였다. Optical flow의 차이를 통해 정의할 수 있는 가려진 영역의 분할 영상 변화를 통해 순서적 깊이 정보를 추정한다. 추정된 순서적 깊이를 보정하기 위해 optical flow의 절대적 크기를 이용해 운동시차로 상대적 깊이를 추정하였다. 최종적으로 추정된 깊이 정보는 순서적 깊이와 상대적 깊이의 곱을 평균 optical flow로 나누어, 순서적 깊이의 차이를 보정하였다. 제안한 방법의 검증을 위하여 2차원 동영상을 3차원 동영상으로 변환하여 깊이 정보가 추정됨을 확인하였다.
Abstract
We propose a method to convert a two-dimensional movie to a three-dimensional movie using normalized cut and optical flow. In this paper, we segment an image of a two-dimensional movie to objects first, and then estimate the depth of each object. Normalized cut is one of the image segmentation algorithms. For improving speed and accuracy of normalized cut, we used a watershed algorithm and a weight function using optical flow. We estimate the depth of objects which are segmented by improved normalized cut using optical flow. Ordinal depth is estimated by the change of the segmented object label in an occluded region which is the difference of absolute values of optical flow. For compensating ordinal depth, we generate the relational depth which is the absolute value of optical flow as motion parallax. A final depth map is determined by multiplying ordinal depth by relational depth, then dividing by average optical flow. In this research, we propose the two-dimensional/three-dimensional movie conversion method which is applicable to all three-dimensional display devices and all two-dimensional movie formats. We present experimental results using sample two-dimensional movies.
참고문헌 (13)
- T.Okoshi, "Three-dimensional displays", Proc.IEEE, 68(5), pp.548~564 (1980)
- J.-H. Park, "Depth-enhanced three-dimensional-two- dimensional convertible display based on modified integral imaging", Opt. Lett., 29(23), pp.2734~2736 (2004)
- H. Choi, "Three-dimensional-two-dimensional mixed display system using integral imaging with an active pinhole array on a liquid crystal panel", Appl. Opt., 47(13), pp.2207~2214 (2008)
- T. Okino, "New television with 2D", 3D image conversion technologies, 1996, pp.2653, 96~103
- B. J. Garcia, "Approaches to stereoscopic video based on spatiotemporal interpolation", Proc. SPIE, 2653, pp.85~95 (1996)
- Y. Matsumoto, "Conversion system of monocular image sequence to stereo using motion parallax", Proc. SPIE, 3012, pp.108~115 (1997)
- M. B. Kim, "Stereoscopic conversion of monoscopic video by the transformation of vertical-to-horizontal disparity", Proc. SPIE, 3295, pp.65~75 (1998)
- J.Ross, "Stereopsis by binocular delay", Nature, 248, pp.363~364 (1974)
- J. Shi, "Normalized cuts and image segmentation", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8), pp.888~905 (2000)
- B. K. P. Horn, "Determining optical flow", Artificial Intelligence, 17(1), pp.185~204 (1981)
- 장세일, "Markov Random Fields를 이용한 움직이는 객체 추출 및 추적", 대한 전자공학회 하계 학술대회, 26(1), pp.2100~2103 (2003)
- L.Vincent and P.Soille, "Watersheds in digital spaces: an efficient algorithm based on immersion simulations", IEEE Transactions of Pattern Analysis and Machine Intelligence, 13(6), pp.583~598 (1991)
- A. S. Ogale, "Motion segmentation using occlusions", IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(6), pp.988~992 (2005)