깊이 카메라를 이용한 고해상도 변위 정보 획득 방법
High Resolution Disparity Map Generation Using TOF Depth Camera
2
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 논문에서는 Time-of-Flight(TOF) 원리를 이용한 저해상도 깊이 카메라를 이용하여 장면의 변위 정보를 획득하는 방법을 소개한다. 깊이 카메라는 적외선 센서를 통해 카메라로부터 물체까지의 거리를 측정하여 영상으로 출력하기 때문에 장면의 깊이 정보를 실시간으로 획득할 수 있는 장점이 있다. 하지만 획득되는 깊이 정보가 물체의 표면상태에 민감하며 영상에 잡음과 왜곡이 나타나는 문제를 가지고 있다. 또한 출력 영상의 해상도가 너무 작아 3차원 응용에 직접 이용하기가 어렵다. 따라서 깊이 카메라에서 촬영된 깊이 영상의 품질을 개선하고 해상도를 증가시키는 작업이 필요하다. 제안하는 방법은 깊이 카메라에서 획득한 깊이 정보를 이용하여 함께 사용되는 양안식 카메라에서 촬영된 색상 영상의 변위(disparity) 맵을 생성한다. 이를 위하여 깊이 카메라에서 촬영된 영상에 존재하는 렌즈 왜곡과잡음을 제거하고 색상 영상의 위치로 각 화소의 깊이 정보를 3차원 투영(warping)한다. 색상 영상은 영역 분할된 후각 영역으로 투영되어 온 깊이 카메라의 깊이 정보를 이용하여 변위 정보를 생성한다. 실험결과에서 보듯이 변위 맵과인접 시점으로 복원된 영상을 통하여 제안하는 방법이 효과적으로 장면의 변위 정보를 생성함을 알 수 있다.
Abstract
In this paper, we propose a high-resolution disparity map generation method using a low-resolution Time-Of-Flight (TOF) depth camera and a stereo camera. The TOF depth camera is efficient since it measures range information of objects using Infra-Red (IR) signal in real-time. It also quantizes the range and then provides depth images. However, there are some problems of the TOF depth camera such as noise and lens distortion. Moreover, the output resolution of the TOF depth camera is too small for 3D applications. Therefore, it is essential to not only reduce the noise and distortion but also enlarge the output resolution of the TOF depth image. The proposed method generates a disparity map for a color image using the TOF depth camera and the stereo camera that is used together. We reduce the noise and lens distortion in the TOF depth image and then warp the depth value at each pixel to the color image position. The color image is segmented using mean-shift segmentation, and the warped depth values are translated to the disparity values and filled the segmented regions. Experimental results show the generated disparity maps and reconstructed virtual view images, and verify that the proposed method efficiently generate the disparity maps.
참고문헌 (15)
- C. Fehn, "Interactive 3-DTVConcepts and Key Technologies", Proceeding of the IEEE, 94(3), pp.524~538 (2006)
- 호요성, "3DTV 3차원입체영상정보처리" (2010), 두양사
- "Preliminary FTV Model and Requirements", ISO, SC29, pp.WG11 N8944, 2007[DOI]
- P.F. Felzenszwalb, "Efficient Belief Propagation for Early Vision", International Journal of Computer Vision, 70(1), pp.41~54 (2006)
- S.A. Gudmundsson, "Fusion of Stereo Vision and Time-of-Flight Imaging for Improved 3D Estimation", International Journal of Intelligent Systems Technologies and Applications, 5(3), pp.425~433 (2008)
- J. Zhu, "Fusion of Time-of-Flight Depth and Stereo for High Accuracy Depth Maps", Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp.231~236 (2008)
- K. D. Kuhnert, "Fusion of Stereo- Camera and PMD-Camera Data for Real-time Suited Precise 3D Environment Reconstruction", Proc. of the IEEE, 2006, 4780~4785
- "SwissRanger SR 4000"[URL]
- "Basler Pylon GigE Camera piA I1900-32gm/gc"[URL]
- Z. Zhang, "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11), pp.1330~1334 (2000)
- "Camera Calibration Toolbox for MATLAB"[URL]
- A. Fusiello, "A Compact Algorithm for Rectification of Stereo Pairs", Machine Vision and Application, 12(1), pp.16~22 (2000)
- D. Comaniciu, "Mean Shift: A Robust Approach Toward Feature Space Analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(4), pp.603~619 (2002)
- A. Wang, "A Simple Method of Radial Distortion Correction with Centre of Distortion Estimation", Journal of Mathematical Imaging and Vision, 35(3), pp.165~172 (2009)
- G. Gilboa, "Regularized Shock Filters and Complex Diffusion", Proc. of European Conference on Computer Vision, pp.399~313 (2002)