다중방향성 정합선 최적화와 신뢰도 기반 공백복원을 이용한 스테레오 정합
A Stereo Matching Technique using Multi-directional Scan-line Optimization and Reliability-based Hole-filling
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
최근 스테레오 정합 기술은 정합하고자 하는 픽셀을 포함한 국부적인(local) 영상의 정합 비용과 시차의 변화 비용을 누적하는 전역적(global)인 방법을 많이 사용하고 있다. 특히 전역적 스테레오 정합에서도 비용누적 (cost accumulation)의 방향을 일반적인 수평방향이 아닌 다수의 방향을 사용하는 연구가 늘고 있다. 본 논문에서는 기존의 스테레오 정합 기술을 다중 방향성 정합 기술로 확장하는 방법을 제안한다. 픽셀의 국부적인 정합 비용은 단순한 NCC (Normalized Cross Correlation)를 사용하였고 전역적 정합 기술의 하나인 정합선 최적화(Scan-line Optimization) 방법을 다중 방향으로 확장하는 기술을 제안하였다. 우선 정합선 최적화를 다중 방향으로 실행한 후 이들 결과를 이용하여 신뢰도가 높은 시차영상 (disparity image)을 획득한다. 반복적인 다중 방향 정합선 최적화 시행 후, 시차영상에서 남은 공백은 홀 복원 방법으로 계산한다. 시차가 구해진 픽셀에 대해서는 신뢰도 점수를 매긴 다음 이 점수를 확산하여 신뢰도 점수 테이블에서 가장 높은 값을 가지는 시차값으로 홀을 복원하였다. 제안하는 기술을 미들버리(Middlebury) 의 스테레오 영상을 사용하여 오차를 분석하였다. 기존의 전역적 방법과 제안 기술을 이용하여 시차영상을 계산하고 그 오차를 비교하였다.
Abstract
Stereo matching techniques are categorized in two major schemes, local and global matching techniques. In global matching schemes, several investigations are introduced, where cost accumulation is performed in multiple matching lines. In this paper, we introduce a new multi-line stereo matching techniques which expands a conventional single-line matching scheme to multiple one. Matching cost is based on simple normalized cross correlation. We expand the scan-line optimization technique to a multi-line scan-line optimization technique. The proposed technique first generates a reliability image, which is iteratively updated based on the previous reliability measure. After some number of iterations, the reliability image is completed by a hole-filling algorithm. The hole-filling algorithm introduces a disparity score table which records the disparity score of the current pixel. The disparity of an empty pixel is determined by comparing the scores of the neighboring pixels. The proposed technique is tested using the Middlebury and CMU stereo images. The error analysis shows that the proposed matching technique yields better performance than using conventional global matching algorithm.
참고문헌 (23)
- S. Birchfield, "Depth Discontinuities by Pixel-to-pixel Stereo", ICCV, 1073~1080 (1998)
- Y. Deng, "A Fast Line Segment Based Dense Stereo Algorithm Using Tree Dynamic Programming", ECCV, 3, pp.201~212 (2006)
- F. Felzenszwalb, "Efficient Belief Propagation for Early Vision", Computer Vision and Pattern Recognition, 1, pp.261~268 (2004)
- M. Gong, "Near real-time reliable stereo matching using programmable graphics hardware", CVPR, 924~931 (2005)
- M. Heinrichs, "Efficient Semi-Global Matching for Trinocular Stereo", Photogrammetric Image Analysis, 185~190 (2007)
- H. Hirschmüuller, "Accurate and efficient stereo processing by semi-global match-ing and mutual information", CVPR, 807~814 (2005)
- H. Hirschmuuller, "Stereo vision in structured environments by consistent semi-global matching", CVPR, 2386~2393 (2006)
- T. Kanade, "A Stereo Matching Algorithm with an Adaptive Window:Theory and Experiment", IEEE transactions on pattern analysis and machine intelligence, 16(9), pp.920~932 (1994)
- C. Kim, "A Dense Stereo Matching Using Two-pass Dynamic Programming with Generalized Ground Control Points", CVPR, 1075~1082 (2005)
- A. Klaus, "Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure", ICPR, 3, pp.15~18 (2006)
- V. Kolmogorov, "Computing Visual Correspondence with Occlusions Using Graph Cuts", ICCV, 508~515 (2001)
- S. Larsen, "Temporally consistent re-construction from multiple video streams using enhanced belief propagation", ICCV, 1~8 (2007)
- S. Mattoccia, "Stereo vision enabling precise border localization within a scanline optimization framework", ACCV, 517~527 (2007)
- "Middlebury Stereo Evaluation"[URL]
- P. Mordohai, "Stereo using monocular cues within the tensor vot-ing framework", PAMI, 28(6), pp.968~982 (2006)
- D. Scharstein, "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", IJCV, 47, pp.7~42 (2002)
- J. Sun, "Symmetric stereo matching for occlu-sion handling", CVPR, 2, pp.399~406 (2005)
- M. C. Sung, "Stereo Matching Using Multi-directional Dynamic Programming and Edge Orientations", ICIP, 233~236 (2007)
- O. Veksler, "Stereo Correspondence by Dynamic Programming on a Tree", CVPR, 384~390 (2005)
- Q. Yang, "Stereo Matching with Color-weighted Correlation, Hierarchical Belief Propagation and Occlusion Handling", CVPR, 31(3), pp.492~504 (2006)
- Q. Yang, "Spatial-depth super resolution for range images", CVPR, 1~8 (2007)
- 예철수, "방향성 특징벡터를 이용한 스테레오 정합 기법", 제어.로봇.시스템학회 논문지, 13(1), pp.52~57 (2007), 제어·로봇·시스템학회
- L. Zitnick, "Stereo for Image-based Rendering Using Image Over-segmentation", IJCV, 75(1), pp.49~65 (2007)