본문 바로가기
KERD
논문KCI 등재

그래픽 프로그램과 계층적 방법을 이용한 실시간 스테레오 정합

Real-time Stereo Matching Using GPU Programming and Hierarchical Method

박종일|이상화|시드하쓰 샤르마
에스케이텔레콤 (주) (SKTelecom)|2011.10|Telecommunications Review|제21권 제5호|pp. 900-913

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

GPU programming실시간 스테레오 정합그래픽 프로그래밍순위변환계층적 처리에너지 최소화Real-time stereo matchingRank transformHierarchical processEnergy minimization
주제분류전자/정보통신공학

초록

본 논문은 그래픽 프로그램을 이용하여 일반 PC 환경에서 실시간으로 스테레오 영상의 시차를 추정하는 알고리즘을제안한다. 본 논문에서는 실시간 동작에 초점을 맞추며 이를 위하여 병렬연산이 가능한 알고리즘은 그래픽 프로그램으로구현하고 시차추정의 정확도를 개선하기 위하여 적응적인 에너지 함수를 후처리 과정으로 도입한다. 우선 스테레오 영상간의 정합은 순위변환(rank transform)을 그래픽 프로그램으로 구현하는데 병렬처리 및 적응적인 메모리 접근 방법을 통하여 블록정합을 고속화한다. 영상간의 블록정합으로 초기 시차가 추정되면 시차에 대한 사전 모델로 시차간의 연속성을보장하기 위하여 이웃하는 시차값의 상관성을 적응적인 에너지 함수로 정의하여 시차를 반복적으로 재추정한다. 그리고이러한 과정은 계층적 구조에서 수행된다. 즉 가우시안 피라미드 구조에서 가장 낮은 해상도의 영상으로부터 시차를 추정하고 그 시차지도를 다음 해상도로 보간한 후 축소된 탐색구간을 통하여 시차를 재추정한다. 시차지도를 보간할 때는 픽셀의 컬러정보를 이용하여 유사한 컬러정보를 갖는 픽셀의 시차값으로 보간한다. Middlebury 스테레오 영상을 이용하여 성능을 평가한 결과 본 논문에서 제안한 알고리즘은 640x480, 60픽셀 시차범위를 기준으로 30프레임/초 이상의 속도를 보여 주며 정확도 측면에서도 다른 고속 알고리즘의 결과보다 우수하다. 본 논문에서 제안된 알고리즘은 실시간 스테레오 카메라에서 3차원 정보추출 및 다양한 응용 시스템 개발에 적용될 수 있을 것으로 기대된다.

Abstract

This paper proposes a real-time stereo matching algorithm using GPU programming. The fast algorithms are implemented using GPU programming for real-time operation, and adaptive energy function is modeled for improving the accuracy of disparity estimation. First, the likelihood matching based on rank transform is implemented in GPU programming. The adaptive memory handling in graphic hardware is introduced in aggregating the matching errors. Once an initial disparity map is determined based on the likelihood matching, then the disparity map is iteratively updated by the prior model of disparity field. The prior model reflects the smoothness of disparity map and is implemented by a pixel-wise energy function. The disparity is determined by minimizing the joint energy function which combines the likelihood matching with the prior energy model. These processes are performed in the hierarchical approach. The disparity map is interpolated using color-based weights. This paper evaluates the proposed approach with the Middlebury stereo images. According to the experiments, the proposed method shows good estimation accuracy with more than 30 frame/second for 640x480 images. The proposed method is suitable for real-time stereo system in the usual PC environment.

참고문헌 (45)

  1. D. Scharstein, "A taxonomy and evaluation of dense two frame stereo correspondence algorithm", International Journal of Computer Vision, 47(1), pp.7~42 (2002)
  2. A. Redert, "Correspondence estimation in image pairs", IEEE Signal Proc. Magazine, 16(3), pp.29~46 (1999)
  3. T. Kanade, "A stereo matching algorithm with an adaptive window: Theory and experiments", IEEE Trans. on Pattern Analysis and Machine Intelligence, 16(9), pp.920~932 (1994)
  4. Y. Boykov, "A Variable Window Approach to Early Vision", IEEE Trans. Pattern Analysis and Machine Intelligence, 20(12), pp.1283~1294 (1998)
  5. O. Veksler, "Stereo correspondence with compact windows via minimum ratio cycle", IEEE Trans. Pattern Analysis and Machine Intelligence, 24(12), pp.1654~1660 (2002)
  6. O. Veksler, "Fast Variable Window for Stereo Correspondence using Integral Images", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, 1, pp.556~561 (2003)
  7. A. Fusiello, "Efficient Stereo with Multiple Windowing", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, pp.856~863 (1997)
  8. S. B. Kang, "Handling occlusions in dense multi-view stereo", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, 1, pp.103~110 (2001)
  9. T. Darrel, "A radial cumulative similarity transform for robust image correspondence", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, pp.656~662 (1998)
  10. Y. Xu, "Stereo computation using radial adaptive windows", Proc. of Int'l Conf. Pattern Recognition, 3, pp.595~598 (2002)
  11. Yong Seok Heo, "Robust Stereo Matching Using Adaptive Normalized Cross Correlation", IEEE Trans. Pattern Analysis and Machine Intelligence, 33(4), pp.807~822 (2001)
  12. K. J. Yoon, "Adaptive support-weight approach for correspondence search", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 28(4), pp.650~656 (2006), IEEE COMPUTER SOC
  13. F. Tombari, "Segmentation-based adaptive support for accurate stereo correspondence", Proc. of IEEE Pacific-Rim Symposium on Image and Video Technology, 4872(4), pp.427~438 (2007)
  14. Ze-Nian Li, "Analysis of disparity gradient based cooperative stereo", IEEE Trans. on Image Processing, 5(11), pp.1493~1506 (1996)
  15. C. L. Zitnick, "A cooperative algorithm for stereo matching and occlusion detection", IEEE Trans. on Pattern Analysis and Machine Intelligence, 22(7), pp.675~684 (2000)
  16. S. Geman, "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images", IEEE Trans. on Pattern Analysis and Machine Intelligence, 6(6), pp.721~741 (1984)
  17. Yi Deng, "A fast line segment based dense stereo algorithm using tree dynamic programming", Proc. European. Conf. Computer Vision, pp.201~212 (2006)
  18. M. Gong, "Real-time stereo matching using orthogonal reliability dynamic programming", IEEE Trans. Image Processing, 16(3), pp.879~885 (2007)
  19. Y. Boykov, "Fast approximate energy minimization with graph cuts", IEEE Trans. on Pattern Analysis and Machine Intelligence, 23(11), pp.1222~1239 (2001)
  20. V. Kolmogorov, "Computing visual correspondence with occlusions using graph cuts", Proc. of IEEE Conf. Computer Vision, 1, pp.508~515 (2001)
  21. J. Sun, "Stereo matching using belief propagation", IEEE Trans. on Pattern Analysis and Machine Intelligence, 25(7), pp.399~406 (2003)
  22. A. Klaus, "Segmentbased stereo matching using belief propagation and a self-adapting dissimilarity measure", Proc. of Int'l Conf. Pattern Recognition, 3, pp.15~18 (2006)
  23. D. Scharstein, "Stereo matching with non-linear diffusion", International Journal of Computer Vision, 28(2), pp.155~174 (1998)
  24. S. H. Lee, "Stochastic diffusion for stereo matching and line fields estimation", International Journal of Computer Vision, 47(1), pp.195~218 (2002)
  25. M. Gong, "Fast stereo matching using reliability-based dynamic programming and consistency constrains", Proc. of IEEE Conf. Computer Vision, 1, pp.610~607 (2003)
  26. O. Veksler, "Stereo correspondence by dynamic programming on a tree", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, 2, pp.384~390 (2005)
  27. J. C. Kim, "A dense stereo matching using two-pass DP with generalized ground control points", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, 2, pp.1075~1082 (2005)
  28. J. Sun, "Symmetric stereo matching for occlusion handling", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, 2, pp.399~406 (2005)
  29. Z. Wang, "A region based stereo matching algorithm using cooperative optimization", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, 1, pp.1~8 (2008)
  30. Z. L. Xu, "Stereo matching: an outlier confidence approach", Proc. of European Conf. Computer Vision, 5305, pp.775~787 (2008)
  31. Q. Yang, , IEEE Trans. on Pattern Analysis and Machine Intelligence, 31(3), pp.492~504 (2009)
  32. S. Srivatava, , IEEE Int'l Conf. Image Processing, pp.2085~2088 (2009)
  33. Q. Yang, "Spatialdepth super resolution for range images", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, 3, pp.1~8 (2007)
  34. Z. Wang, "Near real-time reliable stereo matching using programmable graphics hardware", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, 1, pp.924~931 (2005)
  35. J. Congote, "Real-time dense stereo matching with dynamic programming", Proc. of CEIG (2009)
  36. L. Wang, "High quality real-time stereo using adaptive cost aggregation and dynamic programming", Proc. of 3DPVT, pp.798~805 (2006)
  37. A. Hosni, "Near real-time stereo with adaptive support weight approaches", Proc. of 3DPVT (2010)
  38. C. K. Liang, "Hardware-efficient belief propagation", Proc. of IEEE Conf. Computer Vision and Pattern Recognition, pp.80~87 (2009)
  39. Q. Yang, "A constant-space belief propagation algorithm for stereo matching", Proc. of IEEE Conf. Computer Vision and Pattern Recognition (2010)
  40. R. Zabih, "Non-parametric local transforms for computing visual correspondence", Proc. ECCV, pp.151~158 (1994)
  41. J. Banks, "Reliability analysis of the rank transform for stereo matching", IEEE Trans. on Systems, Man, and Cybernetics, Part B: Cybernetics, 31(6) (2001)
  43. A. Klaus, "Segmentbased stereo matching using belief propagation and a self-adapting dissimilarity measure", Proc. of Int'l Conf. Pattern Recognition, 3, pp.15~18 (2006)
  44. 이상화, "Stereo matching using hierarchical belief propagation along ambiguity gradient", ICIP, pp.2085~2088 (2009), IEEE
  45. Qingxiong Yang, "Real-time global stereo matching using hierarchical belief propagation", Proc. of BMVC (2006)

관련 논문AI추천

에지 방향에 적응적인 동적계획법을 이용한 스테레오 정합성민철, 이상화, 조남익에스케이텔레콤 (주) · Telecommunications Review2009 · 제19권 제3호스테레오 영상 보행자 인식 시스템의 후보 영역 검출을 위한 GP-GPU 기반의 효율적 구현이희철, 전광길, 정근용, 정준희, 조중휘대한임베디드공학회 · 대한임베디드공학회논문지2013 · 제8권 제2호다중방향성 정합선 최적화와 신뢰도 기반 공백복원을 이용한 스테레오 정합박순용, 백승해한국정보처리학회 · 정보처리학회 논문지2010 · 제17권 제2호영상에서의 분할정보를 사용한 스테레오 조밀 시차맵 생성김정규, 박종승, 이범종한국정보처리학회 · 정보처리학회 논문지2008 · 제15권 제6호에지 정보를 이용한 유전 알고리즘 기반의 다해상도 스테레오 정합조석제, 홍석근한국정보처리학회 · 정보처리학회 논문지2010 · 제17권 제1호시차공간영상에서의 구간별 시차 경로 탐색을 이용한 중간 영상 생성곽지현, 김경태한국정보처리학회 · 정보처리학회 논문지2008 · 제15권 제1호

이 간행물의 다른 논문 (12건)

IMT-Advanced 표준 기술 개요 및 기술 진화 방향최형진, 김대중, 정현규, 오성준pp. 745-759IMT-Advancd 채널 모델 및 특성 연구김영훈, 이중희, 김성철pp. 760-769차세대 이동통신 시스템을 위한 LLR 기반의 채널 상태 획득 방법 및 다중 안테나를 고려한 적응형 전송 기술박현철, 신철규pp. 770-780차세대 네트워크를 위한 네트워크 부호화 기반의 계층별 프로토콜 분석변일무, 김병국, 전기준, 노희태, 김광순, 이장원pp. 781-7983GPP LTE-Advanced 네트워크에서 다중셀 공유 릴레이를 이용한 셀간 간섭 관리 기술양모찬, 신요안, 유성철, 신오순pp. 799-818
원문 보기