초박형 라이트필드 카메라를 위한 깊이 추정 알고리즘 개발
Developing a Depth Estimation Algorithm for an Ultra-thin Light-Field Camera
2
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 깊이 추정을위한 초박형 다중 조리개 라이트필드 카메라 시스템과 알고리즘을 개발하였다. 장면의 깊이 추정 은 컴퓨터 비전에서 응용 범위가 넓은 기술로, 단안 깊이 추정, 스테레오 깊이 추정으로 나눌 수 있는데, 일반적으로 절대적인 수치의 깊이 추정을위해서 시차 정보가 있는 스테레오 깊이 추정이 필요하다. 스테레오 깊이 추정을위해 카메라 사이의 거리를 알고 있는 두 대 이상의 카메라로 한 장면을 촬영하고, 해당 이미들을 기반으로 추정하기 때문에 별도의 카메라 시 스템이 필요하다. 이를 용이하게 하는 대표적인 카메라 시스템으로 라이트필드 카메라 시스템이 존재하는데, 이는 복잡한 카메라 시스템이라는단점이 존재한다. 본 연구에서 사용한 카메라 시스템은 IMX477 센서 위에 3가지 다른 조리개 크기의 9 개 렌즈로 구성되어 있어 한 번의 촬영으로 다중 시점 이미지를 촬영할 수 있다. 이는 본래 HDR을위해 설계된 렌즈 구조로 다양한 크기의 조리개 구조를 기반으로 하여 한 번의 촬영을 통해 여러 이미지를 HDR합성하기 위한 카메라 구조이다. 그러나 각 렌즈별로 위치가 다르기 때문에 그 위치 차이에서 발생하는 시차를 기반으로 깊이 추정이 가능하다. 이러한 구성을 통해 작고가벼운 카메라 시스템으로 거리 추정이 가능하다.
Abstract
In this study, we developed an ultra-thin multi-aperture light field camera system and algorithms for depth estimation. Depth estimation is a field that can be utilized broadly. It can be classified into monocular depth estimation, and stereo depth estimation. Generally, in order to acquire absolute-valued depth estimation, stereo depth estimation, based on the disparity informtion, is needed. For stereo depth estimation, we need to capture the scene using at least two cameras, with known baseline, then process the images to get the depth map. Therefore, we need a specific camera system for this task. In this research, the camera system, comprising 9 lenses with 3 different aperture sizes on an IMX477 sensor, captures multi-view images in a single shot. This setup enables the extraction of depth information using stereo matching techniques. Despite challenges related to noise and distortion due to the compact design and lack of an objective lens, our approach demonstrates the potential for accurate depth estimation. Future improvements in manufacturing and lens design are expected to enhance the image quality and depth estimation accuracy further.
참고문헌 (13)
- M. H. Kim, "3d imaging spectroscopy for measuring hyperspectral patterns on solid objects", ACM Transactions on Graphics (Proc. SIGGRAPH 2012), 31(4), pp.38:1~38:11 (2012)
- R. Hartley, "Multiple view geometry in computer vision" (2003), Cambridge university press
- A. Meuleman, "Realtime sphere sweeping stereo from multiview fisheye images", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2021)
- R. Ranftl, "Vision transformers for dense prediction", Proceedings of the IEEE, 2021, 12 179~12 188
- M. Levoy, "Light field rendering", Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH 1996, pp.31~42 (1996), ACM
- D. Kang, "View-dependent scene appearance synthesis using inverse rendering from light fields", Proc. IEEE International Conference on Computational Photography (ICCP) 2021) (2021)
- K. Venkataraman, "PiCam:an ultra-thin high performance monolithic camera array", ACM Trans. Graph, 32(6), pp.166:1~166:13 (2013)
- K. He, "Guided image filtering", IEEE transactions on pattern analysis and machine intelligence, 35(6), pp.1397~1409 (2012)
- T. Mertens, "Exposure fusion : A simple and practical alternative to high dynamic range photography", Comput. Graph. Forum, 28(1), pp.161~171 (2009)
- 나지웅, "초박형 라이트필드카메라를 위한 hdr 이미징 알고리즘 개발", Journal of the Korea Computer Graphics Society, 29(3), pp.13~19 (2023)
- H. Hirschmuller, "Stereo processing by semiglobal matching and mutual information", IEEE Transactions on pattern analysis and machine intelligence, 30(2), pp.328~341 (2007)
- S. J. Gortler, "Thelumigraph", Proceedings of SIGGRAPH 1996, pp.43~54 (1996), ACM