RGB-Depth 데이터 셋 개선을 통한 실내 환경의 단일 영상 깊이 추정
Single Image Depth Estimation based on Enhanced RGB-Depth Dataset
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
단일 영상에서의 깊이 추정은 컴퓨터 비전 분야에서 지속적으로 연구되어 오고 있는 분야이다. 그러나 상용화된 깊이 지각 카메라로부터 획득한 실내 영상의 깊이 맵은 여전히 부족한 정밀도와 상당한 노이즈를 포함하고 있다. 특히, 지도 학습 기반 깊이 추정 기법들의 성능은 정답 (ground-truth) 깊이 맵의 정밀도에 크게 영향을 받기 때문에 깊이 이미지의 품질 개선이 크게 요구된다. 본 논문에서는 개선된 실내 환경 RGB-Depth 데이터 셋을 통해 지도 학습 기반의 깊이 추정 기법들의 성능을 향상하는 방법을 제안한다. 실험을 통해 향상된 품질의 데이터 셋을 사용하여 단순한 네트워크 구조만으로도 최신의 방법들에 준하는 성능을 보였다. 또한, 기존의 데이터 셋과 제안하는 데이터 셋으로 각각 학습 시켰을 때 성능 향상을 보임으로써, 정답 데이터의 품질이 깊이 추정 성능에 주요한 역할을 수행한다는 것을 입증하였다.
Abstract
Depth estimation from a single image is one of the fundamental task in computer vision. However, the depth images from the consumer-level depth camera still suffer from heavy noise and inaccurate qualities. Owing to the performances of supervised methods are fundamentally affected by the quality of the depth ground-truth (GT), constructing enhanced depth dataset is urged to improve the performances. In this study, we propose a framework to improve the performances of the supervised depth estimation methods based on a depth enhancement scheme. We trained the dataset on a baseline-level network, and performed comparable results with the state-of-the-art methods. Furthermore, the methods were retrained using the original and the enhanced dataset separately, and verified that the quality of GT dataset has primary role for the performance.
참고문헌 (19)
- Dai, A., "Scannet : Richly annotated 3d reconstructions of indoor scenes", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.5828~5839 (2017)
- Silberman, N., "European conference on computer vision", pp.746~760 (2012), Springer
- Wu, C. Y., "Toward Practical Monocular Indoor Depth Estimation", Proceedings of the IEEE, 2022, 3814~3824
- Yue Ming, "Deep learning for monocular depth estimation: A review", Neurocomputing, 438, pp.14~33 (2021), Elsevier BV[DOI]
- El Banani, M., "Unsuper visedr&r : Unsupervised point cloud registration via differentiable rendering", Proceedings of the IEEE, 2021, 7129~7139
- He, K., "Deep residual learning for image recognition", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.770~778 (2016)
- Eigen, D., "Depth mapprediction from a single image using a multi scale deep network", Advances in neural information processing systems, 27 (2014)
- Eigen, D., "Predicting depth, surface normals and semantic labels with a common multi scale convolutional architecture", Proceedings of the IEEE international conference on computer vision (2015)
- Hu, J., "Revisiting single image depth estimation : Toward higher resolution maps with accurate object boundaries", 2019 IEEE Winter Conference on Applications of Computer Vision (WACV) (2019), IEEE
- Yin, W., "Enforcing geometric constraints of virtual normal for depth prediction", IEEE, 2019, 5684~5693
- Cao, Y., "Estimating depth from monocular images as classification using deep fully convolutional residual networks", IEEE Transactions on Circuits and Systems for Video Technology, 28(11), pp.3174~3182 (2017)
- Alican Mertan, "Single image depth estimation: An overview", Digital Signal Processing, 123, pp.103441~ (2022), Elsevier BV[DOI]
- Laina, I., "Deeper depth prediction with fully convolutional residual networks", 2016 Fourth international conference on 3D vision (3DV), pp.239~248 (2016), IEEE
- Deng, J., "Imagenet: A large-scale hierarchical image database", 2009 IEEE conference on computer vision and pattern recognition, pp.248~255 (2009), Ieee
- Yin, W., "Virtual normal:Enforcing geometric constraints for accurate and robust depth prediction", IEEE Transactions on Pattern Analysis and Machine Intelligence (2021)
- Bhat, S. F, "Adabins:Depth estimation using adaptive bins", Proceedings of the IEEE, 2021, 4009~4018
- Hu, J., "Revisiting single image depth estimation:Toward higher resolution maps with accurate object boundaries", 2019 IEEE Winter Conference on Applications of Computer Vision (WACV), pp.1043~1051 (2019)
- 조정찬, "단일 이미지에 기반을 둔 사람의 포즈 추정에 대한 연구 동향", 한국차세대컴퓨팅학회 논문지, 15(5), pp.31~42 (2019), 한국차세대컴퓨팅학회[DOI]