Camera+LiDAR 기반의 포인트 클라우드증강 기법을 통한 3D 객체 감지 성능 향상 연구
Study on improving 3D object detection performance through point cloud augmentation technique based on Camera+LiDAR
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 카메라+LiDAR 기반의 포인트 클라우드 증강 기법을 통해 3D 객체 감지 성능을 향상하는 방법을 제안한다. 첫 번째로, 카메라 이미지로 Pseudo-LiDAR 생성 및 로그 스케일 방식의 intensity 재구성을 수행하며 로그 스케일 방식의 intensity재구성은 거리와 관련된 패턴을 포함하므로 학습 모델이 공간적 구조와 객체 간의 거리 정보를 더 효과적으로 학습할 수 있도록 한다. 두 번째로, Pseudo-LiDAR와 LiDAR 융합으로 포인트 클라우드를 증강하여 LiDAR의 낮은 해상도나 감지되지 않은 영역을Pseudo-LiDAR 포인트로 채워 전체적인 포인트 수를 늘리고, 객체의 윤곽선을 명확하게 표현할 수 있도록 한다. 증강된 포인트 클라우드는 더 많은 포인트와 다양한 특성을 제공하며, PV-RCNN 모델은 이를 효과적으로 활용할 수 있게 된다. 제안하는 기법의 객관적인 신뢰성을 평가하기 위해 KITTI dataset으로 다른 딥러닝 모델들과 mAP를 산출하여 성능을 비교하였다. 실험 결과, 본 논문에서 제안한 Camera+LiDAR 기반의 포인트 클라우드 증강 기법을 통한 3D 객체 감지의 성능이 기존의 방법들보다 우수한 성능을나타내었다. 특히 학습 모델로 쓰였던 PV-RCNN과 비교하여 mAP가 약 0.37 증가하였다. 실험에서 우수한 결과를 나타내므로 본논문에서 제안한 기법의 효율성이 입증되었다.
Abstract
In this paper, we propose a method to improve the performance of 3D object detection using a camera+LiDARbasedpoint cloud augmentation technique. First, we perform pseudo-LiDAR generation and log-scale intensityreconstruction using camera images. Log-scale intensity reconstruction includes distance-related patterns, so thatthe learning model can learn spatial structures and distance information between objects more effectively. Second,we augment the point cloud by fusion of pseudo-LiDAR and LiDAR to fill in the low-resolution or undetected areasof LiDAR with pseudo-LiDAR points, thereby increasing the overall number of points and clearly expressing theoutline of the object. The augmented point cloud provides more points and various features, and the PV-RCNNmodel can effectively utilize them. In order to evaluate the objective reliability of the proposed technique, wecompared the performance with other deep learning models by calculating mAP using the KITTI dataset. Theexperimental results show that the performance of 3D object detection using the camera+LiDAR-based point cloudaugmentation technique proposed in this paper is superior to that of existing methods. In particular, mAPincreased by about 0.37 compared to PV-RCNN, which was used as a learning model. The efficiency of thetechnique proposed in this paper was proven as it showed excellent results in the experiment.
참고문헌 (11)
- Sindagi, Vishwanath A., "Mvx-net: Multimodal voxelnet for 3d object detection", 2019 International Conference on Robotics and Automation (ICRA) (2019)
- Shi, Shaoshuai, "From points to parts : 3d object detection from point cloud with part-aware and part-aggregation network", IEEE transactions on pattern analysis and machine intelligence, 43, pp.2647~2664 (2020)[DOI]
- Shi, Shaoshuai, "Pv-rcnn: Point-voxel feature set abstraction for 3d object detection", Proceedings of the IEEE, 2020, ~
- Li, Yingyan, "Fully sparse fusion for 3d object detection", IEEE Transactions on Pattern Analysis and Machine Intelligence (2024)
- Xu, Shaoqing, "Multi-sem fusion: multimodal semantic fusion for 3D object detection", IEEE Transactions on Geoscience and Remote Sensing (2024)
- Wang, Yan, "Pseudo-lidar from visual depth estimation: Bridging the gap in 3d object detection for autonomous driving", Proceedings of the IEEE, 2019, ~
- Qian, Rui, "End-to-end pseudo-lidar for image-based 3d object detection", Proceedings of the IEEE, 2020, ~
- Fu, Huan, "Deep ordinal regression network for monocular depth estimation", Proceedings of the IEEE conference on computer vision and pattern recognition (2018)
- Chang, Jia-Ren, "Pyramid stereo matching network", Proceedings of the IEEE conference on computer vision and pattern recognition (2018)
- Geiger, A., "Are we ready for autonomous driving. The KITTI Vision Benchmark Suite", 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
- Zhou, Yin, "Voxelnet: Endto-end learning for point cloud based 3d object detection", Proceedings of the IEEE conference on computer vision and pattern recognition (2018)