샴 네트워크를 사용하여 추적 레이블을 사용하지 않는 다중 객체 검출 및 추적기 학습에 관한 연구
Training of a Siamese Network to Build a Tracker without Using Tracking Labels
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
이동객체 추적은 컴퓨터 비전 분야에서 오랜 시간 동안 연구가 진행되어 온 분야로 자율주행이나 운전 보조 시스템 등의 시스템에서 아주 중요한 역할을 수행하고 있다. 이동객체 추적기술은 일반적으로 객체를 검출하는 검출기와 검출된 객체를 추적하는 추적기의 결합으로 이루어져 있다. 검출기는 다양한 데이터셋이 공개되어 사용되고 있기 때문에 쉽게 좋은 모델을학습할 수 있지만, 추적기의 경우 상대적으로 공개된 데이터셋도 적고 직접 데이터셋을 구성하는 것도 검출기 데이터셋에 비해 굉장히 오랜 시간을 소요한다. 이에 검출기를 따로 개발하고, 별도의 추적기를 학습 기반이 아닌 방식을 활용하여 개발하는 경우가 많은데 이런 경우두 개의 시스템이 차례로 작동하게 되어 전체 시스템의 속도를 느리게 하고 앞단의 검출기의성능이 변할 때마다 별도로 추적기 또한 조정해줘야 한다는 단점이 있다. 이에 본 연구는 검출용 데이터셋만을 사용하여 검출과 추적을 동시에 수행하는 모델을 구성하는 방법을 제안한다. 데이터 증강 기술과 샴 네트워크를 사용하여 단일 이미지에서 객체를 검출 및 추적하는 방법을 연구하였다. 공개 데이터셋에 실험을 진행하여 학습 결과 높은 속도로 작동하는 이동객체검출 및 추적기를 학습할 수 있음을 검증하였다.
Abstract
Multi-object tracking has been studied for a long time under computer vision and plays a critical role in applications such as autonomous driving and driving assistance. Multi-object tracking techniques generally consist of a detector that detects objects and a tracker that tracks the detected objects. Various publicly available datasets allow us to train a detector model without much effort. However, there are relatively few publicly available datasets for training a tracker model, and configuring own tracker datasets takes a long time compared to configuring detector datasets. Hence, the detector is often developed separately with a tracker module. However, the separated tracker should be adjusted whenever the former detector model is changed. This study proposes a system that can train a model that performs detection and tracking simultaneously using only the detector training datasets. In particular, a Siam network with augmentation is used to compose the detector and tracker. Experiments are conducted on public datasets to verify that the proposed algorithm can formulate a real-time multi-object tracker comparable to the state-of-the-art tracker models.
참고문헌 (28)
- Bewley, A., "Simple online and realtime tracking", 2016 IEEE International Conference on Image Processing(ICIP), pp.3464~3468 (2016)
- Bochinski, E., "High-speed tracking-by-detection without using image information", 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance(AVSS), pp.1~6 (2017)
- Dendorfer, P., "Mot20: A benchmark for multi object tracking in crowded scenes", arXiv preprint arXiv:2003.09003, ~ (2020)
- Everingham, M., "The pascal visual object classes (voc) challenge", International Journal of Computer Vision(IJCV), 88(2), pp.303~338 (2010)
- Ge, Z., "Yolox: Exceeding yolo series in 2021", arXiv preprint arXiv:2107.08430, ~ (2021)
- He, A., "A twofold siamese network for real-time object tracking", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp.4834~4843 (2018)
- Kang, J. G., "Dataset Definition and Training Techniques for Road Environment Objects State Recognition", Proceedings of the IEEK Conference, 45(1), pp.2607~2610 (2022)
- Kuhn, H. W., "The Hungarian method for the assignment problem", Naval Research Logistics Quarterly, 2(1-2), pp.83~97 (1955)
- Leal-Taixé, L., "Motchallenge 2015: Towards a benchmark for multi-target tracking", arXiv preprint arXiv:1504.01942, ~ (2015)
- Lin, T. Y., "Focal loss for dense object detection", Proceedings of the IEEE International Conference on Computer Vision(ICCV), pp.2980~2988 (2017)
- Lin, T. Y., "Microsoft coco: Common objects in context", European Conference on Computer Vision(ECCV), pp.740~755 (2014)
- LingChen, T. C., "Uniformaugment: A search-free probabilistic data augmentation approach", arXiv preprint arXiv:2003.14348, ~ (2020)
- Liu, S., "Path aggregation network for instance segmentation", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp.8759~8768 (2018)
- Loshchilov, I., "Decoupled weight decay regularization", arXiv preprint arXiv:1711.05101, ~ (2017)
- Luiten, J., "Hota:A higher order metric for evaluating multi-object tracking", International Journal of Computer Vision(IJCV), 129(2), pp.548~578 (2021)
- Milan, A., "MOT16: A benchmark for multi-object tracking", arXiv preprint arXiv:1603.00831, ~ (2016)
- Redmon, J., "Yolov3: An incremental improvement", arXiv preprint arXiv:1804.02767, ~ (2018)
- Redmon, J., "You only look once: Unified, real-time object detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp.779~788 (2016)
- Ren, S., "Faster r-cnn: Towards real-time object detection with region proposal networks", IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), pp.1137~1149 (2015)
- Shao, S., "Crowdhuman: A benchmark for detecting human in a crowd", arXiv preprint arXiv:1805.00123, ~ (2018)
- Shuai, B., "Siammot: Siamese multi-object tracking", Proceedings of the IEEE, 2021, 12372~12382
- Smith, L. N., "Cyclical learning rates for training neural networks", 2017 IEEE Winter Conference on Applications of Computer Vision(WACV), pp.464~472 (2017)
- Sun, P., "Transtrack: Multiple object tracking with transformer", arXiv preprint arXiv:2012.15460, ~ (2020)
- Tian, Z., "Fcos: Fully convolutional one-stage object detection", Proceedings of the IEEE, 2019, 9627~9636
- Voigtlaender, P., "Mots: Multi-object tracking and segmentation", Proceedings of the IEEE, 2019, 7942~7951
- Wang, Z., "Towards real-time multi-object tracking", European Conference on Computer Vision(ECCV), pp.107~122 (2020)
- Wojke, N., "Simple online and realtime tracking with a deep association metric", 2017 IEEE International Conference on Image Processing(ICIP), pp.3645~3649 (2017)
- Zhang, Y., "Fairmot: On the fairness of detection and re-identification in multiple object tracking", International Journal of Computer Vision(IJCV), 129(11), pp.3069~3087 (2021)