엣지컴퓨팅 기반 객체검출 및 팬-틸트-줌 (PTZ) 제어를 활용한 다중객체 순차추적 방법
Sequential Multi-object Tracking Method using Edge Computing-based Object Detection and Pan-Tilt-Zoom Control
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 엣지컴퓨팅 기반 객체검출 및 Pan-Tilt-Zoom (PTZ) 제어를 활용한 다중객체의 순차추적 방법을 제안한다. 제안하는 방법은 순찰단계와 순차추적단계로 나누어 PTZ 제어를 수행한다. 먼저 순찰 단계에서 카메라의 화각을 기준점으로 이동시킨 후 사전 정의된 이동 패턴에 따라 순찰 기동을 반복 수행한다. 순찰 기동 중 입력되는 모든 영상 프레임에서 사전 정의된 이상상황의 발생여부를 확인하기 위하여 객체검출 및 식별자 부여를 수행한다. 이상상황이 발생중이라고 판단되면 제안하는 방법은 순차추적단계로 진입하여 사전에 정의된 규칙과 현재 상황이 반영된 객체별 우선 추적 순위를 설정한다. 이 순위에 따라 제안하는 방법은 각 객체를 집중 촬영하기 위한 PTZ 제어를 순차적으로 수행한다. 순차추적이 모두 끝나면 제안하는 방법은 이상상황을 처음 인지한 화각으로 돌아간 뒤 여전히 이상상황이 존재한다면 순차추적을 반복하고, 그렇지 않다면 순찰단계로 돌아오게 된다. 제안하는 방법의 성능을 평가하기 위해 스쿨존에서의 돌발상황을 즉시 인지하는 시나리오에 맞춰 실험을 설계하였다. 실험결과, 제안하는 방법은 0.951의 F1 Score로 이상상황을 판별하면서 24 frame per seconds의 처리 속도를 보이며 그 유효성을 입증하였다.
Abstract
In this paper, a method for sequential tracking of multi-object using edge computing-based object detection and Pan-Tilt-Zoom (PTZ) control is proposed. The proposed method performs PTZ control in two procedures, which are patrol stage and sequential tracking stage. In the patrol stage, the proposed method firstly moves the camera’s angle of view to the reference point then follows the predefined moving procedure for sequential patrol. During the patrol, object detection and identifier assignment are conducted on inputted video frames to recognize incident of the predefined abnormal situations. In case the abnormal situation is on going, the proposed method switches the mode into sequential tracking stage, and by the predefined rules and current situations, assigns the tracking priorities. Followed by the priority, the proposed method conducts PTZ controls in sequential order to capture each objects related to the incident. After all the sequential tracking is over, the proposed method returns back to the angle of view at which the initial abnormal situation was recognized, and then repeats the sequential tracking if the abnormal situation still exists, and returns to the patrol stage otherwise. In order to evaluate the performance of the proposed method, an experiment was designed according to the scenario of immediately recognizing traffic accidents in the school zone. As a result of the experiment, the proposed method proved its effectiveness by showing an F1 score of 0.95 for discriminating abnormal situations with showing a processing speed of 24 frames per seconds.
참고문헌 (22)
- S. Pouyanfar, "A survey on deep learning: Algorithms, techniques, and applications", ACM Computing Surveys (CSUR), 51(5), pp.1~36 (2018)
- J. Redmon, "YOLO9000: better, faster, stronger", Proc. IEEE conference on computer vision and pattern recognition, pp.7263~7271 (2016)
- A. G. Howard, "Mobilenets : Efficient convolutional neural networks for mobile vision applications", arXiv preprint arXiv:1704.04861, ~ (2017)
- "NVIDIA Jetson AGX Xavier Delivers 32 TeraOps for New Era of AI in Robotics" (2020)[URL]
- "Google LLC" (2020)[URL]
- 전광명, "CCTV 지능화를 위한 엣지컴퓨팅 기반 객체검출, 식별 및 PTZ 제어의 구현", 2020 하계종합학술대회, pp.2557~2560 (2020), 대한전자공학회
- J. Barthelemy, "Edge-computing video analytics for real-time traffic monitoring in a smart city", Sensors, 19(9) (2019)[DOI]
- N. R. Gans, "Keeping multiple objects in the field of view of a single ptz camera", Proc. 2009 American Control Conference, IEEE, pp.5259~5264 (2009)
- 성동수, "CCTV 카메라 공유를 통한 안심 귀가 서비스의 개선", 한국차세대컴퓨팅학회 논문지, 13(1), pp.65~73 (2017), 한국차세대컴퓨팅학회
- A. Bewley, "Simple online and realtime tracking", 2016 IEEE International Conference on Image Processing(ICIP), IEEE, pp.3464~3468 (2016)
- K. He, "Deep residual learning for image recognition", Proc. IEEE Conference on computer vision and pattern recognition, pp.770~778 (2016)
- J. Barker, "DetectNet: Deep Neural Network for Object Detection in DIGITS" (2016), Nvidia Corporation
- H. Hu, "Network trimming: A data-driven neuron pruning approach towards efficient deep architectures", arXiv preprint arXiv:1607.03250, ~ (2016)
- E, Park, "Value-aware quantization for training and inference of neural networks", Proc. European Conference on Computer Vision(ECCV), pp.580~595 (2018)
- "onvif" (2020)[URL]
- "Jetson AGX Xavier Developer Kit" (2020)[URL]
- M. Everingham, "The pascal visual object classes(VOC)challenge", International Journal of Computer Vision, 88(2), pp.303~308 (2009)
- C. J. Van Rijsbergen, "Information Retrieval" (1979), Butterworth-Heinemann
- "TTAK.KO-12.0215, 원거리 얼굴인식을 위한 영상품질 객체 검출 및 인식 성능평가 지침", 정보통신단체표준(TTAS), ~ (2012)
- J. Redmon, "Yolov3: An incremental improvement", arXiv preprint arXiv:1804.02767, ~ (2018)
- 와셈 울라, "Crowd Behavior Detection using Convolutional Neural Network", 한국차세대컴퓨팅학회 논문지, 15(6), pp.7~14 (2019), 한국차세대컴퓨팅학회[DOI]
- 문석환, "드론비행에서 객체상황인식을 위한 초광각렌즈 왜곡보정기술", 한국차세대컴퓨팅학회 논문지, 15(3), pp.78~85 (2019), 한국차세대컴퓨팅학회[DOI]