이미지와 센서 데이터를 활용한 딥러닝 기반 반려동물 이상행동 탐지 서비스
Deep Learning-Based Companion Animal Abnormal Behavior Detection Service Using Image and Sensor Data
1
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
본 논문에서는 영상 데이터와 센서 데이터를 활용한 딥러닝 기반의 반려동물 이상행동 탐지 서비스를 제안한다. 최근 반려동물 보유 가구의 증가로 인해 기존 푸드 및 의료 중심의 반려동물 시장에서 인공지능을 더한 펫테크(Pet Tech) 산업이 성장하고 있다. 본 연구에서는 인공지능을 통한 반려동물의 건강관리를 위해 영상 및 센서 데이터를 활용한 딥러닝 모델을 기반으로 반려동물의 행동을 분류하고, 이상행동을 탐지하였다. 자택의 CCTV와 직접 제작한 펫 웨어러블 디바이스를 활용하여 반려동물의 영상 데이터 및 센서 데이터를 수집하고, 모델의 입력 데이터로 활용한다. 행동의 분류를위해 본 연구에서는 반려동물의 객체를 검출하기 위한 YOLO(You Only Look Once) 모델과 관절 좌표를 추출하기 위한 DeepLabCut을 결합하여 영상 데이터를 처리하였고, 센서 데이터를 처리하기 위해 각 센서 별 연관관계 및 특징을 파악할 수 있는 GAT(Graph Attention Network)를 활용하였다.
Abstract
In this paper, we propose the Deep Learning-Based Companion Animal Abnormal Behavior Detection Service, which using video and sensor data. Due to the recent increase in households with companion animals, the pet tech industry with artificial intelligence is growing in the existing food and medical-oriented companion animal market. In this study, companion animal behavior was classified and abnormal behavior was detected based on a deep learning model using various data for health management of companion animals through artificial intelligence. Video data and sensor data of companion animals are collected using CCTV and the manufactured pet wearable device, and used as input data for the model. Image data was processed by combining the YOLO(You Only Look Once) model and DeepLabCut for extracting joint coordinates to detect companion animal objects for behavior classification. Also, in order to process sensor data, GAT(Graph Attention Network), which can identify the correlation and characteristics of each sensor, was used.
참고문헌 (23)
- 강성광, "반려동물 웰빙을 위한 스마트 IoT 기술 도입 수용요인에 관한 연구", 한국전자거래학회지, 24(2), pp.143~163 (2019), 한국전자거래학회[DOI]
- 이정재, "반려동물 자동 급식기를 가진 스마트 IoT 시스템 구현", 디지털콘텐츠학회논문지, 22(2), pp.209~214 (2021), 한국디지털콘텐츠학회[DOI]
- 김우찬, "저전력 프로토콜의 웨어러블 디바이스를 사용한 반려동물 모니터링 시스템", 한국컴퓨터정보학회논문지, 25(12), pp.17~23 (2020), 한국컴퓨터정보학회[DOI]
- 신해웅, "IoT 및 AI 기술을 활용한 펫테크 서비스 적용 웨어러블 제품 개발 연구", 한국디자인문화학회지, 26(1), pp.261~272 (2020), 한국디자인문화학회
- K. Pekka, "Dog behaviour classification with movement sensors placed on the harness and the collar", Applied Animal Behaviour Science, 241, pp.1~7 (2021)[DOI]
- 김현빈, "범죄예방을 위한 CCTV 영상 기반의 실시간 안면인식 시스템", 한국정보기술학회논문지, 19(8), pp.99~106 (2021), 한국정보기술학회[DOI]
- M. Kröschel, "Remote monitoring of vigilance behavior in large herbivores using acceleration data", Animal Biotelemetry, 5(1), pp.1~15 (2017)[DOI]
- L. Yang, "Multimodal measurement of depression using deep learning models", Proceedings of the 7th Annual Workshop on Audio, 2017, 53~59
- J. Joshi, "Multimodal assistive technologies for depression diagnosis and monitoring", Journal on Multimodal User Interfaces, 7(3), pp.217~228 (2013)[DOI]
- J. Redmon, "You only look once: Unified, real-time object detection", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.779~788 (2016)
- D. Wu, "Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments", Computers and Electronics in Agriculture, 178, pp.1~12 (2020)[DOI]
- J. Yu, "Face mask wearing detection algorithm based on improved YOLO-v4", Sensors, 21(9), pp.1~21 (2021)[DOI]
- P. Mahto, "Refining Yolov4 for vehicle detection", International Journal of Advanced Research in Engineering and Technology, 11(5), pp.409~419 (2020)[DOI]
- A. Bewley, "Simple online and realtime tracking", 2016 IEEE international conference on image processing, pp.3464~3468 (2016)
- E. Insafutdinov, "Deepercut: A deeper, stronger, and faster multi-person pose estimation model", European Conference on Computer Vision, pp.34~50 (2016)
- H. Xu, "Fall behavior recognition based on deep learning and image processing", International Journal of Mobile Computing and Multimedia Communications, 9(4), pp.1~15 (2018)[DOI]
- W. Chenhao, "Human behavior recognition under occlusion based on two-stream network combined with BiLSTM", 2020 Chinese Control And Decision Conference (CCDC), pp.3311~3316 (2020)
- R. Vincent, "Human Activity Recognition Using LSTM", BiLSTM, 2020, pp.29(4), 7468~7474
- R. Arablouei, "Animal Behavior Classification via Deep Learning on Embedded Systems", 1~13 (2021)
- K. Sakai, "Behavior classification of goats using 9-axis multi sensors: The effect of imbalanced datasets on classification performance", Computers and Electronics in Agriculture, 166, pp.1~9 (2019)[DOI]
- N. Kleanthous, "Feature Extraction and Random Forest to Identify Sheep Behavior from Accelerometer Data", International Conference on Intelligent Computing, pp.408~419 (2020), Springer
- M. Hassoon, "Rule optimization of boosted c5. 0 classification using genetic algorithm for liver disease prediction", 2017 international conference on computer and applications, pp.299~305 (2017), IEEE
- M. Salman Saeed, "An efficient boosted C5. 0Decision-Tree-Based classification approach for detecting non-technical losses in power utilities", Energies, 13(12), pp.1~19 (2020)[DOI]