OpenPose기반 딥러닝을 이용한 운동동작분류 성능 비교
Performance Comparison for Exercise Motion classification using Deep Learing-based OpenPose
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
최근 인간의 자세와 행동을 추적하는 행동 분석 연구가 활발해지고 있다. 특히 2017년 CMU에서 개발한 오픈소스인 오픈포즈(OpenPose)는 사람의 외모와 행동을 추정하는 대표적인 방법이다. 오픈포즈는 사람의 키, 얼굴, 손 등의 신체부위를 실시간으로 감지하고 추정할 수 있어 스마트 헬스케어, 운 동 트레이닝, 보안시스템, 의료 등 다양한 분야에 적용될 수 있다. 본 논문에서는 헬스장에서 사용자들이 가장 많이 운동하는 Squat, Walk, Wave, Fall-down 4개 동작을 오픈포즈기반 딥러닝인 DNN과 CNN을 이용하여 운동 동작 분류 방법을 제안한다. 학습데이터는 녹화영상 및 실시간으로 카메라를 통해 사용자의 동작을 캡처해서 데이터 셋을 수집한다. 수집된 데이터 셋은 OpenPose을 이용하여 전처리과정을 진행하고, 전처리과정이 완료된 데이터 셋은 본 논문에서 제안한 DNN 및 CNN 모델 이용하여 운동 동작 분류를 학습한다. 제안한 모델에 대한 성능 오차는 MSE, RMSE, MAE를 사용한다. 성능 평가 결과, 제안한 DNN 모델 성능이 제안한 CNN 모델보다 우수한 것으로 나타났다.
Abstract
Recently, research on behavior analysis tracking human posture and movement has been actively conducted. In particular, OpenPose, an open-source software developed by CMU in 2017, is a representative method for estimating human appearance and behavior. OpenPose can detect and estimate various body parts of a person, such as height, face, and hands in real-time, making it applicable to various fields such as smart healthcare, exercise training, security systems, and medical fields. In this paper, we propose a method for classifying four exercise movements - Squat, Walk, Wave, and Fall-down - which are most commonly performed by users in the gym, using OpenPose-based deep learning models, DNN and CNN. The training data is collected by capturing the user's movements through recorded videos and real-time camera captures. The colle cted dataset undergoes preprocessing using OpenPose. The preprocessed dataset is then used to train the proposed DNN and CNN models for exercise movement classification. The performance errors of the proposed models are evaluated using MSE, RMSE, and MAE. The performance evaluation results showed that the proposed DNN model outperformed the proposed CNN model.
참고문헌 (20)
- 권재윤, "빅데이터를 활용한 홈트레이닝 인식 분석 : COVID-19 확산시점을 중심으로", 한국체육과학회지, 30(2), pp.447~459 (2021), 한국체육과학회[DOI]
- 오정희, "후기수용모델을 적용한 1인 미디어 유튜브 홈 트레이닝의 지속의도 연구", 한국융합학회논문지, 10(2), pp.183~193 (2019), 한국융합학회[DOI]
- A. Nouriani, "Deep Learning-Based Human Activity Recognition using Wearable Sensors", IFAC-PapersOnLine, 55(37), pp.1~6 (2022)
- Santosh Kumar Yadav, "A review of multimodal human activity recognition with special emphasis on classification, applications, challenges and future directions", Knowledge- Based Systems, 223(8) (2021)
- Wentian Xin, "Transformer for Skeleton-based action recognition : A review of recent advances", Neurocomputing, 537, pp.164~186 (2023)
- Franz Reuleaux, "The Kinematics of Machinery" (2012), Dover Publications
- Bishop, C. M., "Pattern Recognition and Machine Learning" (2006), Springer
- R.L. Stratonovich, "Non-linear Transformations of Stochastic Process", pp.427~453 (1965)
- C. Cortes, "Support Vector Net-works", Machine Learning, 20, pp.273~297 (1995)
- Wensong Chan, "Human Action Recognition Based on Temporal-Spatial Attention", ICLR (2020)
- Md Zia Uddin, "Human activity recognition using wearable sensors, discriminant analysis, and long short-term memory-based neural structured learning", Scientific reports, 16455 (2021)
- "OpenPose"[URL]
- Schmidhuber, J., "Deep Learning in Neural Networks : An Overview", Neural Networks, 61, pp.85~117 (2015)
- M.V. Valueva, "Application of the residue number system to reduce hardware costs of the convolutional neural network implementation", Mathematics and Computers in Simulation, 177, pp.232~243 (2020)
- Zhe Cao, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", CVPR, pp.7291~7299 (2017)
- Karen Simonyan, "Very Deep Convolution Netwokrs for Large-scale Image Recognition", ICLR (2015)
- A. I. Georgevici, "Neural Networks and Deep Learning : A Brief Introduction", Intensive Care Medicine, 45, pp.712~714 (2019)
- Vikas Gupta, "Deep Learning based Human Pose Estimation using OpenCV", LearnOpenCV, ~ (2018)
- "Multi-Person Pose Estimation"[URL]
- "VGGNet"[URL]