본문 바로가기
KERD
논문KCI 등재

MediaPipe로 추출한 신체 Landmark 및 IMU를 이용한 멀티모달 인간행동인식 딥러닝 모델 연구

Multimodal Deep Learning Model for Human Activity Recognition Using Body Landmarks from MediaPipe Extraction and IMU

최재용|김예은
한국차세대컴퓨팅학회 (KINGComputing)|2024.06|한국차세대컴퓨팅학회 논문지 (The Journal of Korean Institute of Next Generation Computing)|제20권 제3호|pp. 12-21|DOI 10.23019/kingpc.20.3.202406.002

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

분류classification영상Video멀티모달미디어파이프인간행동인식관성측정센서Human Action Recognition(HAR)multimodalIMUMediapipe
주제분류컴퓨터학

초록

딥러닝을 활용한 인간 행동 인식(Human Activity Recognition)에 관한 연구는 활발하게 진행되고 있다. 다양한 인공지능 기법을 활용하여 영상 속 신체의 랜드마크를 검출하여, 사람의 자세를 추정하여 인간 행동 인식을 예측한다. 하지만 카메라 위치나 밝기 등 다양한 외란에 의해 영상 정보만을 활용한 인간 행동 인식 예측은 정확도가 낮아지는 문제점이 있다. 따라서, 본 연구에서는 인간 행동 인식률을 높이기 위해 RGB-D 카메라 기반의 Landmark 추출과 IMU를 통합한 멀티모달 시스템을 제안한다. IMU 센서와 RGB-D 카메라를 활용하여, 각기 다른 10종류의 동작을 수집하였다. IMU 센서에서 3축 가속도 데이터를 추출하고, Mediapipe 인공지능 프레임워크를 이용하여 영상 데이터에서 프레임 단위로 신체에서 랜드마크 33개의 3축 위치 좌표 데이터를 추출하여 동작 데이터를 시계열 데이터로 통일하였다. 영상 데이터와 IMU 센서의 가속도 데이터를 하나의 시계열 데이터로 통합하고, 이 과정에서 슬라이딩 윈도우 및 선형 증강 등의 기법을 활용하여 데이터의 양을 증강하였다. 이를 본 연구에서 새롭게 제안한 1D-CNN 및 LSTM 신경망을 통해 학습을 진행하였다. 또한 동작의 특성에 따라 신경망의 학습에 사용한 랜드마크의 개수를 제한하거나, IMU 데이터 및 랜드마크 데이터와 통합 데이터를 학습할 때 각각 분류기의 성능을 확인하였다. 그 결과, 랜드마크와 IMU 센서 데이터를 통합한 동작 데이터를 학습시켰을 때, 분류 인공신경망에서 향상된 분류 성능을 내는 것을 확인하였다.

Abstract

The rapid development of AI-based computer vision and deep learning technologies have been proven invaluable for Human Activity Recognition (HAR). However, under the various environmental conditions such as light-interference, image occlusion, the prediction performance of Human Activity Recognition can be decreased dramatically. This paper propose an RGB-D based Landmark detection with IMU sensor systems for multi-modal deep learning analysis to increase the performance of HAR. 10 different types of human motions are collected using the proposed RGB-D with IMU sensor system. The 3-axis accelerometer data are extracted from IMU sensor. And by applying AI framework, called MediaPipe, the 3-axis location data of 33 landmarks of the body extracted as the input datasets for the HAR classification. The extracted data and the motion data are unified into time series sequential data. In order to increase the training dataset for the HAR classification, the estimated pose data from MediaPipe and the acceleration data from the IMU sensor are not only integrated into the same size of the sequential data, but also sliding window and linear interpolation are used. Furthermore, 1D-CNN and LSTM neural network are implemented for the HAR classification. As a result, the proposed RGB-D with IMU sensor system has increased the classification performance for Human Activity Recognition than applying the features obtained from the camera only.

참고문헌 (19)

  1. E. Kringle, "Semi-Supervised Machine Learning for Rehabilitation Science Research", Archives of Physical Medicine and Rehabilitation, 98(10), pp.e139~ (2017)
  2. X. Wang, "Contextaware mobile music recommendation for daily activities", Proceedings of the 20th ACM International Conference on Multimedia, 12, pp.99~ (2012)
  3. N. Hammerla, "PD disease state assessment in naturalistic environments using deep learning", Proceedings of the AAAI Conference on Artificial Intelligence, 29(1) (2015)
  4. P. Ponvel, "Factors Affecting Upper Extremity Kinematics in Healthy Adults", Critical Reviews in in Physical and Rehabilitation Medicine, 31(2) (2019)
  5. D. Anguita, "Lecture Notes in Computer Science, Vol 7657" (2012), Springer
  6. O. D. Lara, "A Survey on Human Activity Recognition using Wearable Sensors", IEEE Communications Surveys &Tutorials, 15(3), pp.1192~1209 (2013)
  7. Y. -W. Kim, "Wearable IMUBased Human Activity Recognition Algorithm for Clinical Balance Assessment Using 1D-CNN and GRU Ensemble Model", Sensors, 21(22), pp.7628~ (2021)
  8. X. Y. Lim, "Deep ConvLSTM Network with Dataset Resampling for Upper Body Activity Recognition Using Minimal Number of IMU Sensors", Applied Science, 11(8), pp.3543~ (2021)
  9. Ö. F. İnce, "Human activity recognition with analysis of angles between skeletal joints using a RGB-depth sensor", ETRI journal, 42(1), pp.78~89 (2020)
  10. G. H. Martinex, "Openpose : Whole-body pose estimation", Doctor, pp.2019
  12. J. Link, "Wearable Sensors for Activity Recognition in Ultimate Frisbee Using Convolutional Neural Networks and Transfer Learning", Sensors, 22(7), pp.2560~ (2022)
  13. Z. Zheng, "LSTM　Network : a deep learning approach for short-term traffic forecast", IET intelligent transport systems, 11(2), pp.68~75 (2017)
  14. S. Mekruksavanich, "LSTM networks using smartphone data for sensorbased human activity recognition in smart homes", Sensors, 21(5), pp.1636~ (2021)
  15. T. v. Marcard, "Human Pose Estimation from Video and IMUs", IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(8), pp.1533~1547 (2016)
  16. C. Zhang, "Human activity recognition based on multi-modal fusion", CCF Transactions on Pervasive Computing and Interaction, 5(3), pp.321~332 (2023), Springer
  17. C. Oh, "Time-Series Data Augmentation based on Interpolation", Procedia Computer Science, 175, pp.64~71 (2020), Elsevier
  18. Y. Kim, "Deep Learning Model for Human Activity Recognition Using IMU Sensor and RGB Video", Spring Conference on Next Generation Computing 2024 (2024)
  19. Google Developers, "Mediapipe", ~

이 간행물의 다른 논문 (8건)

커넥티드 카–분산 엣지 환경에서 실시간 대용량 데이터 처리를 위한 엣지 노드간 웹소켓 통신 기법 및 디지털 트윈 시뮬레이션신병석, 이연, 이충렬pp. 1-11YOLO 성능 향상을 위한 데이터 증강기법이준기, 장민호, 황영배pp. 22-35DNN을 위한 비트 단위 파라미터 조작 프레임워크 및 파라미터와 정확도 간의 상호 연관성 분석임승호, 김정헌, 이동인pp. 36-46SERN 기반 운전자의 다중 행동 특징을 이용한 졸음 검출 시스템김원열, 최규호, 김민준pp. 47-55MR 혈관조영술 3차원 영상에서 뇌동맥류 부위 혈관의 기하학적 특성의 정량적 분석을 위한 소프트웨어 설계오정민, 김윤철pp. 56-65
원문 보기