본문 바로가기
KERD
논문KCI 등재

멀티모달 앙상블 딥러닝 네트워크를 이용한 보행 타입 분류

Gait Type Classification Using Multi-modal Ensemble Deep Learning Network

최영찬|최상일|박희찬
한국컴퓨터정보학회 (The Korean Society Of Computer And Information)|2022.11|한국컴퓨터정보학회논문지 (Journal of The Korea Society of Computer and Information)|제27권 제11호|pp. 29-38|DOI https://doi.org/10.9708/jksci.2022.27.11.029

1

조회

0

다운로드

0

인용

0

참고문헌

키워드

Deep learning스마트 인솔Smart insole딥러닝 네트워크보행 타입앙상블 네트워크멀티 모달 센서Gait typeEnsemble networkMulti-modal sensor
주제분류컴퓨터학

초록

본 논문에서는 멀티 센서가 장착된 스마트 인솔로 측정한 보행 데이터에 대해 앙상블 딥러닝네트워크를 이용하여 보행의 타입을 분류하는 시스템을 제안한다. 보행 타입 분류 시스템은 인솔에 의해 측정된 데이터를 정규화하는 부분과 딥러닝 네트워크를 이용하여 보행의 특징을 추출하는 부분, 그리고 추출된 특징을 입력으로 보행의 타입을 분류하는 부분으로 구성되어 있다. 서로다른 특성을 가지는 CNN과 LSTM을 기반으로 하는 네트워크를 독립적으로 학습하여 두 종류의보행 특징 맵을 추출하였으며, 각각의 분류 결과를 결합하여 최종적인 앙상블 네트워크의 분류결과를 도출하였다. 20~30대 성인의 걷기, 뛰기, 빠르게 걷기, 계단 오르기와 내려가기, 언덕 오르기와 내려가기의 7종류의 보행에 대해, 스마트 인솔을 이용하여 실측한 멀티 센서 데이터를 제안한 앙상블 네트워크로 분류해 본 결과 90% 이상의 높은 분류율을 보이는 것을 확인하였다.

Abstract

This paper proposes a system for classifying gait types using an ensemble deep learning network for gait data measured by a smart insole equipped with multi-sensors. The gait type classification system consists of a part for normalizing the data measured by the insole, a part for extracting gait features using a deep learning network, and a part for classifying the gait type by inputting the extracted features. Two kinds of gait feature maps were extracted by independently learning networks based on CNNs and LSTMs with different characteristics. The final ensemble network classification results were obtained by combining the classification results. For the seven types of gait for adults in their 20s and 30s: walking, running, fast walking, going up and down stairs, and going up and down hills, multi-sensor data was classified into a proposed ensemble network. As a result, it was confirmed that the classification rate was higher than 90%.

참고문헌 (37)

  1. E. Smirni, "Workload-Aware Load Balancing for Cluster Web Servers", IEEE Trans. on Parallel and Distributed Systems, 16(3), pp.219~232 (2005)[DOI]
  2. Kdhong, "An Efficient Dynamic Workload Balancing Strategy", Journal of The Korea Society of Computer and Information, 15(1), pp.1~10 (2010)
  3. Kdhong, C, "Programming Language", pp.100~120 (1991), Korea-Press
  4. Q. Deng, "Dual threshold based unsupervised face image clustering", Proceedings of the 2nd International Conference on Industrial Mechatronics and Automation, pp.436~439 (2010)
  5. "SIMGRID Project"[URL]
  6. Q. Deng, "Dual threshold based unsupervised face image clustering", Proceedings of the 2nd International Conference on Industrial Mechatronics and Automation, pp.436~439 (2010)
  7. Q. Deng, "Dual threshold based unsupervised face image clustering", Proceedings of the 2nd International Conference on Industrial Mechatronics and Automation, pp.436~439 (2010)
  8. Jucheol Moon, "Can Ensemble Deep Learning Identify People by Their Gait Using Data Collected from Multi-Modal Sensors in Their Insole?", MDPI Sensors (2020)
  9. Sung-Sin Lee, "Classification of Gait Type Based on Deep Learning Using Various Sensors with Smart Insole", MDPI Sensor (2019)
  10. Wu, Jianning, "Feature extraction via KPCA for classification of gait patterns", Human movement science, 26(3), pp.393~411 (2007)
  11. 서우덕, "스마트 깔창의 압력센서를 이용한 보행형태 분류", 한국컴퓨터정보학회논문지, 23(2), pp.17~26 (2018), 한국컴퓨터정보학회[DOI]
  12. Yan, Lei, "Walking Gait Phase Detection Based on Acceleration Signals Using Voting-Weighted Integrated Neural Network", Complexity 2020 (2020)
  13. Bonnet, Stéphane, "Hidden markov models applied onto gait classification", 2010 18th European Signal Processing Conference (2010), IEEE
  14. Y. Lecun, "Gradient-based learning applied to document recognition", Proceedings of the IEEE, 86(11), pp.2278~2324 (1998)[DOI]
  15. Taborri, Juri, "A novel HMM distributed classifier for the detection of gait phases by means of a wearable inertial sensor network", Sensors, 14(9), pp.16212~16234 (2014)
  16. Davis, Roy B, "A gait analysis data collection and reduction technique", Humanmovement science, 10(5), pp.575~587 (1991)[DOI]
  17. Hee Chan Park, "Classification of Gait Pattern Based on Ensemble Learning Using Smart Insole", 석사, pp.2021
  18. Williams, Ronald J, "Learning representations by back-propagating errors", Nature, 323(6088), pp.533~536 (1986)
  19. Hochreiter, S, "Long short-term memory", Neural Computation, 9(8), pp.1735~1780 (1997)
  20. Karl Pearson F. R. S. ., "On lines and planes of closest fit to systems of points in space", The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 2(11), pp.559~572 (1901)
  21. B. Sch6lkopf, "Nonlinear component analysis as a kernel eigenvalue problem", Neural Computation, 10, pp.1299~1319 (1998)
  22. Cevikalp, Hakan, "Discriminative common vectors for face recognition", IEEE Transactions on pattern analysis and machine intelligence, 27(1), pp.4~13 (2005)
  23. L. Rabiner, "An introduction to hidden Markov models", IEEE ASSP Magazine, 3(1), pp.4~16 (1986)[DOI]
  24. Choi, Sang-Il, "User identification from gait analysis using multi-modal sensors in smart insole", Sensors, 19(17), pp.3785~ (2019)
  25. Shetty, Sachin, "SVM based machine learning approach to identify Parkinson's disease using gait analysis", 2016International Conference on Inventive Computation Technologies (ICICT), 2 (2016), IEEE
  26. Murray, M.P, "Walking patterns of normal men", J. Bone Jt. Surg, 46, pp.335~360 (1964)
  27. Bridle, John, "Training stochastic model recognition algorithms as networks can lead to maximum mutual information estimation of parameters", Advances in neural information processing systems, 2 (1989)
  28. Charalambous, Charalambos P, "Classic Papers in Orthopaedics", pp.393~395 (2014), Springer
  29. Schoenberg, Isaac J, "Contributions to the Problem of Approximation of Equidistant Data by Analytic Functions: Part A.—On the Problem of Smoothing or Graduation, A First Class of Analytic Approximation Formulae", Quarterly of Applied Mathematics, 4(2), pp.45~99 (1946)
  30. E. Alpaydin, "Multiple networks for function learning", IEEE International Conference on Neural Networks, 1, pp.9~14 (1993)
  31. Alex Krizhevsky, "ImageNet classification with deep convolutional neural networks", Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1 (NIPS'12), pp.1097~1105 (2012), Curran Associates Inc
  32. Hochreiter, Sepp, "The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions", International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 6, pp.107~116 (1998)[DOI]
  33. Agarap, A. F, "Deep learning using rectified linear units", ~ (2018)
  34. Nitish Srivastava, "Dropout: a simple way to prevent neural networks from overfitting", J. Mach. Learn. Res, 15(1), pp.1929~1958 (2014)
  35. Kelley, H. J, "Gradient theory of optimal flight paths", Ars Journal, 30(10), pp.947~954 (1960)
  36. Ioffe, S, "Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift", Proceedings of the 32nd International Conference on Machine Learning in Proceedings of Machine Learning Research (2015)
  37. Kingma, Diederik, "Adam: A Method for Stochastic Optimization", International Conference on Learning Representations (2014)

관련 논문AI추천

스마트 깔창의 압력센서를 이용한 보행형태 분류서우덕, 신원용, 이성신, 최상일한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2018 · 제23권 제2호기계학습 모델을 이용한 노인보행과비노인보행의 구별 방법에 관한 연구김가영, 엄수현, 이소연, 장성원, 정수환, 최상일한국정보처리학회 · 정보처리학회논문지. 컴퓨터 및 통신시스템2021 · 제10권 제9호외골격 로봇의 동작인식을 위한 보행의 운동학적 요인을 이용한 보행유형 분류김동현, 봉원우, 조재훈, 최현기대한의용생체공학회 · 의공학회지2017 · 제38권 제3호딥러닝 기반 낙상 감지 시스템의 구성과 적용리오넬, 우종석, 정상중, 정완영한국융합신호처리학회 · 융합신호처리학회 논문지2023 · 제24권 제4호평지 및 계단 환경에서 보행 속도 변화에 대응 가능한 웨어러블 로봇의 보행 위상 추정 방법기인호, 김강건, 김상도, 김선우, 김호빈, 박신석, 이종복, 이종원한국로봇학회 · 로봇학회 논문지2023 · 제18권 제2호걸음걸이 데이터에서 분노 검출을 위한 다중 시간 윈도 특징 추출 기술권범, 오태근한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2023 · 제28권 제4호

이 간행물의 다른 논문 (34건)

NFT 사용권 제공을 위한 컨트랙트 기반의 접근 제어 기법고덕윤, 김도영, 정윤성, 박수용, 김성진, 서중원, 김범수pp. 1-11로컬 모델 검증을 통한 가중치 부여 연합학습 프레임워크 설계박병훈, 정현준, 강전성, 김정준pp. 13-18시계열 데이터 이상탐지를 위한 AI MLOps Workflow 언어와 플랫폼김수민, 손정모pp. 19-27다국어 범용 의존관계 주석체계를 준수하는 BERT 언어 모델 기반 자가-집중을 적용한 다중 작업 모델김유희pp. 39-46XBT 데이터를 이용한 기계학습 기반의 동해 수직 수온분포 예측이수진, 김영주, 김영원pp. 47-55
원문 보기