딥러닝을 통한 비접촉 돌봄 로봇 시스템 연구
A Study on Non-Contact Care Robot System through Deep Learning
2
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
한국이 초고령사회로 진입하면서 노인 복지에 대한 필요성이 증가하고 있으나 현재 복지 인력부족이 사회문제로 대두되고 있다. 이에 대한 해결책으로 노인의 사회적 고립감 완화와 위급 상황 시 비상 연락 등의 기능을 하는 노인 돌봄 로봇이 활발히 연구되고 있다. 하지만 이러한 기능들은 사용자의 접촉이 있어야만 작동하여 기존 노인 돌봄 로봇의 한계점으로 자리 잡고 있다. 본논문에서는 기존의 문제를 해결하기 위해 상용화된 노인 돌봄 로봇과 카메라를 통해 직접적인 접촉 없이도 사용자와 상호작용할 수 있는 돌봄 로봇 시스템을 제안한다. 돌봄 로봇에 연결된 엣지디바이스에 표정 인식 모델과 행동 인식 모델을 탑재하였고, 공공데이터를 통해 모델의 학습 및성능검증을 진행했다. 실험 결과를 통해 표정 인식과 행동 인식의 성능이 각각 정확도 96.5%, 90.9%인 것을 확인할 수 있으며, 수행 시간의 경우에는 각각 50ms, 350ms인 것을 확인할 수 있다. 해당 결과는 제안한 시스템의 표정 및 행동 인식 정확도가 높고 추론 시간이 효율적임을 확인하며, 이는 비접촉 상황에서도 원활한 상호작용을 가능하게 한다.
Abstract
As South Korea enters the realm of an super-aging society, the demand for elderly welfare services has been steadily rising. However, the current shortage of welfare personnel has emerged as a social issue. To address this challenge, there is active research underway on elderly care robots designed to mitigate the social isolation of the elderly and provide emergency contact capabilities in critical situations. Nonetheless, these functionalities require direct user contact, which represents a limitation of conventional elderly care robots. In this paper, we propose a solution to overcome these challenges by introducing a care robot system capable of interacting with users without the need for direct physical contact. This system leverages commercialized elderly care robots and cameras. We have equipped the care robot with an edge device that incorporates facial expression recognition and action recognition models. The models were trained and validated using public available data. Experimental results demonstrate high accuracy rates, with facial expression recognition achieving 96.5% accuracy and action recognition reaching 90.9%. Furthermore, the inference times for these processes are 50ms and 350ms, respectively. These findings affirm that our proposed system offers efficient and accurate facial and action recognition, enabling seamless interaction even in non-contact situations.
참고문헌 (19)
- "Population Projection for Korea"[URL]
- J. Mišeikis, "Lio-A Personal Robot Assistant for Human-Robot Interaction and Care Applications", IEEE Robotics and Automation Letters, 5(4), pp.5339~5346 (2020)
- Jong-Wook Kim, "A Care Robot with Ethical Sensing System for Older Adults at Home", Sensors, 22(19), pp.7515~ (2022), MDPI AG[DOI]
- I. J. Goodfellow, "Challenges in representation learning: A report on three machine learning contests", International Conference on Neural Information Processing, pp.117~124 (2013)
- Yahui Nan, "A-MobileNet: An approach of facial expression recognition", Alexandria Engineering Journal, 61(6), pp.4435~4444 (2022), Elsevier BV[DOI]
- 김상민, "그래프 합성곱 오토인코더 기반 고령자 이상 행동 인식", 경영과학, 39(3), pp.29~43 (2022), 한국경영과학회
- Z. Cao, "Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.7291~7299 (2017)
- Thi Thi Zin, "Real-Time Action Recognition System for Elderly People Using Stereo Depth Camera", Sensors, 21(17), pp.5895~ (2021), MDPI AG[DOI]
- "Complex Video for Korean Emotion Recognition"[URL]
- Tan, M., "Efficientnet: Rethinking model scaling for convolutional neural networks", International conference on machine learning, PMLR, pp.6105~6114 (2019)
- Andrey V. Savchenko, "Classifying Emotions and Engagement in Online Learning Based on a Single Facial Expression Recognition Neural Network", IEEE Transactions on Affective Computing, 13(4), pp.2132~2143 (2022), Institute of Electrical and Electronics Engineers (IEEE)[DOI]
- Cao, Q., "Vggface2: A dataset for recognising faces across pose and age", 2018 13th IEEE international conference on automatic face & gesture recognition, pp.67~74 (2018)
- Jinhyeok Jang, "ETRI-Activity3D: A Large-Scale RGB-D Dataset for Robots to Recognize Daily Activities of the Elderly", International Conference on Intelligent Robots and Systems (IROS), pp.10990~10997 (2020)
- Radford, A., "Learning transferable visual models from natural language supervision", International conference on machine learning, pp.8748~8763 (2021), PMLR
- 이준식, "사용자 로그 분석에 기반한 노인 돌봄 솔루션 구축 전략: 효돌 제품의 사례를 중심으로", 지능정보연구, 25(3), pp.117~140 (2019), 한국지능정보시스템학회
- "Khadis VIM4(KVIM4-B-001)"[URL]