딥러닝 기반 손 제스처 인식을 통한 3D 가상현실 게임
3D Virtual Reality Game with Deep Learning-based Hand Gesture Recognition
1
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
가상 환경에서 몰입감을 높이고 자유로운 상호작용을 제공하기 위한 가장 자연스러운 방법은 사용자의 손을 이용한 제스처 인터페이스를 제공하는 것이다. 그러나 손 제스처 인식에 관한 기존의 연구들은 특화된 센서나 장비를 요구하거나 낮은 인식률을 보이는 단점이 있다. 본 논문은 손 제스처 입력을 위한 RGB 카메라 이외 별도 센서나 장비 없이 손 제스처 인식이 가능한 3차원 DenseNet 합성곱 신경망 모델을 제안하고 이를 기반으로 한 가상현실 게임을 소개한다. 4개의 정적 손 제스처와 6개의 동적 손 제스처 인터페이스에 대해 실험한 결과 평균 50ms의 속도로 94.2%의 인식률을 보여 가상현실 게임의 실시간 사용자 인터페이스로 사용 가능함을 알 수 있었다. 본 연구의 결과는 게임 뿐 아니라 교육, 의료, 쇼핑 등 다양한 분야에서 손 제스처 인터페이스로 활용될 수 있다.
Abstract
The most natural way to increase immersion and provide free interaction in a virtual environment is to provide a gesture interface using the user’s hand. However, most studies about hand gesture recognition require specialized sensors or equipment, or show low recognition rates. This paper proposes a three-dimensional DenseNet Convolutional Neural Network that enables recognition of hand gestures with no sensors or equipment other than an RGB camera for hand gesture input and introduces a virtual reality game based on it. Experimental results on 4 static hand gestures and 6 dynamic hand gestures showed that they could be used as real-time user interfaces for virtual reality games with an average recognition rate of 94.2% at 50ms. Results of this research can be used as a hand gesture interface not only for games but also for education, medicine, and shopping.
참고문헌 (14)
- 박경범, "가상현실 환경에서 3D 가상객체 조작을 위한 인터페이스와 인터랙션 비교 연구", 한국CDE학회 논문집, 21(1), pp.20~30 (2016), 한국CDE학회[DOI]
- 윤종원, "몰입형 가상현실의 착용식 사용자 인터페이스를 위한 Mixture-of-Experts 기반 제스처 인식", 한국HCI학회 논문지, 6(1), pp.1~8 (2011), 한국에이치씨아이학회
- 나민영, "스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법", 한국차세대컴퓨팅학회 논문지, 8(4), pp.27~34 (2012), 한국차세대컴퓨팅학회
- 이새롬, "키넥트를 사용한 NUI 설계 및 구현", 디지털콘텐츠학회논문지, 15(4), pp.473~480 (2014), 한국디지털콘텐츠학회[DOI]
- 고택균, "HMM과 MCSVM 기반 손 제스처 인터페이스 연구", 한국차세대컴퓨팅학회 논문지, 14(1), pp.57~64 (2018), 한국차세대컴퓨팅학회
- 김민재, "직관적인 손동작을 고려한 립모션 기반 게임 인터페이스의 개발 및 평가", 한국컴퓨터게임학회논문지, 27(4), pp.69~75 (2014), (사)한국컴퓨터게임학회[DOI]
- 문현철, "웨어러블 응용을 위한 CNN 기반 손 제스처 인식", 방송공학회 논문지, 23(2), pp.246~252 (2018), 한국방송∙미디어공학회[DOI]
- A. Sinha, "DeepHand: Robust hand pose estimation by completing a matrix imputed with deep features", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.4150~4158 (2016)
- P. Molchanov, "Hand gesture recognition with 3D convolutional neural networks", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1~7 (2015)
- G. Huang, "Densely connected convolutional networks", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.3~11 (2017)
- C. Szegedy, "Going deeper with convolutions", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1~9 (2015)
- K. He, "Deep residual learning for image recognition", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.770~778 (2016)
- M. Lin, "Network In Network", arXiv preprint arXiv : 1312. 4400, ~ (2013)
- Diederik P. Kingma, "Adam: A method for stochastic optimization", International Conference on Learning Representations (ICLR), pp.1~15 (2015)