이중흐름 3차원 합성곱 신경망 구조를 이용한 효율적인 손 제스처 인식 방법
An Efficient Hand Gesture Recognition Method using Two-Stream 3D Convolutional Neural Network Structure
4
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
최근 가상환경에서 몰입감을 늘리고 자유로운 상호작용을 제공하기 한 손 제스처 인식에 한 연구가 활발히 진행 되고 있다. 그러나 기존의 연구는 특화된 센서나 장비를 요구하거나, 낮은 인식률을 보이고 있다. 본 논문은 정 손 제스처와 동 손 제스처 인식을 해 카메라 이외의 별도의 센서나 장비 없이 딥러닝 기술을 사용한 손 제스처 인식 방법을 제안한다. 일련의 손 제스처 상을 고주 상으로 변환한 후 손 제스처 RGB 상들과 이에 한 고주 상들 각각에 해 덴스넷 3차원 합성곱 신경망을 통해 학습한다. 6개의 정 손 제스처와 9개의 동 손 제스처 인터페이스에 해 실험한 결과 기존 덴스넷에 비해 4.6%의 성능이 향상된 평균 92.6%의 인식률을 보 다. 본 연구결과를 검증하기 하여 3D 디펜스 게임을 구한 결과 평균 34ms로 제스처 인식이 가능하여 가상실 응용의 실시간 사용자 인터페이스로 사용가능함을 알 수 있었다.
Abstract
Recently, there has been active studies on hand gesture recognition to increase immersion and provide user-friendly interaction in a virtual reality environment. However, most studies require specialized sensors or equipment, or show low recognition rates. This paper proposes a hand gesture recognition method using Deep Learning technology without separate sensors or equipment other than camera to recognize static and dynamic hand gestures. First, a series of hand gesture input images are converted into high-frequency images, then each of the hand gestures RGB images and their high-frequency images is learned through the DenseNet three-dimensional Convolutional Neural Network. Experimental results on 6 static hand gestures and 9 dynamic hand gestures showed an average of 92.6% recognition rate and increased 4.6% compared to previous DenseNet. The 3D defense game was implemented to verify the results of our study, and an average speed of 30 ms of gesture recognition was found to be available as a real-time user interface for virtual reality applications.
참고문헌 (17)
- 박경범, "가상현실 환경에서 3D 가상객체 조작을 위한 인터페이스와 인터랙션 비교 연구", 한국CDE학회 논문집, 21(1), pp.20~30 (2016), 한국CDE학회[DOI]
- 윤종원, "몰입형 가상현실의 착용식 사용자 인터페이스를 위한 Mixture-of-Experts 기반 제스처 인식", 한국HCI학회 논문지, 6(1), pp.1~8 (2011), 한국에이치씨아이학회
- 나민영, "스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법", 한국차세대컴퓨팅학회 논문지, 8(4), pp.27~34 (2012), 한국차세대컴퓨팅학회
- 이새롬, "키넥트를 사용한 NUI 설계 및 구현", 디지털콘텐츠학회논문지, 15(4), pp.473~480 (2014), 한국디지털콘텐츠학회[DOI]
- 고택균, "HMM과 MCSVM 기반 손 제스처 인터페이스 연구", 한국차세대컴퓨팅학회 논문지, 14(1), pp.57~64 (2018), 한국차세대컴퓨팅학회
- 김민재, "직관적인 손동작을 고려한 립모션 기반 게임 인터페이스의 개발 및 평가", 한국컴퓨터게임학회논문지, 27(4), pp.69~75 (2014), (사)한국컴퓨터게임학회[DOI]
- 김설호, "ToF 깊이영상과 벡터내적을 이용한 손 모양 인식", 한국차세대컴퓨팅학회 논문지, 12(4), pp.89~101 (2016), 한국차세대컴퓨팅학회
- 문현철, "웨어러블 응용을 위한 CNN 기반 손 제스처 인식", 방송공학회 논문지, 23(2), pp.246~252 (2018), 한국방송∙미디어공학회[DOI]
- A. Sinha, "DeepHand : Robust hand pose estimation by completing a matrix imputed with deep features", IEEE Conference on Computer Vision and Pattern Recognition, pp.4150~4158 (2016)
- P. Molchanov, "Hand Gesture Recognition with 3D Convolutional Neural Networks", IEEE Conference on Computer Vision and Pattern Recognition, pp.1~7 (2015)
- G. Huang, "Densely connected convolutional networks", IEEE Conference on Computer Vision and Pattern Recognition, pp.3~11 (2017)
- K. Simonyan, "Two-stream convolutional networks for action recognition in videos", NIPS (2014)
- C. Feichtenhofer, "Convolutional two-stream network fusion for video action recognition", The IEEE Conference on Computer Vision and Pattern Recognition, pp.1933~1941 (2016)
- Min Lin, "Network In Network", arXiv preprint arXiv : 1312. 4400v1, ~ (2013)
- K. Simonyan, "Very Deep Convolutional Networks For Large-Scale Image Recognition", International Conference on Machine Learning, pp.1~14 (2014)
- Sergey Ioffe, "Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift", arXiv preprint arXiv : 1502. 03167v3, ~ (2015)
- Vinod Nair, "Rectified Linear Units Improve Restricted Boltzmann Machines", International Conference on Machine Learning, pp.807~814 (2010)