외부 환경에 강인한 딥러닝 기반 손 제스처 인식
A Deep Learning-based Hand Gesture Recognition Robust to External Environments
1
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
최근 딥러닝을 기반으로 사용자의 손 제스처를 인식하여 가상실 환경에서 사용자 친화 인터페이스를 제공하기 한 연구가 활발히 진행되고 있다. 그러나 부분 연구들은 손 정보를 얻기 하여 별도 센서를 사용하거나 효율 인 학습을 하여 처리 과정을 거친다. 한 조명의 변화나 손 일부가 가려지는 등과 같은 외부환경의 변화를 고려하지 못하고 있다. 본 논문은 일반 웹캠에서 얻어진 RGB 상에서 별도의 처리 과정없이 외부 환경에 강인 한 딥러닝 기반 손 제스처 인식 방법을 제안한다. 딥러닝 모델로 VGGNet과 GoogLeNet 구조를 개선하고, 각 구 조의 성능을 비교한다. 조명이 어둡거나 손 일부가 가려지거나 시야에서 일부 벗어난 손 상들이 포함된 데이터로 실험한 결과 본 연구에서 제시한 VGGNet과 GoogLeNet 구조는 각각 93.88%와 93.75%의 인식률을 보고 메 모리와 속도 측면에서 GoogLeNet이 VGGNet 보다 메모리를 약 3배 게 사용하면서 처리속도는 10배 이상 우수 함을 알 수 있었다. 본 연구의 결과는 실시간 처리가 가능하여 가상실 환경에서 게임, 교육, 의료 등 다양한 분야 에서 손 제스처 인터페이스로 활용될 수 있다.
Abstract
Recently, there has been active studies to provide a user-friendly interface in a virtual reality environment by recognizing user hand gestures based on deep learning. However, most studies use separate sensors to obtain hand information or go through pre-process for efficient learning. It also fails to take into account changes in the external environment, such as changes in lighting or some of its hands being obscured. This paper proposes a hand gesture recognition method based on deep learning that is strong in external environments without the need for pre-process of RGB images obtained from general webcam. In this paper we improve the VGGNet and the GoogLeNet structures and compared the performance of each structure. The VGGNet and the GoogLeNet structures presented in this paper showed a recognition rate of 93.88% and 93.75%, respectively, based on data containing dim, partially obscured, or partially out-of-sight hand images. In terms of memory and speed, the GoogLeNet used about 3 times less memory than the VGGNet, and its processing speed was 10 times better. The results of this paper can be processed in real-time and used as a hand gesture interface in various areas such as games, education, and medical services in a virtual reality environment.
참고문헌 (16)
- 조선영, "키넥트 센서 데이터를 이용한 손 제스처 인식", 방송공학회 논문지, 17(3), pp.447~458 (2012), 한국방송∙미디어공학회[DOI]
- 나민영, "스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법", 한국차세대컴퓨팅학회 논문지, 8(4), pp.27~34 (2012), 한국차세대컴퓨팅학회
- 김민재, "직관적인 손동작을 고려한 립모션 기반 게임 인터페이스의 개발 및 평가", 한국컴퓨터게임학회논문지, 27(4), pp.69~75 (2014), (사)한국컴퓨터게임학회[DOI]
- 고택균, "HMM과 MCSVM 기반 손 제스처 인터페이스 연구", 한국차세대컴퓨팅학회 논문지, 14(1), pp.57~64 (2018), 한국차세대컴퓨팅학회
- 김설호, "ToF 깊이영상과 벡터내적을 이용한 손 모양 인식", 한국차세대컴퓨팅학회 논문지, 12(4), pp.89~101 (2016), 한국차세대컴퓨팅학회
- 문현철, "웨어러블 응용을 위한 CNN 기반 손 제스처 인식", 방송공학회 논문지, 23(2), pp.246~252 (2018), 한국방송∙미디어공학회[DOI]
- Q. De Smedt, "3D Hand Gesture Recognition Using a Depth and Skeletal Dataset", Eurographics Workshop on 3D Object Retrieval (2017)
- 이진원, "3D-CNN을 이용한 효율적인 손 제스처 인식방법에 관한 연구", 석사, pp.2017
- Karen Simonyan, "Very Deep Convolutional Networks For Large-Scale Image Recognition", ICLR, pp.1~14 (2014)
- C. Szegedy, "Going Deeper with Convolutions", The IEEE Conference on Computer Vision and Pattern Recognition, pp.1~9 (2015)
- Sergey Ioffe, "Batch Nor malization : Accelerating Deep Network Training by Reducing Internal Covariate Shift", arXiv preprint arXiv : 1502. 03167v3, ~ (2015)
- Diederik P. Kingma, "ADAM : A METHOD FOR STOCHASTIC OPTIMIZA TION", ICLR, pp.1~15 (2015)
- C. Szegedy, "Rethinking the inception archite cture for computer vision", arXiv preprint arXiv : 1512. 00567, ~ (2015)
- Kaiming He, "Deep Residual Learning for Image Recognition", CVPR, pp.660~778 (2016)
- Vinod Nair, "Rectified Linear Units Improve Restricted Boltzmann Machines", International Conference on Machine Learning, pp.807~814 (2010)
- Min Lin, "Net work In Network", arXiv preprint arXiv : 1312. 4400v1, ~ (2013)