스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법
A Vision-based Real-time Hand Pose and Gesture Recognition Method for Smart Device Control
2
조회
0
다운로드
14
인용
0
참고문헌
키워드
초록
본 논문에서는 스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법을 제안한다. 깊이 카메라를 통하여 얻은 입력영상에서 왼손과 오른손의 영역을 분할한 후 거리맵을 이용하여 얻은 손의 중점과 깊이 카메라에서 얻은 손의 추적점 정보를 이용하여 손의 회전각도를 구한다. 그 후 외곽선 추적, 근사화 및 컨벡스 헐 알고리즘을 수행하여 손가락 끝점을 얻어낸다. 마지막으로 손목과 각 손가락 끝점간의 각도를 여러 번 학습 시켜 은닉된 손가락이 무엇인지 어떤 포즈를 취했는지 알아낸다. 또한 제스처 인식을 위하여 은닉 마르코프 모델 기반의 유형화 기법을 통하여 모범 동작의 유형 모델을 구성하고 이를 이용하여 사용자의 동작을 인식한다. 스마트 TV를 제어하기 위하여 본 방법을 실험한 결과 고속으로 정확하게 각 손가락 끝점의 구분이 가능하여 다양한 손동작 인식 및 제어가 가능함을 보여주었다.
Abstract
In this paper, we propose a vision-based real-time hand pose and gesture recognition method for smart device control. Each hand area is segmented based on the depth value obtained from the depth camera. Using the center point of a hand calculated from the distance map and the tracking point obtained from the depth camera, the angle of the hand is calculated. Next, the fingertips are extracted using contour tracing, approximation, and convex hull algorithm. Finally, the hidden fingertips can be recognized by learning the angle of a wrist point and a fingertip several times. In order to recognize a gesture, we construct sample gesture templates based on the Hidden Markov Models. Experimental results for a smart TV control showed that our method enabled fingertip distinction and recognized various hand gestures fast and accurately.
참고문헌 (14)
- M. Tang, "Hand Gesture Recognition Using Microsoft‘s Kinect", CS228, Winter, ~ (2010)
- S. Mitra, "Gesture Recognition: A Survey", IEEE Trans. on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 37(3), pp.311~324 (2007)
- D.Geer, "Will gesture recognition technology point the way", IEEE Computer, 37(10), pp.20~23 (2004)
- 나민영, "조명과 배경에 강인한 동적 임계값 기반 손 영상 분할 기법", 멀티미디어학회논문지, 14(5), pp.607~613 (2011), 한국멀티미디어학회
- 강명아, "개선된 고차 국소 자동 상관 특징과 HMM을 이용한 제스처 인식", 한국차세대컴퓨팅학회 논문지, 7(4), pp.29~37 (2011), 한국차세대컴퓨팅학회
- 김기영, "미니어처 AR: 증강 현실 기반 차세대 디지로그형 콘텐츠 체험 전시 시스템", 한국차세대컴퓨팅학회 논문지, 5(2), pp.35~40 (2009), 한국차세대컴퓨팅학회
- 하태진, "증강현실 저작환경에서 3D객체 조작을 위한 가상 손 기법들의 실험적인 평가", 한국차세대컴퓨팅학회 논문지, 5(2), pp.11~18 (2009), 한국차세대컴퓨팅학회
- R. Rosales, "3D Hand Pose Reconstruction using Specialized Mappings", Proc. 8th IEEE International Conference on Computer Vision, 1, pp.378~385 (2001)
- J. Deutscher, "Articulated Body Motion Capture by Annealed Particle Filtering", Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2, pp.126~133 (2000)
- N. Shimada, "Hand Gesture Estimation and ModelRefinement using Monocular Camera AmbiguityLimitation by Inequality Constraints", Proc.3rd IEEE International Conference on AutomaticFace and Gesture Recognition, pp.268~273 (1998)
- B. Stenger, "Hand Pose Estimation Using Hierarchical Detection", Proc. European Conference on Computer Vision, Lecture Notes in Computer Science, Prague, Czech Republic, 3058, pp.105~116 (2004)
- M. Tosas, "Virtual Touch Screen for Mixed Reality", Proc. European Conference on Computer Vision, Lecture Notes in Computer Science, 3058, pp.48~59 (2004)
- 고민수, "증강현실을 위한 히스토그램 기반의 손 인식 시스템", 한국정보통신학회논문지, 15(7), pp.1564~1572 (2011), 한국정보통신학회
- Rabiner, L. R., "n Introduction to Hidden Markov Models", IEEE ASSP Magazine (1986)