본문 바로가기
KERD
논문KCI 등재

ToF 깊이영상과 벡터내적을 이용한 손 모양 인식

Hand Posture Recognition using Dot Product of Vector and ToF Depth Image

김계영|김설호|김경섭
한국차세대컴퓨팅학회 (KINGComputing)|2016.08|한국차세대컴퓨팅학회 논문지 (The Journal of Korean Institute of Next Generation Computing)|제12권 제4호|pp. 89-101

1

조회

0

다운로드

5

인용

0

참고문헌

키워드

Convex HullPosture손 모양손 동작벡터내ToF볼록껍질GestureDot Product of Vector
주제분류컴퓨터학

초록

인간과 컴퓨터의 상호작용에서 손을 이용하는 응용기술은 사람과 기계 사이의 계를 표하는 가장 자연이고 직 인 방법이다. 손을 검출하고 그 모양을 인식하는 기술은 수화인식, 가상실, 내비게이션, 컴퓨터 게임을 포함 하는 다양한 분야에 응용 가능하기 때문에 컴퓨터비의 요한 연구 분야로 다루어지고 있다. 본 논문에서는 ToF 깊이상 에서 손을 검출하고 손 모양을 인식하는 방법을 제안한다. 제안된 방법은 크게 상획득, 처리 손 역 검출, 손가락 검출, 손 모양 인식의 네 단계로 구성된다. 상획득을 해 키넥트 버2를 사용하고, 처리 손 역 검출 단계에서는 정보와 Z축 검출, 이진화를 사용하다. 손가락 검출 단계는 손바닥 역 설정, 세 선화 볼록 껍질 계산 그리고 볼록 결함 계산의 차로 진행된다. 손 모양 인식 단계에서는 손가락의 개수를 기 으로 손의 심과 손 끝 사이의 치를 사용한 벡터내연산으로 각도를 계산해서 최종으로 손 모양을 인식하 다. 실험결과는 제안한 방법이 평균 97.2%의 인식율과 17.16ms의 연산속도로 11개의 손 모양을 빠르고 정확하 게 인식하는 것을 보여다.

Abstract

Applications that use the human hands are one of the most natural and intuitive methods to communicate between people and machines in Human Computer Interaction. Technology of hands detection and posture recognition is of great importance for computer vision, because of its extensive applications in sign language recognition, virtual reality, navigation and computer games, including HCI. In this paper, we propose a method of hands detection and hands posture recognition in ToF(Time of Flight) depth image. These suggested methods consist of four parts: image acquisition, pre-processing and hand detection, finger detection, and hands posture recognition. In the image acquisition stage, we use kinect version 2. Also we apply Z-direction cut and binarization of image in pre-processing and hand segmentation stage. The next step is processed in distance transform, palm region setting, skeleton algorithm and convex hull. From this, finger tips are obtained by calculating convex defects. Finally, we judge the location between palm center point and finger tip point, and calculate finger angle by dot product of vector. Experimental results show that the methods we proposed can recognize 11 hand postures as 97.2% recognition ratio and 17.16ms process time.

참고문헌 (22)

  1. A. R. Sarkar, "Hand Gesture Recognition Systems : A Survey", International Journal of Computer Applications, 71(15), pp.26~37 (2013)
  2. S. Quin, "Real-time Hand Gesture Recognition from Depth Imges Using Convex Shape Decomposition Method", Journal of Signal Processing Systems, 74(1), pp.47~58 (2014)
  3. Z. Ren, "Robust Part-Based Hand Gesture Recognition Using Kinect Sensor", IEEE TRANSACTION ON MULTIMEDIA, 15(5), pp.1110~1120 (2013)
  4. Z. Ma, "Real-time and robust hand tracking with a single depth camera", Visual Computer, 30(10), pp.1133~1144 (2013)
  5. Björn Stenger, "Template-Based Hand Pose Recognition Using Multiple Cues", Computer Vision ACCV 2006, 3852, pp.551~560 (2006)
  6. H. A. Jalab, "Static Hand Gesture Recognition for Human Computer Interaction", Information Technology Journal, 11(9), pp.1265~1271 (2012)
  7. L.Bretzner, "Hand Gesture Recognition using Multi-Scale Colour Features, Hierarchical Models and Particle Filtering", Proceeding of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp.423~428 (2002)
  8. B. Tamersoy, "Background Subtraction –Lecture Notes"
  9. G. Dewaele, "Hand motion from 3D point trajectories and a smooth surface model", Proc.Conf.Computer Vision, Prague, Czech Republic, pp.495~507 (2004)
  10. M. Bray, "Smart particle filtering for 3D hand tracking", IEEE Face and Gesture Recognition, pp.675~680 (2004)
  11. J.Lin, "3D model-based hand tracking using stochastic direct search method", IEEE Face and Gesture Recognition, pp.693~698 (2004)
  12. J. Segen, "Gesture v1: Visionbased 3d hand interface for spatial interaction", ACM Multimedia, pp.455~464 (1998)
  13. 최재인, "특징점 기반 카메라 트래킹을 이용한 손 움직임 보정 기법", 한국차세대컴퓨팅학회 논문지, 11(2), pp.6~13 (2015), 한국차세대컴퓨팅학회
  14. I. Oikonomidis, "Efficient Model-based 3D Tracking of Hand Articulations using Kinect", Proceedings of the British Machine Vision Conference, pp.101.1~101.11 (2011)
  15. I. Oikonomidis, "Markerless and efficient 26-DOF hand pose recovery", Asian Conference on Computer Vision, pp.744~757 (2011)
  16. J. Sklansky, "Finding the convex hull of a simple polygon", Pattern Recognition Letters, 1, pp.79~83 (1982)
  17. 최인규, "Convex-hull을 이용한 기하학적 특징 기반의 손 모양 인식 기법", 한국정보통신학회논문지, 18(8), pp.1931~1940 (2014), 한국정보통신학회[DOI]
  18. 손명규, "깊이 영상에서Random Forests를 이용한 손 모양 인식", 대한전자공학회 하계학술대회, 36(1), pp.812~814 (2013)
  19. 원창섭, "Kinect 기반 손모양 인식 및 성능 분석", 한국전자통신학회 학술대회지, 7(2), pp.144~147 (2013)
  20. 이도엽, "키넥트 기반 손가락 개수 인식 방법", 한국컴퓨터종합학술대회 논문집, pp.1416~1418 (2015)
  21. 나민영, "스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법", 한국차세대컴퓨팅학회 논문지, 8(4), pp.27~34 (2012), 한국차세대컴퓨팅학회
  22. 하태진, "증강현실 저작환경에서 3D객체 조작을 위한 가상 손 기법들의 실험적인 평가", 한국차세대컴퓨팅학회 논문지, 5(2), pp.11~18 (2009), 한국차세대컴퓨팅학회

관련 논문AI추천

가상 터치스크린 시스템을 위한 TOF 카메라 기반 3차원 손 끝 추정김민욱, 안양근, 이칠우, 정광모한국정보처리학회 · 정보처리학회 논문지2010 · 제17권 제4호실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스김태영, 나민영한국차세대컴퓨팅학회 · 한국차세대컴퓨팅학회 논문지2015 · 제11권 제1호스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법김태영, 나민영, 유휘종한국차세대컴퓨팅학회 · 한국차세대컴퓨팅학회 논문지2012 · 제8권 제4호키넥트를 이용한 손 인식 인터페이스 기반의 대화식 영상 클리핑 시스템민경하, 이고운(사)한국컴퓨터게임학회 · 컴퓨터게임및콘텐츠논문지2013 · 제26권 제4호Kinect Depth 카메라를 이용한 마우스 커서의 위치 선정에 관한 연구구봉회, 이승호한국전기전자학회 · 전기전자학회논문지2014 · 제18권 제4호깊이정보를 이용한 실시간 손 영역 검출 및 추적원선희, 주성일, 최형일한국정보처리학회 · 정보처리학회 논문지2012 · 제1권 제3호

이 간행물의 다른 논문 (9건)

Indexing and Search of Mobile Lifelog Data장한솔, 구영현, 유성준pp. 7-22Mem-Shot: Design and Implementation of API-Trigger Driven Memory Dump System for Obfuscated Malware Analysis박기웅, 최상훈pp. 23-32Global R&D Trend and Challenges in Artificial Intelligence SW임지연pp. 33-46MRI를 이용한 치매 진단을 위한 패턴인식 기법의 비교분석정헌, 임승우, 이상웅, 고종민pp. 47-57재구성 가능한 다중 감각 입출력 장치를 지원하는 보행자 경로 안내 시스템의 설계 및 구현이대현, 송민석pp. 59-70
원문 보기