실시간 손끝 탐지를 위한 VGGNet 기반 객체 탐지 네트워크
VGGNet-based Object Detection Network for Real-time Fingertip Detection
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 급속도로 발전된 딥러닝 기술을 적용하여 가상현실 및 증강현실 응용에서 사용자 친화적 인터페이스를 제공하기 위한 연구가 활발히 이루어지고 있다. 본 논문은 사용자의 손을 이용한 인터페이스를 제공하기 위하여 실시간 손끝을 탐지하는 딥러닝 기반 손끝 탐지 방법을 제안한다. 본 방법은 기존 객체 탐지 네트워크에서 필요한 주석 전처리 과정 없이 VGG-19 네트워크에 DenseNet의 연결 방식을 도입하여 총 파라미터 수와 소요 시간을 줄이고 Atrous Convolution과 Grad-CAM을 이용하여 손끝을 탐지한다. 본 방법을 다양한 환경에서 실험한 결과 기존 방법(SSD 네트워크)보다 평균 5% 높은 인식률로 34.4 ms의 실시간 처리가 가능함을 알 수 있었다. 본 연구 결과로 사용자의 손끝을 이용하여 실시간 에어 라이팅을 하는 응용을 제작함으로써 사용자 인터페이스의 활용 가능성을 보였다.
Abstract
Recently, research is being actively carried out to provide a user-friendly interface in virtual reality and augmented reality applications by applying rapidly developed deep learning technology. This paper proposes a deep learning-based fingertip detection method that detects real-time fingertips in order to provide the interface using the user’s hand. This method introduces the DenseNet Connectivity to the VGG-19 network without the required annotation preprocessing process in the existing object detection network, reducing the total number of parameters and the time required, and detecting the fingertips using the Atrous Convolution and the Grad-CAM. As a result of experimenting with this method in various environments, it was found that real-time processing of 34.4 ms is possible with an average recognition rate of 5% higher than the existing method (SSD network). As a result of this study, the application for real-time air-writing using the user's fingertips was developed, showing the usability of the user interface.
참고문헌 (16)
- 김현덕, "실시간 머리 방향 인식 및 손동작 인식 기반 NUI 프레임워크", 한국정보과학회 학술발표논문집, pp.1197~1199 (2015)
- 이새롬, "키넥트를 사용한 NUI 설계 및 구현", 디지털콘텐츠학회논문지, 15(4), pp.473~480 (2014), 한국디지털콘텐츠학회[DOI]
- 오동한, "외부 환경에 강인한 딥러닝 기반 손 제스처 인식", 한국차세대컴퓨팅학회 논문지, 14(5), pp.31~39 (2018), 한국차세대컴퓨팅학회
- 이호준, "VREscapeSim : 사용자 스스로 체득하는 가상현실 지하철 재난 탈출 기능성 게임", 한국차세대컴퓨팅학회 논문지, 12(4), pp.125~132 (2016), 한국차세대컴퓨팅학회
- 박양재, "사용자 상호작용을 위한 색상 기반 손과 손가락 탐지 기술", 한국정보기술학회논문지, 8(2), pp.51~58 (2010), 한국정보기술학회
- 김희애, "키넥트를 이용한 손 영역 검출의 정확도 개선", 한국정보통신학회논문지, 18(11), pp.2727~2732 (2014), 한국정보통신학회[DOI]
- 김은아, "프레젠테이션을 위한 NUI기반 웨어러블 컴퓨터 디자인 연구", 한국차세대컴퓨팅학회 논문지, 12(6), pp.92~103 (2016), 한국차세대컴퓨팅학회
- J. Redmon, "YOLOv3 : An Incremental Improvement", arXiv preprint arXIv:1804.02767, ~ (2018)
- S. Ren, "Faster R-CNN : Towards Real-Time Object Detection with Region Proposal Networks", NIPS, pp.91~99 (2015)
- K. Simonyan, "Very Deep Convolutional Networks For Large-Scale Image Recognition", ICLR, pp.1~14 (2014)
- G. Huang, "Densely Connected Convolutional Networks", CVPR, pp.4700~4708 (2017)
- L. C. Chen, "Deeplab : Semantic Image Segmentation With Deep Convolutional Nets, Atrous Convolution, And Fully Connected CRFs", IEEE transactions on pattern analysis and machine intelligence, 40(4), pp.834~848 (2017)
- R. R. Selvaraju, "Grad-CAM : Visual Explanations From Deep Networks via Gradient-Based Localization", ICCV, pp.618~626 (2017)
- K. He, "Deep Residual Learning for Image Recognition", CVPR, pp.770~778 (2016)
- B. Zhou, "Learning Deep Features for Discriminative Localization", CVPR, pp.2921~2929 (2016)
- W. Liu, "SSD : Single shot multibox detector", ECCV, pp.21~37 (2016)