손동작 인식을 이용한 가상 터치 서비스 구현
Implementation of Virtual Touch Service Using Hand Gesture Recognition
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
코로나19로 인해 위생 관리의 필요성이 높아지면서 비대면 서비스의 중요성이 주목받고 있다. 의사를 표현하고 정보를 전달하는 도구인 손은키보드, 마우스 등 컴퓨터 입력 장치를 대체할 수 있는 도구로 떠오르고 있다. 본 연구에서는 카메라를 통해 감지된 손동작을 이용하여 컴퓨터를제어함으로써 무인 주문기를 사용할 때 발생하는 공중보건 문제를 해결하는 방법을 제안한다. 자주 사용되는 손 제스처, 특히 검지를 구부리는동작을 식별하는 데 중점을 둔다. 이를 위해 미디어파이프(MediaPipe) 프레임워크와 장단기 기억(long short-term memory, LSTM) 모델을 사용하여비접촉 입력 장치를 개발한다. 이러한 접근 방법은 3차원 공간에서 손동작을 식별할 수 있으며, 가상현실(virtual reality, VR)과 증강현실(augmentedreality, AR) 분야에 적용할 수 있는 시나리오를 제공한다. 내비게이션 시스템, 무인 주문기 등 다양한 상황에 적용할 수 있는 방법을 제시하여향상된 국민건강과 사용자 경험을 제공한다.
Abstract
As the need for hygiene management increases due to COVID-19, the importance of non-contact services is gaining attention. Hands,a tool for expressing intentions and conveying information, are emerging as an alternative to computer input devices such as the keyboardand mouse. In this study, we propose a method to address public health problems that arise when using unmanned ordering machinesby controlling a computer using hand gestures detected through a camera. The focus is on identifying frequently used hand gestures,especially the bending of the index finger. To this end, we develop a non-contact input device using the MediaPipe framework andthe long short-term memory (LSTM) model. This approach can identify hand gestures in three-dimensional space and provides scenariosthat can be applied to the fields of virtual reality (VR) and augmented reality (AR). It offers improved public health and user experienceby presenting methods that can be applied to various situations such as navigation systems and unmanned ordering machines.
참고문헌 (13)
- "Unmanned terminals (kiosks) are spreading day by day, led by small and medium-sized businesses!"[URL]
- "Digital worlds that feel human | Ultraleap"[URL]
- "VTOUCH"[URL]
- G. Y. Heo, "Hand expression recognition for virtual blackboard", Journal of the Korea Institute of Information and Communication Engineering, 25(12), pp.1770~1776 (2021)
- S. Y. Kim, "Application of sign language gesture recognition using Mediapipe and LSTM", Journal of Digital Contents Society, 24(1), pp.111~119 (2023)
- Y. W. Park, "Implementation of input device using motion and voice recognition", Proceedings of the Korean Society of Computer Information Conference, pp.287~288 (2023)
- Y. R. Kim, "Touchless media art kiosks using gesture recognition", Proceedings of Korean Society of Broadcasting and Media Engineering Conference, pp.232~235 (2022)
- "Deep learning model lightweight technology analysis"[URL]
- X. Hu, "Research on model compression for embedded platform through quantization and pruning", Journal of Physics: Conference Series, 2078(1) (2021)
- "Model optimization"[URL]
- G. Casiez, "1€ filter : a simple speed-based low-pass filter for noisy input in interactive systems", Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp.2527~2530 (2012)