Hololens 2와 강화학습을 이용한 AR 사격 훈련 시스템 개발 및 평가
Development and Evaluation of an AR Shooting Training Sstem Using Hololens 2 and Reinforcement Learning
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
국방혁신 4.0의 도입과 함께, 대한민국은 첨단 기술을 군사 훈련에 적극적으로 통합하고 있다. 현재 대한민국 군에서 사용되는 사격 훈련 방식은 프로젝터 기반 가상현실(VR) 시스템 또는 비시스루 비디오(Non Video See-Through) 방식의 HMD를 활용하는데, 이 방식은 더 많은 가상 콘텐츠 자원(아바타 및 환경)이 필요하며 그에 따른 시스템 지원 사항(렌더링 등)이 필요하다. 이러한 문제를 해결하기 위해 본 연구에서는 증강현실(AR) 기반 사격 훈련 시스템을 제안하며, Hololens 2와 VIVE 트래커를 활용하여 실제 총기의 위치와 신체 움직임을 정밀하게 추적하는 방법을 구현하였다. 추가적으로 Proximal Policy Optimization(PPO) 알고리즘 기반의 강화 학습 AI 어시스턴트를 도입하여, 사격의 정확도와 정밀도를 분석하고 실시간 피드백을 제공하여 사용자의 자세를 개선하도록 설계하였다. 또한, TCP 및 UDP 기반 소켓 통신 방식을 채택하여 평균 2.30ms의 낮은 지연시간을 달성하며 실시간 훈련이 가능함을 검증하였다.
Abstract
With the introduction of Defense Innovation 4.0, South Korea is actively integrating advanced technologies into military training. The current shooting training methods used by the South Korean military rely on projector-based virtual reality (VR) systems or non video see-through (NVST) head-mounted displays (HMDs), which require large spaces and lack real-world interaction. To address these limitations, this study proposes an augmented reality (AR)-based shooting training system, implementing precise tracking of firearm positions and body movements using Hololens 2 and VIVE trackers. Additionally, a reinforcement learning-based AI assistant utilizing the Proximal Policy Optimization (PPO) algorithm is introduced to analyze shooting accuracy and precision, providing real-time feedback to improve user posture. Furthermore, by adopting TCP and UDP-based socket communication, the system achieves an average latency of 2.30ms, validating its feasibility for real-time training.