혼합현실에서 제스츄어 기반의 가상 객체 조작방법에 대한 연구
A Study on the Gesture Based Virtual Object Manipulation Method in Multi-Mixed Reality
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 논문에서 혼합현실에서 공동 작업을 위한 환경 구축에 대한 연구와 웨어러블 IOT 디바이스와 연동하기 위한 방법을 제안한다. 혼합현실은 가상현실과 증강현실의 혼합되어진 형태로서 실세계와 가상세계의 물체가 동시에 보이고, 가상현실과 달리 멀미 현상이 일어나지 않고 무선 방식이라 산업현장에서 적용될 기술로 주목 받고 있다. 마이오 웨어러블 디바이스는 삼축 센서, 근전도 센서, 가속도 센서를 이용하여 팔의 회전 트래킹과 손 제스처 인식을 가능하게 하는 디바이스이다. 혼합현실 관련 다양한 연구가 진행되고 있지만 여러 사람이 함께 혼합 현실 참여할 수있는 환경 구축, 가상 객체를 직접 손으로 조작하는 것에 대한 논의는 미비한 상황이다. 본 논문에서는 실제 산업 현장에서 혼합 현실을 적용하기 위해 공동 작업이 가능한 환경 구축 방법에 대해 연구하였고, 상호작용이 원활하게 이루어지기 위한 인터랙션 방법에 대해 논의하였다. 그 결과2인이 동시에 혼합현실 환경에 참여하여 객체에 대한 일원화된 객체를 공유할 수 있었고, 마이오웨어러블 인터페이스 장비를 가지고 각자 인터랙션 할 수 있는 환경을 조성하였다.
Abstract
In this paper, We propose a study on the construction of an environment for collaboration in mixed reality and a method for working with wearable IoT devices. Mixed reality is a mixed form of virtual reality and augmented reality. We can view objects in the real and virtual world at the same time. And unlike VR, MR HMD does not occur the motion sickness. It is using a wireless and attracting attention as a technology to be applied in industrial fields. Myo wearable device is a device that enables arm rotation tracking and hand gesture recognition by using a triaxial sensor, an EMG sensor, and an acceleration sensor. Although various studies related to MR are being progressed, discussions on developing an environment in which multiple people can participate in mixed reality and manipulating virtual objects with their own hands are insufficient. In this paper, We propose a method of constructing an environment where collaboration is possible and an interaction method for smooth interaction in order to apply mixed reality in real industrial fields. As a result, two people could participate in the mixed reality environment at the same time to share a unified object for the object, and created an environment where each person could interact with the Myo wearable interface equipment.
참고문헌 (12)
- Maximilian Spicher, "What is Mixed Reality?", CHI Conference, 537(537), pp.1~15 (2019)
- Chunfern Xu, "Multi-person Collaborative Interaction Algorithm and Application Based on Hololens", AISC, 1006, pp.303~315 (2019)
- Rafael Radkowski, "Hololens Integration into a Multi-Kinnect Tracking Environment", IEEE, pp.2019~ (2019)
- P. Hübner, "MARKER-BASED LOCALIZATION OF THE MICROSOFT HOLOLENS IN BUILDING MODELS", The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII-1, pp.195~202 (2018), Copernicus GmbH[DOI]
- M. Ostanin, "Interactive Robots Control Using Mixed Reality", IFAC-PapersOnLine, 52(13), pp.695~700 (2019), Elsevier BV[DOI]
- Muun Wu, "Omnidirectinal Mobile Robot Control based on Mixed Reality and sEMG Signals", IEEE Xplore, 2018, pp.8623114~ (2019)[DOI]
- Mulun Wu, "Mixed Reality Enhanced User Interactive Path Planning for Omnidirectional Mobile Robot", Applied Sciences, 10(3), pp.1135~ (2020), MDPI AG[DOI]
- Tobias Mulling, "Characteristics of Hand Gesture Navigation : a case study using a wearable device(MYO)", British HCI’15:Proceedings of the 2015 British HCI Conference, pp.283~284 (2015)
- Lee Stearns, "Augmented Reality Magnification for Low Vision Users with the Microsoft Hololens and a Finger-Worn Camera", ACM SGACCESS Conference, pp.361~362 (2017)
- Will Guest, "Affordances for Capturing and Re-enacting Expert Performance with Wearables", Springer LNCS, 10474, pp.403~409 (2017)
- Kdhong, "An Efficient Dynamic Workload Balancing Strategy", Journal of The Korea Society of Computer and Information, 15(1), pp.1~10 (2010)
- Kei Sato, "Pedestrian Navigation System for Visually Impaired People Using HoloLens and RFID", IEEE Xplore (2017)[DOI]