동적 프로젝션 맵핑과 제스처 인식 기반의 실감 미디어 시스템 설계 및 구현
Design and Implementation of Immersive Media System Based on Dynamic Projection Mapping and Gesture Recognition
1
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
최근 실감 미디어 콘텐츠에서 높은 관심을 모으고 있는 프로젝션 맵핑은 사용자의 몰입감을 높이는 기술로 손꼽히고 있다. 최근 관객의 참여를 유도하기 위하여 제스처 인식 기술과 결합된 프로젝션 맵핑 콘텐츠들이 선보이고 있다. 그러나 대부분의 기존 방법들은 정적인 물체를 대상으로 프로젝션 맵핑을 수행하고 있다. 이에 본 논문에서는 사용자의 움직임을 추적하여 사용자의 신체상에 미디어 콘텐츠를 동적으로 프로젝션 맵핑시키는 기술을 개발하였다. 프로젝션 되는 미디어 콘텐츠는 미리 정의된 사용자의 제스처를 인식하여 사용자가 맨손으로 제작할 수 있도록 하였다. 이러한 동적 프로젝션 맵핑 기술과 제스처 기반 드로잉 기술을 통합하여 인터랙티브한 실감미디어 시스템을 구현하였다. 제안된 실감 미디어 시스템에서는 사용자의 양손의 움직임과 개폐 상태를 인식하여 그림을 그리는데 필요한 기능을 선택하고, 임의의 물체 색상을 붓의 색으로 설정하는 등의 기능을 통해 자유롭게 그림을 그릴 수 있게 해준다. 또한 사용자가 그린 그림을 사용자의 몸에 동적으로 투사해 사용자가 실시간으로 자신의 티셔츠를 디자인하고 이를 착용해 보는 효과를 가질 수 있도록 하였다.
Abstract
In recent, projection mapping, which has attracted high attention in the field of realistic media, is regarded as a technology to increase the users’ immersion. However, most existing methods perform projection mapping on static objects. In this paper, we developed a technology to track the movements of users and dynamically map the media contents to the users' bodies. The projected media content is built by predefined gestures just using the user’s bare hands without the special devices. An interactive immersive media system has been implemented by integrating these dynamic projection mapping technologies and gesture-based drawing technologies. The proposed realistic media system recognizes the movements and open / closed states of the user 's hands, selects the functions necessary to draw a picture. The users can freely draw the picture by changing the color of the brush using the colors of any real objects. In addition, the user’s drawing is dynamically projected on the user’s body, allowing the user to design and wear his t-shirt in real-time.
참고문헌 (26)
- Yo-sung Ho, "Multi-view Content Creation and Reproduction Technology for 3D Realistic Broadcasting Service", Broadcasting and Media Magazine, 16(3), pp.51~67 (2011)
- Hee-Jun Ahn, "Image Matching Technology for Panorama Realistic Image Production", The Journal of the Korean Institute of Communication Sciences, 35(9), pp.12~18 (2018)
- 이현철, "실감미디어 기반의 다감각 가상 체감시스템 개발에 관한 연구", 멀티미디어학회논문지, 20(9), pp.1574~1583 (2017), 한국멀티미디어학회[DOI]
- "Realistic Media Type"[URL]
- "Room-Alive"[URL]
- Su-ran Park, "Projection-based Virtual Experience System Using Punching Gestures", pp.847~849 (2017), The HCI Society of Korea
- Jun-ho Choi, "Chameleon : Participant Display System Using Space Augmented Reality", pp.67~69 (2014), The HCI Society of Korea
- "Kinect Driven Projection Mapping"[URL]
- "Interactive Projection Mapping"[URL]
- Ronald T. Azuma, "A Survey of augmented Reality", Presence: Teleoperators and Virtual Environments, 6(4), pp.355~385 (1997)
- R. Raskar, "Rendering Techniques (Eurographics Series)", pp.89~102 (2001), Springer
- "Box"[URL]
- Sang-Joon Kim, "Design and Implementation of Authoring Tool for Dynamic Projection Mapping Content", Bachelor, New Media Studies Department, pp.2019
- "Kint v1 vs. Kint v2 Thoroughly Comparable"[URL]
- "Kienct Learning Record"[URL]
- "Understanding the Kint V2 Joint and Coordinate System"[URL]
- "Understanding Kint v2 Coordinate Mapping"[URL]
- Jae-young Lee, "Camera Calibration and Distortion Calibration", Korea Robotics Society Review, 10(1), pp.23~29 (2013)
- "Camera Calibration"[URL]
- 정의태, "3D 비전 검사 시스템을 위한 간소화된 3D 카메라 캘리브레이션 알고리듬", 한국정보기술학회논문지, 16(7), pp.43~50 (2018), 한국정보기술학회[DOI]
- "Camera Parameters"[URL]
- Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactionson Pattern Analysis and Machine Intelligence, 22(11), pp.1330~1334 (2000)
- "Wekipedia Camera Resectioning"[URL]
- "Understanding Augmented Reality 1"[URL]
- "Projector Calibration"[URL]
- "OpenFrameworks Introduction"[URL]