키넥트를 이용한 가상 바이올린 구현
Implementation of Virtual Violin with a Kinect
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 논문에서는 키넥트의 3차원 영상정보를 이용하여 종이 바이올린 지판과 손가락 끝점을 검출하고 활 움직임을 판정한 뒤, 이 정보를 이용하여 가상 바이올린을 구현하는 방법을 제안한다. 키넥트의 컬러영상과 깊이영상을 이용하여 먼저 바이올린 지판을 식별하고 손가락 끝점을 검출한 뒤 지판 정보와 사용자의 지판 누름 여부를 판정하기 위한 지판의 깊이 정보를 검출한다. 운지와 활 움직임 정보에서 음이름을 판정하여 PC MIDI 인터페이스를 통해 가상 바이올린 연주시스템을 구현하였다. 본 논문에서 제안하는 방법을 이용하여 가상 바이올린 성능평가를 수행한 결과 높은 검출 정확도를 보였다. 구현된 가상 바이올린 기능을 활용하여 바이올린 연주 입력장치를 구현함으로써 PC기반 바이올린 연주시스템 구현의 편리성을 보였으며 악기 초보자가 PC 기반 바이올린 연주 학습에 사용자 인터페이스로 활용할 수 있는 가능성을 확인하였다.
Abstract
In this paper, we propose a virtual violin implementation using the detection of bowing and finger dropping position from the estimated finger tip and finger board information with the 3D image data from a Kinect. Violin finger board pattern and depth information are extracted from the color image and depth image to detect the touch event on the violin finger board and to identify the touched position. Final decision of activated musical alphabet is carried out with the finger drop position and bowing information. Our virtual violin uses PC MIDI to output synthesized violin sound. The experimental results showed that the proposed method can detect finger drop position and bowing detection with high accuracy. Virtual violin can be utilized for the easy and convenient interface for a beginner to learn playing violin with the PC-based learning software.
참고문헌 (16)
- K. M. Cho, "Adaptive Skin-Color Filter", Pattern Recognition, 34(5), pp.1067~1073 (2001)
- J. M. Jeong, "Development of the Hand Recognition System for the Mouse Control", Proceeding of Winter Conference of KSCI, 19(1), pp.173~174 (2011)
- 장석우, "깊이 정보를 활용한 사람의 피부영역 검출", 한국컴퓨터정보학회논문지, 17(6), pp.29~36 (2012), 한국컴퓨터정보학회[DOI]
- 조선영, "키넥트 센서 데이터를 이용한 손 제스처 인식", 방송공학회 논문지, 17(3), pp.447~458 (2012), 한국방송∙미디어공학회[DOI]
- 이정철, "키넥트를 이용한 종이건반 피아노 구현 연구", 한국컴퓨터정보학회논문지, 17(12), pp.219~228 (2012), 한국컴퓨터정보학회
- D. Catuhe, "Programming with the Kinect for Windows Software Development Kit" (2012), Microsoft Press
- J. Webb, "Beginning Kinect Programming with the Microsoft Kinect SDK" (2012), Apress
- J. Hall, "Meet the Kinect: An Introduction to Programming Natural User Interfaces" (2011), Apress
- G. Bradski, "Learning Opencv: Computer Vision with the Opencv Library" (2008), O’REILLY
- R. C. Gonzalez, "2Digital Image Processing" (2009), Pearson
- P. Messick, "Maximum MIDI: Music Applications in C++" (1998), Manning Publications