비전 기반 피아노 자동 채보 시스템
Vision-Based Piano Music Transcription System
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
현재 상용화된 악보 채보 프로그램은 오디오 정보를 기반으로 채보를 진행한다. 이러한 기존 채보 프로그램은 환경 의존성, 장비 의존성, 시간 지연이라는 단점을 지니고 있다. 본 논문은 기존의 오디오를 이용하여 채보를 방식을 지양하고, 연주영상을 분석하여 채보를 진행하는 컴퓨터 비전 기반 악보 채보 시스템을 제안한다. 제안하는 악보 채보 시스템은 대중화된스마트폰 카메라를 활용하여 피아노 연주를 촬영하고, 이를 분석하여 자동으로 전자 악보인 미디파일을 생성하는 방식으로동작한다. 컴퓨터 실험에서 제안하는 악보 채보 시스템은 95.6%의 정확도로 연주된 음계를 채보하는 것으로 조사되었다.
Abstract
Most of music-transcription systems that have been commercialized operate based on audio information. However,these conventional systems have disadvantages of environmental dependency, equipment dependency, and time latency. This paper studied a vision-based music-transcription system that utilizes video information rather than audioinformation, which is a traditional method of music-transcription programs. Computer vision technology is widely usedas a field for analyzing and applying information from equipment such as cameras. In this paper, we created a programto generate MIDI file which is electronic music notes by using smart-phone cameras to record the play of piano.
참고문헌 (8)
- Broersen, "Developing a Virtual Piano Playing Environment", IEEE International conference (2002)
- Q Yang, "Augmented Paino performance using a Depth Camera", NIME (2012)
- Aristotelis Handjakos, "Pianist Motion Capture with the Kinect Depth Camera", ~ (2012)
- A. Oka, "Marker-Less Piano Fingering Recognition suing Sequential Depth Images", The 19th Korea-Japan Joint Workshop on Frontiers of Computer Vision, pp.1~4 (2013)
- R. Bhuvaneswari, "Novel object detection and recognition system based on points of interest selection and SVM classification", Cognitive Systems Research, 52, pp.985~994 (2018), Elsevier BV[DOI]
- G. Mano, "Real-Time Hand Detection and Tracking against Complex Background", Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, pp.905~908 (2009)
- Hemlata Chavan, "A Review on Hand Gesture Detection Using Combine HSI, YCbCr and Morphological Method Recognition", International Research Journal of Engineering and Technology, 03(05) (2016)
- "C++ library for parsing Standard MIDI Files"[URL]