의도적인 공감각 기반 영상-음악 변환 시스템 구현
Implementation of the System Converting Image into Music Signals based on Intentional Synesthesia
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 논문은 사전에 학습된 기억으로 공감각 현상을 지각할 수 있는 의도적인 공감각으로 영상에서 음악으로 변환하는 시스템을 구현하였다. 영상에서 변환정보로 색상(Color), 질감(Texture), 모양(Shape)을 사용하여 음악의 멜로디(Melody), 하모니(Harmony), 리듬(Rhythm) 정보로 변환하였다. 정적인 영상에서 단조로운 음이 반복되는 것을 최소화하고 영상에 있는 정보를 표현하기 위해 색상의 분포도에 따라 확률적으로 멜로디를 선택하여 출력함으로써 자연스럽게 음을 구성할 수 있도록 하였고, 영상에서 질감은 통계적 질감 특징 추출방식인 GLCM(Gray-Level Co-occurrence Matrix)의 7가지 특징으로 하모니의장조와 단조를 표현하였다. 마지막으로 모양은 영상의 외곽선을 추출한 후 주파수 성분 분석인 허프 변환(HoughTransform)을 이용해 선 성분을 검출하여 각도의 분포에 따라 리듬을 선택하는 방식으로 음악을 생성하였다.
Abstract
This paper is the implementation of the conversion system from image to music based on intentional synesthesia. Theinput image based on color, texture, and shape was converted into melodies, harmonies and rhythms of music,respectively. Depending on the histogram of colors, the melody can be selected and obtained probabilistically to form themelody. The texture in the image expressed harmony and minor key with 7 characteristics of GLCM, a statistical texturefeature extraction method. Finally, the shape of the image was extracted from the edge image, and using HoughTransform, a frequency component analysis, the line components were detected to produce music by selecting the rhythmaccording to the distribution of angles.
참고문헌 (9)
- J. Ward, "Synesthesia", Annual Review of Psychology, 64(1), pp.49~75 (2013)[DOI]
- Suslick, S Kenneth, "Synesthesia in science and technology: more than making the unseen visible", Current opinion in chemical biology, 16(5), pp.557~563 (2012)[DOI]
- Smilek, D., "Synaesthesia: discordant male monozygotic twins", Neurocase, 11(5), pp.363~370 (2005)[DOI]
- Smilek, D., "Synaesthesia: a case study of discordant monozygotic twins", Neurocase, 8(4), pp.338~342 (2002)[DOI]
- 김성일, "HSI 히스토그램에 기초한 이미지-사운드 변환", 한국음향학회지, 30(3), pp.142~148 (2011), 한국음향학회
- 배명진, "의도적인 공감각 기반 인간의 움직임 시·청각화 시스템의구현", 한국지능시스템학회 논문지, 28(1), pp.83~90 (2018), 한국지능시스템학회
- D. Bor, "Adults Can Be Trained to Acquire Synesthetic Experiences", Scientific Reports, 4(7089) (2014)[DOI]
- Witthoft, Nathan, "Learning, memory, and synesthesia", Psychological science, 24(3), pp.258~265 (2013)[DOI]
- 배명진, "공감각인지 기반 근감각신호에서 색·음으로의 변환 시스템", 한국지능시스템학회 논문지, 24(5), pp.462~469 (2014), 한국지능시스템학회