카메라 구도와 초점 기반의 요약본 영상 콘텐츠 제작
Reproducing Summarized Video Contents based on Camera Framing and Focus
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 장편의 드라마나 영화에서 스토리 기반의 축약된 요약본을 자동으로 제작하기 위한방법을 제안한다. 촬영 단계에서 황금분할을 고려한 공간감 있는 프레임 구성과 내용 전달 차원에서시청자들의 시선을 집중시키기 위한 관심 대상에 대한 초점을 기본 전제로 했다. 이에 적정한 프레임들을 추출하기 위한 방법을 고려하기 위해서 기존의 씬(scene) 및 숏(shot) 검출에 대한 연구, 초점과관련된 블러 정도를 파악하는 연구들에서 활용되었던 요소 기술들을 활용했다. 유튜브에서 공유되는영상을 프레임 단위로 변환한 후 프레임별로 특징을 추출하기 위한 영역으로 프레임 전체 영역과 3개의 부분 영역으로 구분했고, 해당 영역별로 각각 라플라시안 연산자와 FFT를 적용한 결과들을 비교하여 상대적으로 일관성 있고 강건한 FFT를 선택했다. 프레임 전체에 대한 계산값과 3개 영역의 계산값들을 비교하여 상대적으로 선명한 영역을 확인할 수 있는 조건을 기반으로 대상 프레임을 선별했다. 이렇게 선별된 결과를 토대로 숏 내에서 프레임들의 연속성을 확보하기 위해 오프라인 변화점 탐지기법을 적용한 결과와 접목시켜 최종 프레임들을 추출했고, 이를 기반으로 편집결정리스트를 구성하였으며, F1-스코어 75.9%를 갖는 62.77%로 축약된 요약본을 제작했다.
Abstract
In this paper, we propose a method for automatically generating story-based abbreviated summaries from long-form dramas and movies. From the shooting stage, the basic premise was to compose a frame with illusion of depth considering the golden division as well as focus on the object of interest to focus the viewer's attention in terms of content delivery. To consider how to extract the appropriate frames for this purpose, we utilized elemental techniques that have been utilized in previous work on scene and shot detection, as well as work on identifying focus-related blur. After converting the videos shared on YouTube to frame-by-frame, we divided them into a entire frame and three partial regions for feature extraction, and calculated the results of applying Laplacian operator and FFT to each region to choose the FFT with relative consistency and robustness. By comparing the calculated values for the entire frame with the calculated values for the three regions, the target frames were selected based on the condition that relatively sharp regions could be identified. Based on the selected results, the final frames were extracted by combining the results of an offline change point detection method to ensure the continuity of the frames within the shot, and an edit decision list was constructed to produce an abbreviated summary of 62.77% of the footage with F1-Score of 75.9%
참고문헌 (16)
- E. J. Choi, "Theory of Film Making" (2020), Communication Books
- Roy Thompson, "Grammar of the Shot", pp.26~27 (2021), Focal Press
- Hervert Zettl, "Television Production Handbook", pp.401~408 (2004), Thomson
- Hwon, Hyuk Min, "A Study on the Ratio of Video Screen Using Modulor", Korea Design Forum, 15, pp.41~48 (2007)
- V.T. Chasanis, "Scene Detection in Videos Using Shot Clustering and Sequence Alignment", IEEE Transactions on Multimedia, 11(1), pp.89~100 (2009), Institute of Electrical and Electronics Engineers (IEEE)[DOI]
- 신동욱, "시각적 특징을 기반한 샷 클러스터링을 통한 비디오 씬 탐지 기법", 지능정보연구, 18(2), pp.47~60 (2012), 한국지능정보시스템학회[DOI]
- K. Sakurada, "Weakly Supervised Silhouette-based Semantic Scene Change Detection", 2020 IEEE ICRA, pp.6861~6867 (2020)
- Sadiq Abdulhussain, "Methods and Challenges in Shot Boundary Detection: A Review", Entropy(Basel), 20(4), pp.214~ (2018), MDPI AG[DOI]
- Said Pertuz, "Analysis of focus measure operators for shape-from-focus", Pattern Recognition, 46(5), pp.1415~1432 (2013), Elsevier BV[DOI]
- Rupali Yashwant Landge, "Blur Detection Methods for Digital Images-A Survey", International Journal of Computer Applications Technology and Research, 2(4), pp.495~498 (2013), Association of Technology and Science[DOI]
- Renting Liu, "Image partial blur detection and classification", 2008 IEEE Conference on Computer Vision and Pattern Recognition, pp.1~8 (2008)
- P. A. Pagaduan, "iBlurDetect: Image Blur Detection Techniques Assessment and Evaluation Study", Proceedings of the International Conference on CESIT, pp.286~291 (2020)
- S. Alireza Golestaneh, "Spatially-Varying Blur Detection Based on Multiscale Fused and Sorted Transform Coefficients of Gradient Magnitudes", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp.5800~5809 (2017)
- 백영태, "얼굴 검출을 이용한 숏 유형 감지 시스템", 한국컴퓨터정보학회논문지, 17(9), pp.49~56 (2012), 한국컴퓨터정보학회
- Charles Truong, "Selective review of offline change point detection methods", Signal Processing, 167, pp.107299~ (2020), Elsevier BV[DOI]