실감형 360도 미디어의 RGB 벡터 및 객체 특징정보를이용한 대표 프레임 선정 방법
A Reference Frame Selection Method Using RGB Vector and Object Feature Information of Immersive 360˚ Media
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
실감형 360도 미디어는 기존 영상보다 고품질, 초대용량으로 영상의 크기가 크며, 다양한 렌더링 방식을 사용하여 기존방식으로 이미지 처리할 경우 영상인식 속도가 느려지는 문제가 있다. 또한, 실감형 360도 미디어의 특성상 특정 장소에서 카메라를 고정시켜 한 장면만 촬영하는 경우가 대부분이기 때문에, 모든 영상에서 특징정보를 추출할 필요가 없다. 본 논문에서는 실감형 360 미디어의 프레임 추출과정, 프레임 다운사이징, 구형 형태의 렌더링 과정을 거치고, 렌더링 과정에서 영상을16개 프레임으로 분할 캡처하여 캡처된 프레임에서 객체 정보가 많은 중앙 부분에서 픽셀당 RGB 벡터와 딥 러닝을 이용하여 객체를 추출한 뒤, 객체 특징정보를 이용하여 대표 프레임을 선정하는 방법을 제안한다.
Abstract
Immersive 360-degree media has a problem of slowing down the video recognition speed when the video is processedby the conventional method using a variety of rendering methods, and the video size becomes larger with higher qualityand extra-large volume than the existing video. In addition, in most cases, only one scene is captured by fixing thecamera in a specific place due to the characteristics of the immersive 360-degree media, it is not necessary to extractfeature information from all scenes. In this paper, we propose a reference frame selection method for immersive360-degree media and describe its application process to copyright protection technology. In the proposed method, threepre-processing processes such as frame extraction of immersive 360 media, frame downsizing, and spherical formrendering are performed. In the rendering process, the video is divided into 16 frames and captured. In the central partwhere there is much object information, an object is extracted using an RGB vector per pixel and deep learning, and areference frame is selected using object feature information.
참고문헌 (11)
- Changes in realistic media content distribution environment and production technology in the 5G era, "J. S. Lee", NIPA, ~, pp.NIPA Issue Report, Vol.22 (2019)
- S. W. Son, "5G era, single media copyright issues and trends", VideoPlus, ~ (2019)
- M. G. Kim, "Korean 5G-based VRㆍAR development urgentThere is no law", policy, 2019
- Y. Kim, "Feature-based filtering technology performance evaluation trend", Korean Institute of Information Technology, 11(2), pp.1~7 (2013)
- Y. S. Ho, "VR", AR content creation using 360-degree video, 2018, pp.45(8), 33~40
- 문성철, "가상현실 미디어 기술동향과 VR 멀미저감 방안", 방송공학회 논문지, 23(6), pp.800~812 (2018), 한국방송∙미디어공학회[DOI]
- G. S. Lee, "Standardization Trend of 3DoF+ Video for Immersive Media", Electronics and Telecommunications Trends, 34(6), pp.156~163 (2019)[DOI]
- 김영모, "실감형 360도 영상 특징점 기술 강인성 지표에 관한 연구", 전기전자학회논문지, 24(3), pp.743~753 (2020), 한국전기전자학회[DOI]
- S. Ren, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), pp.1137~1149 (2017)
- D. Belur V, "Nearest neighbor (NN) norms:NN pattern classification technique" (1991), EEE Computer Society Press
- 이재문, "효율적인 kNN 알고리즘", 정보처리학회 논문지, 11(7), pp.849~854 (2004), 한국정보처리학회