본문 바로가기
KERD
논문KCI 등재

인공지능 기반 스타일 전이 엔진을 활용한 360VR 영상콘텐츠 제작연구

A Study on Production of 360VR Video Contents Using the AI(Artificial Intelligence)-Based Style Transfer Engine

0

조회

0

다운로드

7

인용

0

참고문헌

키워드

초록

(연구배경 및 목적) 본 연구는‘인공지능’과‘VR’의 특성을 고려하여 거장 아티스트의 예술적인 관점으로 공간을 재해석하는 독특한 시각적 경험을 제공하는 콘텐츠를 제작하고자 한다. 이를 통해 인공지능 기반 스타일전이 엔진을 활용한 360VR 영상콘텐츠 제작과정에서 고려해야 할 사항들과 한계점을 확인하여 스타일전이 엔진결과물의 활용가능성 및 발전방향성을 제안하고자 하는 목적을 가지고 있다. (연구방법) 이에 본 연구에서는 360VR 영상 및 인공지능 기반 스타일전이 엔진의 이론적 고찰을 통해 콘텐츠 제작단계를 수립하였다. 360VR 콘텐츠 제작에 적용 가능하도록 개발된 인공지능 기반 고해상도 스타일전이 엔진을 활용한 360VR 영상콘텐츠의 제작 과정은 콘텐츠 기획, 리소스 제작, 영상 편집으로 3단계의 순서로 분류하여 서술하였다. 스타일전이 엔진결과물을 활용한 360VR 영상콘텐츠의 제작 단계 별로 고려해야 할 사항들은 360VR 영상콘텐츠와 인공지능 스타일전이 엔진의 특성을 바탕으로 분석하였다. (결과) 제작과정 시 고려할 사항들을 분석한 결과 360영상이 VR에서 보이는 화면이 컴퓨터에서 보이는 360영상 화면보다 더 가깝게 느껴지는 점, 초고해상도를 중요시 한다는 점과 인공지능 스타일전이 엔진의 특성에서 2D이미지의 전이, 입력스타일에 따른 결과물의 다양성으로 정리되었다. 먼저 콘텐츠 기획단계에서는 360VR영상의 장면 감상 및 전환 시 충분한 시간을 주고, 리소스제작 단계에서는 엔진결과물의 양쪽 끝이 입력 스타일이미지에 따라 연결되지 않고 선이 생기는 부분과 위아래로 이미지가 모아지는 부분을 중점적으로 엔진결과물의 리소스를 편집해야하며 결과물이 체험자에게 보다 가깝게 느낀다는 점을 고려해야한다. (결론) 본 논문은 인공지능 기반 고해상도 스타일전이 엔진을 활용한 360VR 영상콘텐츠의 제작 과정을 상세하게 기술함으로써 유사한 콘텐츠제작 작업을 하는 초보연구자들에게 가이드 역할을 할 수 있다. 또한, 제작자가 엔진결과물의 연결부분을 일일이 직접 수정 작업해주어야 하거나, 엔진테스트를 위해 임의로 선정된 스타일들을 이용하여 엔진 특성을 분석하는 등의 한계점을 확인하여 관련분야의 연구자들 뿐 아니라 스타일전이 엔진 개발자 및 스타일전이 결과물을 활용한 예술작품 제작자에게 새로운 매체를 접목한 스타일전이 엔진의 활용가능성 및 발전방향성 제안을 통해 본 연구의 가치를 배가시킨다.

Abstract

(Background and Purpose) This study was intended to create the contents providing unique visual experiences, which reinterpreted the space from the master artists' viewpoint by considering the characteristics of 'artificial intelligence' and 'VR'. Through that, the purpose of this study was to identify the considerations and limitations in the process of creation of 360VR video contents using the AI-based style transfer engines so as to suggest the applicability of the result of the style transfer engines and the course of development. (Method) In this study, content production stage was planned based on theoretical consideration of 360VR image and AI-based style transfer engines. The production process of 360VR video contents, using the AI-based high resolution style transfer engine developed in a way applicable to 360VR contents production, was classified into 3 stages, i.e., content planning, resource production, and video editing, and described, respectively. The considerations for each stage of 360VR video content production, which used the style transfer engine results, were analyzed based on the characteristics of 360VR video contents and AI style transfer engine. (Results) The results of analyses of the considerations during the production process showed that the 360-degree image on the VR was felt closer to the 360-degree viewed on the computer screen, and placed greater emphasis on ultra-high resolution, and furthermore, various results were rendered according to the transference and input style of 2D images in connection with the characteristics of the AI style transfer engine. At the content planning stage, sufficient time should be given for the appreciation and conversion of the 360VR video scenes. In the resource production stage, the resource of engine results should be edited with a focus on the portion where images are converged up and down and the portion where the line is created on both ends of engine results without being connected according to the input style, and it should be considered that the results are felt closer on the part of the experiencing person. (Conclusions) This study presents a detailed description of the production process of 360VR video contents using AI-based high resolution style transfer engine, thus providing guidance to the beginners working on similar contents. In addition, it identifies the limitations involved in the analyses of engine characteristics based on the styles selected arbitrarily for engine tests or direct correction of connections in the engine results as pinpointed by the producer, presenting the style transfers engine developers and art work producers, who utilize the style transfer results, with the usability of the engines applying new media and the course of development, as well as the researchers in related fields, thus increasing the value of this study.

참고문헌 (15)

  1. alpagoui chung-gyeog : ingongjineung-ui ganeungseong-gwa hangye, "Choi, Gyeyoung", KISDI, ~ (2016)
  2. Hong, Soonki, "360VR terminal and service trends", Broadcast and Media, 23(4), pp.19~30 (2018)
  3. 김동조, "실사 기반 VR 360 영상의 연출 특성에 따른 사례분석 연구", 차세대컨버전스정보서비스기술논문지, 8(2), pp.223~234 (2019), 차세대컨버전스정보서비스학회[DOI]
  4. Kim, Myungjoon,, "Artificial intelligence art, Latest Trends and Implications" (2018), Monthly software oriented society
  5. Kocca, "2016 Broadcasting Industry White Paper" (2017), Korea Creative Content Agency
  6. Lee, Sangyeob,, "XR(Cross Reality)ui gisul gaeyowa donghyang", Weekly ICT Trends, (1877) (2018)
  7. choegeun ingongjineung gaebal teulendeuwa milaeui jinhwa banghyang, "Lee, Seunghoon", LG Economic Research Institute, ~ (2017)
  8. 이유나, "VR 360 영상 콘텐츠에서의 서사적 사건 및 배경의 배치", 디지털콘텐츠학회논문지, 19(9), pp.1631~1639 (2018), 한국디지털콘텐츠학회[DOI]
  9. Leon, A, Gatys, "Image Style Transfer Using Convolutional Neural Networks", 2016 IEEE Conference on Computer Vision and Pattern Recognition, pp.2414~2423 (2016)
  10. Lu, Sheng, "Avatar-Net : Multi-scale Zero-shot Style Transfer by Feature Decoration", 2018 IEEE Conference on Computer Vision and Pattern Recognition, pp.8242~8250 (2018)
  11. Moon, Seongeun, "Machine Learning and Deep Learning Technology Trend", Information and Communications Magazine, pp.49~56 (2016)
  12. 남승진, "360VR 영상 제작기술 동향", 방송과 미디어, 23(4), pp.10~18 (2018)
  13. Xun, Huang, "Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization", 2017 IEEE Conference on Computer Vision and Pattern Recognition, pp.1501~1510 (2017)
  14. Yijun, Li, "Universal Style Transfer via Feature Transforms", 2017 IEEE Conference on Computer Vision and Pattern Recognition, pp.1~11 (2017)
  15. Yoon, Dongsik, "Multi-Style Transfer Using Convolutional Neural Networks and GrabCut", Proceedings of Symposium of the Korean Institute of communications and Information Sciences, pp.962~963 (2019)

관련 논문AI추천

이 간행물의 다른 논문 (16건)