이미지 캡션 및 재귀호출을 통한 스토리 생성 방법
Automated Story Generation with Image Captions and Recursiva Calls
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
기술의 발전은 제작 기법, 편집 기술 등 미디어 산업 전반에 걸쳐 디지털 혁신을 이루어 왔고, OTT 서비스와 스트리밍 시대를 관통하며 소비자 관람 형태의 다양성을 가져왔다. 빅데이터와 딥러닝 네트워크의 융합으로 뉴스 기사, 소설, 대본 등 형식을 갖춘 글을 자동으로 생성하였으나 작가의 의도를 반영하고 문맥적으로 매끄러운 스토리를 생성한 연구는 부족하였다. 본 논문에서는 이미지 캡션 생성 기술로 스토리보드 속 사진의 흐름을 파악하고, 언어모델을 통해 이야기 흐름이 자연스러운 스토리를 자동 생성하는 것을 기술한다. 합성곱 신경망(CNN)과 주의 집중기법(Attention)을 활용한 이미지 캡션 생성 기술을 통해 스토리보드의 사진을 묘사하는 문장을 생성하고, 첫 번째 이미지 캡션을 KoGPT-2에 입력하여 생성된 새로운 글과 두 번째 이미지의 캡션을 다음 입력값으로 활용한 재귀적 접근 방안을 제안하여 전후 문맥이 자연스럽고 기획 의도에 맞는 스토리를 생성하는 연구를 진행한다. 본 논문으로 인공지능을 통해 작가의 의도를 반영한 스토리를 자동으로 대량 생성하여 콘텐츠 창작의 고통을 경감시키고, 인공지능이 디지털 콘텐츠 제작의 전반적인 과정에 참여하여 미디어 지능화를 활성화한다.
Abstract
The development of technology has achieved digital innovation throughout the media industry, including production techniques and editing technologies, and has brought diversity in the form of consumer viewing through the OTT service and streaming era. The convergence of big data and deep learning networks automatically generated text in format such as news articles, novels, and scripts, but there were insufficient studies that reflected the author's intention and generated story with contextually smooth. In this paper, we describe the flow of pictures in the storyboard with image caption generation techniques, and the automatic generation of story-tailored scenarios through language models. Image caption using CNN and Attention Mechanism, we generate sentences describing pictures on the storyboard, and input the generated sentences into the artificial intelligence natural language processing model KoGPT-2 in order to automatically generate scenarios that meet the planning intention. Through this paper, the author's intention and story customized scenarios are created in large quantities to alleviate the pain of content creation, and artificial intelligence participates in the overall process of digital content production to activate media intelligence.
참고문헌 (14)
- 김동언, "국내 생물다양성 위협 외래생물의 관리제도 및 개선방향", 환경영향평가, 27(1), pp.33~55 (2018), 한국환경영향평가학회[DOI]
- 1st Management Plan of Alien Species (2014-2018), "Ministry of Environment.", ~ (2014)
- 김다빈, "생태계교란 생물 관리 현황 및 개선방안 연구", 환경정책, 29(4), pp.59~81 (2021), 한국환경정책학회[DOI]
- Ikeda T, "Present status of invasive alien raccoon and its impact in Japan", Global environmental research, 8(2), pp.125~131 (2004)
- Ecological studies of alien species (VI), "National Institute of Ecology", Seocheon National Institute of Ecology, ~
- 김지혜, "영상 처리와 CNN을 이용한 애완동물 영상 세부 분류 비교", 방송공학회 논문지, 26(2), pp.175~183 (2021), 한국방송∙미디어공학회[DOI]
- Barret Zoph, "Learning Transferable Architectures for Scalable Image Recognition", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.8697~8710 (2018)
- Kaiming He, "Deep Residual Learning for Image Recognition", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.770~778 (2016)
- Christian Szegedy, "Rethinking the Inception Architecture for Computer Vision", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.2818~2826 (2016)
- Christian Szegedy, "Inception-v4, inception-resnet and the impact of residual connections on learning", Thirty-first AAAI conference on artificial intelligence (2017)
- Simonyan, Karen, "Very deep convolutional networks for large-scale image recognition", ~ (2014)
- Kaiming He, "Rethinking ImageNet Pre-training", ~ (2018)
- Shorten, C., "A survey on Image Data Augmentation for Deep Learning", J Big Data, 6, pp.60~ (2019)[DOI]
- J. Deng, "ImageNet: A large-scale hierarchical image database", 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp.248~255 (2009)