CartoonGAN 알고리즘을 이용한 웹툰(Webtoon) 배경 이미지 생성에 관한 연구
A Study on Webtoon Background Image Generation Using CartoonGAN Algorithm
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
현재 한국의 웹툰은 세계 디지털 만화 시장을 선도하고 있다. 웹툰은 세계 각국 다양한 언어로 서비스되고 있으며 웹툰의 IP(지식재산권)를 이용해 제작된 드라마와 영화가 크게 흥행하면서 웹툰의 영상화 작업도 점점 많아지고 있다. 그러나 이러한 웹툰의 성공과 함께 웹툰 작가의 노동 환경이 중요한 문제로 떠오르고있다. 「2021년 만화 이용자 실태조사」에 따르면, 웹툰 작가의 하루 평균 작업시간은 10.5시간이며 일주일평균 5.9일을 창작활동에 사용한다. 작가들은 매주 많은 분량의 그림을 그려야 하는데, 웹툰 간의 경쟁은더욱 치열해지고 있으며 회 당 작가가 그려야 할 분량은 점점 늘어가고 있다. 따라서, 이 연구에서는 딥러닝기술을 이용하여 웹툰 배경 이미지를 생성하고 웹툰 제작에 활용할 것을 제안한다. 웹툰의 주요 인물은작가의 독창성이 상당 부분 포함되는 영역이지만, 배경 그림은 비교적 반복적이며 독창성이 필요하지 않은영역이기 때문에, 작가의 작화 스타일과 유사한 배경 그림을 생성할 수 있다면 웹툰 제작에 유용하게 사용될수 있다. 배경 생성은 image-to-image translation에서 좋은 성능을 보여주고 있는 CycleGAN과 카툰(cartoon) 스타일에 특화된 CartoonGAN을 이용한다. 이러한 생성은 과도한 업무환경에 처한 작가들의 노동 시간을 단축하고 웹툰과 기술의 융합에 기여할 것으로 기대된다.
Abstract
Nowadays, Korean webtoons are leading the global digital comic market. Webtoons are being serviced in various languages around the world, and dramas or movies produced with Webtoons’ IP (Intellectual Property Rights) have become a big hit, and more and more webtoons are being visualized. However, with the success of these webtoons, the working environment of webtoon creators is emerging as an important issue. According to the 2021 Cartoon User Survey, webtoon creators spend 10.5 hours a day on creative activities on average. Creators have to draw large amount of pictures every week, and competition among webtoons is getting fiercer, and the amount of paintings that creators have to draw per episode is increasing. Therefore, this study proposes to generate webtoon background images using deep learning algorithms and use them for webtoon production. The main character in webtoon is an area that needs much of the originality of the creator, but the background picture is relatively repetitive and does not require originality, so it can be useful for webtoon production if it can create a background picture similar to the creator’s drawing style. Background generation uses CycleGAN, which shows good performance in image-to-image translation, and CartoonGAN, which is specialized in the Cartoon style image generation. This deep learning-based image generation is expected to shorten the working hours of creators in an excessive work environment and contribute to the convergence of webtoons and technologies.
참고문헌 (37)
- Antoniou, A., "Data Augmentation Generative Adversarial Networks", arXiv preprint arXiv:1711.04340, ~ (2017)
- Bińkowski, M., "High Fidelity Speech Synthesis with Adversarial Networks", arXiv preprint arXiv:1909.11646, ~ (2019)
- Bowles, C., "Gan Augmentation: Augmenting Training Data Using Generative Adversarial Networks" (2018)
- Chang, B., "Generating Handwritten Chinese Characters Using Cyclegan", paper presented at the 2018 IEEE winter conference on applications of computer vision (WACV) (2018)
- Chen, Y., "Cartoongan:Generative Adversarial Networks for Photo Cartoonization", paper presented at the Proceedings of the IEEE conference on computer vision and pattern recognition (2018)
- Elharrouss, O., "Image Inpainting : A Review", Neural Processing Letters, 51(2), pp.2007~2028 (2020)
- Goodfellow, I., "Generative Adversarial Nets", Advances in neural information processing systems, 27 (2014)
- Heusel, M., "Gans Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium", Advances in neural information processing systems, 30 (2017)
- Karras, T., "Training Generative Adversarial Networks with Limited Data", Advances in Neural Information Processing Systems, 33, pp.12104~12114 (2020)
- Lee, J., "Reference-Based Sketch Image Colorization Using Augmented-Self Reference and Dense Semantic Correspondence", paper presented at the Proceedings of the IEEE, 2020, ~
- Liu, Y., "Auto-Painter : Cartoon Image Generation from Sketch by Using Conditional Wasserstein Generative Adversarial Networks", Neurocomputing, 311, pp.78~87 (2018)
- Sandfort, V., "Data Augmentation Using Generative Adversarial Networks(Cyclegan)to Improve Generalizability in Ct Segmentation Tasks", Scientific reports, 9(1), pp.1~9 (2019)
- Zhu, J. -Y., "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks", paper presented at the Proceedings of the IEEE international conference on computer vision (2017)
- Zhu, X., "Emotion Classification with Data Augmentation Using Generative Adversarial Networks", paper presented at the Pacific-Asia conference on knowledge discovery and data mining (2018)
- Jang, W., "Webtoon as a New Korean Wave in the Process of Glocalization", Kritika Kultura, 29, pp.168~187 (2017)
- 길문섭, "웹툰의 질적 향상을 위한 제작 프로그램단순화와 첨예화 연구", 디지털융복합연구, 14(12), pp.389~395 (2016), 한국디지털정책학회[DOI]
- 2021 만화⋅웹툰 이용자 실태조사, "김태영", 한국콘텐츠진흥원, ~ (2021)
- 2021 웹툰 사업체 실태조사, "김태영", 한국콘텐츠진흥원, ~ (2021)
- 2021 웹툰 작가 실태조사, "김태영", 한국콘텐츠진흥원, ~ (2021)
- 류빈, "“내가 최고”…네이버 Vs 카카오, 웹툰시장 순위 신경전 치열", 아시아타임즈, ~ (2021)
- 박석환, "웹툰 산업의 실태와 문제점", 디지털콘텐츠와 문화정책, 4, pp.123~158 (2009)
- 2021년 상반기콘텐츠산업 동향분석 보고서, "방인철", 한국콘텐츠진흥원, ~ (2021)
- 오대석, "카카오, 美 웹소설플랫폼 또 인수…북미서 네이버와 한판 승부", 매일경제, ~ (2021)
- 이소정, "CycleGAN을 이용한 Unpaired 근적외선 얼굴 이미지 생성 및 평가", 디지털콘텐츠학회논문지, 21(3), pp.593~600 (2020), 한국디지털콘텐츠학회[DOI]
- 이정후, "넷플릭스 1위 ‘지금 우리 학교는’…원작웹툰 조회수도 80배 껑충", 뉴스1, ~ (2022)
- 전자연, "딥러닝 학습을 이용한 한글 글꼴 자동 제작 시스템에서 글자 쌍의 매핑 기준 평가", 멀티미디어학회논문지, 23(7), pp.850~861 (2020), 한국멀티미디어학회
- 조석희, "Multi Cycle Consistent Adversarial Networks for Multi Attribute Image to Image Translation", 한국컴퓨터정보학회논문지, 25(9), pp.63~69 (2020), 한국컴퓨터정보학회[DOI]
- 최형욱, "CycleGAN을 활용한 항공영상 학습 데이터 셋 보완 기법에 관한 연구", 한국측량학회지, 38(6), pp.499~509 (2020), 한국측량학회[DOI]
- 홍준표, "Gan 과Edge Detector 를 사용한 Webtoon 자동 채색 기법", 한국정보과학회 학술발표논문집, pp.2166~2168 (2018)
- 정덕현, "K웹툰과 드라마의 시너지는 ‘쭉’ 이어진다", 시사저널, ~ (2021)
- 박준호, "네이버웹툰 “웹툰 ‘지옥’, 넷플릭스 시리즈 공개 후 조회수 22배↑”", 서울경제, ~ (2021)
- 류빈, "“내가 최고”…네이버 Vs 카카오, 웹툰시장 순위 신경전 치열", 아시아타임즈, ~ (2021)
- 류건욱, "디지털콘텐츠 산업 환경과 웹툰작가의적응 전략", 석사, pp.2020
- 김성현, "네이버-카카오, ‘웹툰’ 맞대결... 하반기승자는?", 뉴데일리, ~ (2021)
- Fx-Toon : 적대적 생성 네트워크 기반 효과툰생성 시스템, "임지은", 한국콘텐츠진흥원, ~ (2020)
- 박석환, "포털 웹툰 플랫폼의 산업 규모와 운영 정책 모델 연구", 애니메이션연구, 10(2), pp.145~162 (2014), 한국애니메이션학회
- 박인하, "한국 웹툰의 변별적 특성연구", 애니메이션연구, 11(3), pp.82~97 (2015), 한국애니메이션학회