도메인 변환과 고해상도 복원을 이용한 스케치-얼굴 사진 생성
Sketch to face photo generation using domain adaptation and super resolution
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
생성적 적대 신경망 (GAN)의 발전은 이미지 생성 분야에 큰 영향을 주었다. 특히 서로 다른 이미지간의 도메인 변환(Domain Adaptation) 분야에 있어 주목할 만한 성능 개선을 가능하게 하였다. 여기서 말하는 이미지간의 변환은 하나의 도메인의 이미지를 다른 도메인으로 변환해주는 분야로 도메인이 다르지만 관련이 있는 새로운 영역에 기존 영역의 정보를 적응시키는 것을 의미한다. 이미지 변환 분야는 의료, 엔터테인먼트, 학습 데이터 생성 등 여러 분야로 응용이 되지만 학습 데이터의 종류와 품질에 따라 성능이 달라진다는 문제가 존재한다. 따라서 본 논문에서는 얼굴 스케치로부터 고해상도 얼굴 사진 생성을 위하여 도메인 변환 네트워크인 CycleGAN, DiscoGAN, MUNIT 3개의 네트워크에 대하여 학습 데이터의 품질에 따른 성능을 비교하고 더 나아가 고해상도 복원 네트워크를 이용하여 고품질의 스케치-얼굴 생성을 가능하게 한다.
Abstract
Advances in Generative Adversarial Network (GAN) have greatly influenced the field of image generation. In particular, it has enabled remarkable performance improvement in the domain adaptation field between different images. The conversion between images is the field that converts an image of a domain into another domain, which means adapting information in an existing domain to a new area that has different domains but is related to it. The field of image transformation is applied to various applications such as medical care, entertainment, and learning data generation, but there is a problem that the performance varies depending on the type and quality of learning data. Therefore, in this paper, for high-resolution sketch-face image generation, we compare the performance according to the quality of the learning data using three networks, CycleGAN, DiscoGAN, and MUNIT, which are domain transformation networks, and further enable high-quality sketch-face generation using the super resolution network.
참고문헌 (14)
- Generative Adversarial Networks, "Ian Goodfello", NIPS, ~ (2014)
- 이장군, "사진 구도 자동 인식을 위한 스카이라인과 주요 객체 검출", 한국차세대컴퓨팅학회 논문지, 7(4), pp.59~67 (2011), 한국차세대컴퓨팅학회
- 우미르 하룬, "A novel 3D-Convolution Neural Network for Human Interaction Recognition in videos", 한국차세대컴퓨팅학회 논문지, 18(1), pp.19~28 (2022), 한국차세대컴퓨팅학회[DOI]
- 임명진, "딥러닝 기반 감정인식 성능향상 방법", 한국차세대컴퓨팅학회 논문지, 17(5), pp.88~95 (2021), 한국차세대컴퓨팅학회[DOI]
- Phillip Isola, "Image-to-Image Translation with Conditional Adversarial", CVPR (2017)
- Jun-Uan Zhu, "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", ICCV (2017)
- Taeksoo Kim, "Learning to Discover CrossDomain Relations with Generative Adversarial Networks", ICML (2017)
- Xun Huang, "Multimodal Unsupervised Image-to-Image Translation", ECCV (2018)
- Hsin-Ying Lee, "Diverse Image-to-Image Translation via Disentangled Representations", ECCV (2018)
- Yunjey Choi, "StarGAN : Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation", CVPR (2018)
- Xiaoming Li, "Blind Face Restoration via Deep Multi-scale Component Dictionaries", ECCV2020
- Shu-Yu Chen, "DeepFaceDrawing: deep generation of face images from sketches", Proceedings of ACM SIGGRAPH 2020
- X. Wang, "Face Photo-Sketch Synthesis and Recognition", IEEE TPAMI (2009)
- Hsin-Ying Lee, "Diverse Image-to-Image Translation via Disentangled Representations", ECCV (2018)