딥러닝 기반 스타일 변환 기법을 활용한 인공 달 지형 영상 데이터 생성 방안에 관한 연구
A Study for Generation of Artificial Lunar Topography Image Dataset Using a Deep Learning Based Style Transfer Technique
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
달 현지 탐사를 위해 무인 이동체가 활용되고 있으며, 달 지상 관심 지역의 지형 특성을 정확하게 파악하 여 실시간으로 정보화 하는 작업이 요구된다. 하지만, 정확도 높은 지형/지물 객체 인식 및 영역 분할을 위해서는 다양한 배경조건의 영상 학습데이터가 필요하며 이러한 학습데이터를 구축하는 과정은 많은 인력과 시간이 요구된다. 특히 대상이 쉽게 접근하기 힘든 달이기에 실제 현지 영상의 확보 또한 한계가 있어, 사실에 기반하지만 유사도 높은 영상 데이터를 인위적으로 생성시킬 필요성이 대두된다. 본 연구 에서는 가용한 중국의 달 탐사 Yutu 무인 이동체 및 미국의 Apollo 유인 착륙선에서 촬영한 영상을 통해 위치정보 기반 스타일 변환 기법(Style Transfer) 모델을 적용하여 실제 달 표면과 유사한 합성 영상을 인위적으로 생성하였다. 여기서, 유사 목적으로 활용될 수 있는 두 개의 공개 알고리즘(DPST, WCT2)를 구현하여 적용해 보았으며, 적용 결과를 시간적, 시각적 측면으로 비교하여 성능을 평가하였다. 평가 결 과, 실험 이미지의 형태 정보를 보존하면서 시각적으로도 매우 사실적인 영상을 생성할 수 있음을 확인 하였다. 향후 본 실험의 결과를 바탕으로 생성된 영상 데이터를 지형객체 자동 분류 및 인식을 위한 인공 지능 학습용 영상 데이터로 추가 학습된다면 실제 달 표면 영상에서도 강인한 객체 인식 모델 구현이 가 능할 것이라 판단된다.
Abstract
The lunar exploration autonomous vehicle operates based on the lunar topography information obtained from real-time image characterization. For highly accurate topography characteriza- tion, a large number of training images with various background conditions are required. Since the real lunar topography images are difficult to obtain, it should be helpful to be able to generate mimic lunar image data artificially on the basis of the planetary analogs site images and real lunar images available. In this study, we aim to artificially create lunar topography images by using the location information-based style transfer algorithm known as Wavelet Correct Transform (WCT2). We conducted comparative experiments using lunar analog site images and real lunar topography images taken during China's and America's lunar-exploring projects (i.e., Chang’e and Apollo) to assess the efficacy of our suggested approach. The results show that the proposed techniques can create realistic images, which preserve the topography information of the analog site image while still showing the same condition as an image taken on lunar surface. The proposed algorithm also outperforms a conventional algorithm, Deep Photo Style Transfer (DPST) in terms of temporal and visual aspects. For future work, we intend to use the generated styled image data in combination with real image data for training lunar topography objects to be applied for topographic detection and segmentation. It is expected that this approach can significantly improve the performance of detection and segmentation models on real lunar topography images.
참고문헌 (22)
- Basilevsky, A. T., "Geologic characteristics of the Luna 17", Lunokhod 1 and Chang'E-3, Planetary and Space Science, pp.2015, 117[DOI]
- Bengio, Y., "Learning deep architectures for AI" (2009), Now Publishers Inc
- Deng, J., "Imagenet: A large-scale hierarchical image database", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.248~255 (2009)
- Di, K., "Geospatial technologies for Chang’e-3 and Chang’e-4 lunar rover missions", Geo-spatial Information Science, 23(1), pp.87~97 (2020)
- Gatys, L. A., "Image style transfer using convolutional neural networks", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.4990~4998 (2016)
- Heusel, M., "Gans trained by a two time-scale update rule converge to a local nash equilibrium", Proceedings of the NIPS, 30 (2017)
- 홍성철, "달 기지 건설을 대비한 국내외 달 탐사 동향 분석", 한국산학기술학회논문지, 19(7), pp.144~152 (2018), 한국산학기술학회[DOI]
- Hong, S., "Visual SLAM-Based Robotic Mapping Method for Planetary Construction", Sensors, 21(22), pp.7715~7732 (2021)
- 홍성철, "로버 카메라 시스템을 이용한 건설공간정보화 기술의 개발 방안 연구", 한국산학기술학회논문지, 20(7), pp.630~637 (2019), 한국산학기술학회
- 주광혁, "국내외 우주탐사 프로그램 및 관련 기술의 개발현황", 한국항공우주학회지, 44(8), pp.741~757 (2016), 한국항공우주학회
- "Labelme" (2021)[URL]
- 이화선, "달 영구음영지역의 지형정보 구축을 위한 저조도 지형 영상 강화", 대한공간정보학회지, 28(4), pp.41~48 (2020), 대한공간정보학회[DOI]
- Lee, K., "Deep-learning based automatic recognition and digitization of targeted objects", regions on analogue lunar surface, 2019, ~
- Li, Y., "Universal style transfer viafeature transforms", Proceedings of the NIPS, pp.386~396 (2017)
- Luan, F., "Deep photo style transfer", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.4990~4998 (2017)
- "Apollo 11 Mission Overview" (2021)[URL]
- 박재민, "극한지 탐사 로버에 탑재된 다중 카메라 시스템의 캘리브레이션 실험", 대한공간정보학회지, 28(2), pp.21~28 (2020), 대한공간정보학회[DOI]
- Simonyan, K., "Very deep convolutional networks for large-scale image recognition", arXiv preprint arXIV,:1409.1556, ~ (2014)
- Stanković, R. S., "The Haar wavelet transform: its status and achievements", Computers & Electrical Engineering, 29(1), pp.25~44 (2003)
- Williams, T, "Wavelet pooling for convolutional neural networks", International Conference on Learning Representations (2018)
- Yijun, L, "Universal style transfer via feature transforms", Proceedings of the Neural Information Proceeding Systems (2017)
- Yoo, J., "Photorealistic style transfer via wavelet transforms", Proceedings of the IEEE International Conference on Computer Vision, pp.9036~9045 (2019)