딥러닝을 이용하여 생성한 초해상화 드론 영상의 정량적 평가
Quantitative Evaluation of Super-resolution Drone Images Generated Using Deep Learning
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
드론과 센서의 발달이 가속화됨에 따라 드론에 장착된 다양한 센서로 취득된 데이터를 융합하여 새로운 서비스 및 가치를 창출하고 있다. 그러나 데이터 융합을 통한 공간정보 구축은 주로 영상에 의존하여 구축하며, 하드웨어의 사양 및 성능에 따라 데이터 품질이 결정된다. 또한, 고품질 공간정보를 구축하기 위해 고가 장비가 요구되므로 실제 현장에서 사용하기에는 어려운 실정이다. 본 연구에서는 드론에 장착된 RGB 및 THM 카메라를 통해 취득된 저해상도 영상을 딥러닝에 적용하여 초해상화를 수행하고, 이를 통해 생성된 고해상도 영상의 정량적 평가 및 특징점 추출에 대한 평가를 수행하였다. 실험 결과 초해상화를 수행하여 생성된 고해상도 영상은 원본 영상의 특징을 유지하고 있었으며, 해상도가 개선됨에 따라 원본 영상 대비 많은 특징을 추출할 수 있었다. 따라서, 저해상도 영상을 초해상화 딥러닝 모델에 적용하여 고해상도 영상을 생성할 경우 하드웨어에 제약을 받지 않고 고품질의 공간정보를 구축하기 위한 새로운 방법일 것으로 판단하였다.
Abstract
As the development of drones and sensors accelerates, new services and values are created by fusing data acquired from various sensors mounted on drone. However, the construction of spatial information through data fusion is mainly constructed depending on the image, and the quality of data is determined according to the specification and performance of the hardware. In addition, it is difficult to utilize it in the actual field because expensive equipment is required to construct spatial information of high-quality. In this study, super-resolution was performed by applying deep learning to low-resolution images acquired through RGB and THM cameras mounted on a drone, and quantitative evaluation and feature point extraction were performed on the generated high-resolution images. As a result of the experiment, the high-resolution image generated by super-resolution was maintained the characteristics of the original image, and as the resolution was improved, more features could be extracted compared to the original image. Therefore, when generating a high-resolution image by applying a low-resolution image to an super-resolution deep learning model, it is judged to be a new method to construct spatial information of high-quality without being restricted by hardware.
참고문헌 (27)
- 김진, "스마트시티(Smart City)의 새로운 변화, 디지털트윈(Digital Twin)", 도시정보, 468, pp.5~15 (2021)
- 노현주, "재난현장 모니터링을 위한 UAV 영상 신속 지오코딩", 대한원격탐사학회지, 36(5), pp.1221~1229 (2020), 대한원격탐사학회[DOI]
- 박성욱, "광학 위성 영상 기반 선박탐지의 정확도 개선을 위한 딥러닝 초해상화 기술의 영향 분석", 대한원격탐사학회지, 38(5), pp.559~570 (2022), 대한원격탐사학회[DOI]
- 방창훈, "공간정보를 활용한 소방시설의 관리방안 연구", 한국화재소방학회 논문지, 33(3), pp.98~104 (2019), 한국화재소방학회
- 서홍덕, "딥러닝을 이용한 저해상도 영상의 고해상도 영상 변환", 대학공간정보학회 학술대회, pp.113~114 (2023)
- 안세현, "경량화된 딥러닝 구조를 이용한 실시간 초고해상도 영상 생성 기술", 방송공학회 논문지, 26(2), pp.167~174 (2021), 한국방송∙미디어공학회[DOI]
- "드론(drone)의 현재와 미래 발전방향" (2021)[URL]
- 윤상용, "딥러닝 기반 실시간 사람 탐색을 위한 스마트시티 인공지능 미들웨어에서의 클라우드 기반 실시간 분산병렬처리", 한국정보기술학회논문지, 20(5), pp.9~19 (2022), 한국정보기술학회[DOI]
- 이준구, "드론과 지상 LiDAR를 활용한 포인트클라우드 데이터 융합 기반의 건물 실내외 모델링", 한국측량학회지, 40(6), pp.613~620 (2022), 한국측량학회[DOI]
- 이충호, "드론 영상을 이용한 특징점 추출 알고리즘 간의 성능 비교", 한국측량학회지, 40(2), pp.79~89 (2022), 한국측량학회[DOI]
- 임준성, "빅데이터 플랫폼 기반 도로 시설물 안전관리 모니터링 시스템", 한국정보기술학회논문지, 18(11), pp.139~151 (2020), 한국정보기술학회[DOI]
- 장시훈, "무인항공기 종류 및 센서에 따른 공간정보 구축의 활용성 평가", 한국측량학회지, 39(6), pp.555~562 (2021), 한국측량학회[DOI]
- 홍주석, "정밀지도 구축을 위한 다중카메라기반 모바일매핑시스템 개발", 한국측량학회지, 39(6), pp.587~598 (2021), 한국측량학회[DOI]
- Alcantarilla, P. F., "KAZE features", Computer Vision–ECCV 2012: 12th European Conference on Computer Vision, pp.214~227 (2012)
- Alcantarilla, P. F., "Fast explicit diffusion for accelerated features in nonlinear scale spaces", British Machine Vision Conference 2013, pp.1~13 (2013)
- Batchuluun, G., "Thermal image reconstruction using deep learning", RIEEE Access, 8, pp.126839~126858 (2020)[DOI]
- Banerjee, N., "Process variation tolerant low power DCT architecture", 2007 Design, Automation &Test in Europe Conference & Exhibition, pp.1~6 (2007)
- Dong, C., "Image super-resolution using deep convolutional networks", IEEE transactions on pattern analysis and machine intelligence, 38(2), pp.295~307 (2015)
- Dong, C., "Accelerating the super-resolution convolutional neural network", Computer Vision–ECCV, pp.391~407 (2016)
- Kruse, F. A., "The spectral image processing system(SIPS)—interactive visualization and analysis of imaging spectrometer data", Remote sensing of environment, 44(2-3), pp.145~163 (1993)
- Sacks, R., "Building information modelling, artificial intelligence and construction tech", Developments in the Built Environment, 4, pp.100011~ (2020)
- Setiadi, D., "PSNR vs SSIM : imperceptibility quality assessment for image steganography", Multimedia Tools and Applications, 80(6), pp.8423~8444 (2021)
- Wang, P., "A comprehensive review on deep learning based remote sensing image super-resolution methods", Earth-Science Reviews, pp.104110~ (2022)
- Wang, Z., "A universal image quality index", EIEEE signal processing letters, 9(3), pp.81~84 (2002)
- Xie, X., "Small Ship Detection Based on Hybrid Anchor Structure and Feature Super-Resolution", Remote Sensing, 14(15), pp.3530~ (2022)
- Xue, W., "Gradient magnitude similarity deviation : A highly efficient perceptual image quality index", IEEE transactions on image processing, 23(2), pp.684~695 (2013)
- Zhang, L., "FSIM : A feature similarity index for image quality assessment", IEEE transactions on Image Processing, 20(8), pp.2378~2386 (2011)