지역/전역 특징 기반 지식 증류를 활용한 경량·양자화 간 초해상화 모델 성능 저하 최소화 기법
Minimization of Performance Degrading in Lightweight and Quantized Super-Resolution Models Through Feature-based Knowledge Distillation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 초해상화 모델에서 경량화/양자화로 인한 성능 저하를 최소화하기 위해, 모델의 지역및 전역 특징 정보를 함께 활용하는 지식 증류 방법을 제안하고 이를 검증하기 위한 엣지 디바이스에 최적화된 네트워크를 설계하였다. 제안하는 성능 저하 최소화 기법은 지역적 단위에서 공간L1 손실 함수를 적용하여 경계, 질감, 세부 패턴 등 구조적 정보를 보존하며, 동시에 전역적 단위에서 2D FFT 기반 주파수 변환을 통해 공간 정보의 전역 특성을 반영하면서 고주파 성분을 강조하여 디테일 복원 성능을 보존하는 방식이다. 이미지의 의미적 맥락과 공간적 구조를 동시에 고려함으로써, 초해상화 과정에서 세부 정보의 보존과 구조적 일관성을 함께 만족할 수 있도록 설계했다. 이를 검증하기 위하여, 엣지 디바이스 환경에서 실시간 동작이 가능하도록 활성화 함수별 성능 비교 실험을 바탕으로 네트워크를 최적화하였고, 모델의 초기 학습과 양자화 인식 훈련(QAT) 과정에 지역/전역 특징 기반 지식 증류 방식을 적용하여 성능 저하를 최소화하였다. 실험결과, 네트워크 최적화를 통해 엣지 디바이스에서 기존 대비 약 7% 이상 추론 속도를 개선하였고, 제안한 지식증류 기법의 경우, 기존 QAT 기반 양자화 모델은 원본 대비 PSNR 기준 약 1.15% 의 성능 저하가 발생한 반면, 제안한 방법을 적용한 경우 성능 저하는 0.12% 수준에 그쳐, 경량화된 모델에서도 고품질 초해상화 복원이 가능함을 입증하였다.
Abstract
This study proposes knowledge distillation (KD) method that minimizes the performance degradation caused by lightweighting and quantization in super-resolution (SR) tasks. The method has been redesigned to leverage simultaneously local and global feature information to maintain the detail restoration performance, and has been optimized the network into the edge device for validations. The spatial L1 loss function is used, in local level, to preserve the feature information such as boundaries, textures, and fine patterns. Meanwhile, in global level, the 2D FFT-based frequency transformation is employed to reflect the spatial characteristics and emphasize high-frequency components. This considerations of semantic context and spatial structure in images ensures to preserve fine details and structural consistency during the SR process. For verification, the network was optimized based on the performance comparison across different active functions for real-time operation on edge devices, and the local/global feature-based KD strategy was applied during initial training and quantization-aware training (QAT) to minimize performance loss. As results in optimized network, the inference speed has been improved by more than 7% on edge devices compared to the baseline. In our proposed method, it showed less performance degradation up to 0.12%, whereas the conventional QAT-based quantized models exhibited approximately 1.15% performance degradation in terms of PSNR. Thus, with our proposal, high-quality SR can be achieved even with lightweight models.