NA 탐색: 정규화 및 활성화 조합에 대한 미분 기반 신경망 구조 탐색
NA-Search: Differentiable Search of Normalization and Activation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 온디바이스 환경에서 요구되는 효율성과 경량 설계를 동시에 달성하기 위해 정규화-활성화 연산을 대상으로 하는 새로운 미분 기반 신경망 구조 탐색 프레임워크인 NA-Search 를 제안한다. 기존 미분 가능한 신경망 구조 탐색 방법은 탐색 과정에서 모든 후보 연산을 평가하여 계산 및 메모리 오버헤드를 발생시키며, 자원 제약이 있는 장치에서의 적용성을 제한한다. 이러한 한계 해결을 위해 NA-Search는 정규화-활성화 조합을 중심으로 탐색 공간을 재구성하고, 단 개의 후보만 선택하는 -샘플링 전략을 적용함으로써 신경망 평가의 계산 및 메모리 비용을크게 줄일 수 있다. CIFAR-10 데이터셋 실험 결과, 제안된 모델은 단 0.124M 매개변수로 89.75% 정확도를 달성하여 정확도-효율성 측면에서 널리 사용되는 경량 신경망을 능가할 수 있었다. 추가적인 분석을 통해 탐색 중 값 조정이 안정성 향상과 최종 성능 개선에 기여함을 확인하여, 제안된 샘플링 기반 탐색 설계의 효과성을 입증하였다.
Abstract
In this paper, we propose NA-Search, a novel differentiable neural architecture search framework that targets normalization-activation operations to achieve both efficiency and lightweight design in on-device environments. Conventional differentiable neural architecture search methods evaluate all candidate operations during search, resulting in computational and memory overhead that limits applicability on resource-constrained devices. To address this limitation, NA-Search reconstructs the search space around normalization-activation combinations and applies a -sampling that selects only candidates, reducing the computational and memory cost of neural network evaluation. Experiments on CIFAR-10 dataset show that the proposed model achieves 89.75% accuracy with 0.124M parameters, outperforming widely used lightweight neural network in terms of accuracy-efficiency trade-off. Additional analyses show that adjusting the value of during search contributes to improved stability and enhanced final performance, highlighting the effectiveness of the proposed sampling-based search design.