진화 계산 기법을 활용한 딥러닝 하이퍼파라미터 최적화
Deep Learning Hyperparameter Optimization Using Evolutionary Computation Techniques
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 딥러닝은 컴퓨터 비전, 자연어 처리, 음성 인식 등 다양한 인공지능 응용 분야에서 뛰어난 성과를 보여주고 있다. 그러나 모델의 성능은 하이퍼파라미터 설정에 크게 좌우되며, 적절하지 않은 하이퍼파라미터는 수렴 속도를 저해 하거나 과적합 문제를 유발할 수 있다. 본 논문에서는 하이퍼파라미터 설정을 최적화 하기 위한 방법으로 유전 알고리 즘, 입자 군집 최적화, 차분 진화 알고리즘의 세 가지 진화 계산 기법을 제시한다. 세 가지 진화 계산 기법의 성능을 확인하기 위해, SimpleCNN 기반 CIFAR-10 이미지 분류 문제에 사용되는 6개의 하이퍼파라미터를 최적화 하는데 적용하였다. 실험 결과, 동일한 계산량으로 기본적인 그리드 탐색에 비해 진화 계산 기법이 우수한 성능을 보이며, 특히 입자 군집 최적화가 가장 우수한 성능을 보임을 확인하였다. 또한, 안정적인 학습을 위해서는 딥러닝 하이퍼파라미터 중 학습률을 낮추는 것이 효율적이라는 것을 확인할 수 있었다.
Abstract
Deep learning has demonstrated outstanding performance in various AI applications, including computer vision, natural language processing, and speech recognition. However, model performance is highly dependent on hyperparameter settings, and inappropriate hyperparameters can slow convergence or lead to overfitting. In this paper, we propose three evolutionary computation techniques —genetic algorithms, particle swarm optimization, and differential evolution algorithms—to optimize hyperparameter settings. To demonstrate the performance of these three evolutionary computation techniques, we apply them to optimize six hyperparameters for the SimpleCNN-based CIFAR-10 image classification problem. Experimental results show that evolutionary computational techniques outperform basic grid search with the same amount of computation, and particle swarm optimization in particular shows the best performance. Additionally, we were able to confirm that lowering the learning rate among deep learning hyperparameters is effective for stable learning.