기계학습 옵티마이저 성능 평가
Performance Evaluation of Machine Learning Optimizers
0
조회
0
다운로드
23
인용
0
참고문헌
키워드
초록
최근 기계학습에 대한 관심이 높아지고 연구가 활성화됨에 따라 다양한 기계학습 모델에서 최적의 하이퍼 파라미터 조합을 찾는 것이 중요해지고 있다. 본 논문에서는 다양한 하이퍼 파라미터 중에서 옵티마이저에 중점을 두고, 다양한 데이터에서 주요 옵티마이저들의 성능을 측정하고 비교하였다. 특히, 가장 기본이 되는 SGD부터 Momentum, NAG, AdaGrad,RMSProp, AdaDelta, Adam, AdaMax, Nadam까지 총 9개의 옵티마이저의 성능을 MNIST, CIFAR-10, IRIS, TITANIC,Boston Housing Price 데이터를 이용하여 비교하였다. 실험 결과, 전체적으로 Adam과 Nadam을 사용하였을 때 기계학습 모델의 손실 함숫값이 가장 빠르게 감소하는 것을 확인할 수 있었으며, F1 score 또한 높아짐을 확인할 수 있었다. 한편,AdaMax는 학습 중에 불안정한 모습을 많이 보여주었으며, AdaDelta는 다른 옵티마이저들에 비하여 수렴 속도가 느리며 성능이 낮은 것을 확인할 수 있었다.
Abstract
Recently, as interest in machine learning (ML) has increased and research using ML has become active, it is becomingmore important to find an optimal hyperparameter combination for various ML models. In this paper, among varioushyperparameters, we focused on ML optimizers, and measured and compared the performance of major optimizers usingvarious datasets. In particular, we compared the performance of nine optimizers ranging from SGD, which is the mostbasic, to Momentum, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdaMax, and Nadam, using the MNIST, CIFAR-10,IRIS, TITANIC, and Boston Housing Price datasets. Experimental results showed that when Adam or Nadam was used,the loss of various ML models decreased most rapidly and their F1 score was also increased. Meanwhile, AdaMaxshowed a lot of instability during training and AdaDelta showed slower convergence speed and lower performance thanother optimizers.
참고문헌 (12)
- N. Qian, "On the momentum term in gradient descent learning algorithms", Neural networks, 12(1), pp.145~151 (1999)[DOI]
- Y. E. Nesterov, "A method for unconstrained convex minimization problem with the rate of convergence O(1", k2), 1983, pp.269(3), 543~547
- J. Duchi, "Adaptive subgradient methods for online learning and stochastic optimization", Journal of machine learning research, 12, pp.2121~2159 (2011)[DOI]
- S. Ruder, "An overview of gradient descent optimization algorithms", arXiv preprint arXiv:1609.04747, ~ (2016)
- M. D. Zeiler, "Adadelta: An adaptive learning rate method", arXiv preprint arXiv:1212.5701, ~ (2012)
- D. P. Kingma, "Adam: A method for stochastic optimization", arXiv preprint arXiv:1412.6980, ~ (2014)
- T. Dozat, "Incorporating nesterov momentum into adam", 4th International Conference on Learning Representations (ICLR 2016) Workshop track (2016)
- D. Choi, "On empirical comparisons of optimizers for deep learning", arXiv preprint arXiv:1910.05446, ~ (2019)
- 마샤 모라디, "수문학적 예측을 위한 딥러닝기반 인공신경망의 최적화 알고리즘 비교: 남강댐 일유출량을 사례를 중심으로", 한국방재학회논문집, 18(6), pp.377~384 (2018), 한국방재학회[DOI]
- 정원석, "중기 염색체 객체 검출을 위한 Faster R-CNN 모델의 최적화기 성능 비교", 한국정보통신학회논문지, 23(11), pp.1357~1363 (2019), 한국정보통신학회[DOI]
- K. Simonyan, "Very Deep Convolutional Networks for Large-Scale Image Recognition", 3rd International Conference on Learning Representations (ICLR 2015) (2015)
- K. He, "Deep Residual Learning for Image Recognition", 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp.770~778 (2016)