딥러닝 학습에서 최적의 알고리즘과 뉴론수 탐색
Optimal Algorithm and Number of Neurons in Deep Learning
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
딥러닝(Deep Learning)은 퍼셉트론을 기반으로 하고 있으며 현재에는 이미지 인식, 음성 인식, 객체 검출 및 약물 개발 등과 같은 다양한 영역에서 사용되고 있다. 이에 따라 학습 알고리즘이 다양하게 제안되었고 신경망을 구성하는 뉴런수도 연구자마다 많은 차이를 보이고 있다. 본 연구는 현재 대표적으로 사용되고 있는 확률적 경사하강법(SGD), 모멘텀법(Momentum), AdaGrad, RMSProp 및 Adam법의 뉴런수에 따른 학습 특성을 분석하였다. 이를 위하여 1개의 입력층, 3개의 은닉층, 1개의 출력층으로 신경망을 구성하였고 활성화함수는 ReLU, 손실 함수는 교차 엔트로피 오차(CEE)를 적용하였고 실험 데이터셋은 MNIST를 사용하였다. 그 결과 뉴런수는 100~300개, 알고리즘은 Adam, 학습 횟수(iteraction)는 200회가 딥러닝 학습에서 가장 효율적일 것으로 결론을 내렸다. 이러한 연구는 향후 새로운 학습 데이터가 주어졌을 경우 개발될 알고리즘과 뉴런수의 기준치에 함의를 제공할 것이다.
Abstract
Deep Learning is based on a perceptron, and is currently being used in various fields such as image recognition, voice recognition, object detection, and drug development. Accordingly, a variety of learning algorithms have been proposed, and the number of neurons constituting a neural network varies greatly among researchers. This study analyzed the learning characteristics according to the number of neurons of the currently used SGD, momentum methods, AdaGrad, RMSProp, and Adam methods. To this end, a neural network was constructed with one input layer, three hidden layers, and one output layer. ReLU was applied to the activation function, cross entropy error (CEE) was applied to the loss function, and MNIST was used for the experimental dataset. As a result, it was concluded that the number of neurons 100-300, the algorithm Adam, and the number of learning (iteraction) 200 would be the most efficient in deep learning learning. This study will provide implications for the algorithm to be developed and the reference value of the number of neurons given new learning data in the future.
참고문헌 (15)
- 박영민, "자동차 부품 품질검사를 위한 비전시스템 개발과 머신러닝 모델 비교", 문화기술의 융합, 8(1), pp.409~415 (2022), 국제문화기술진흥원
- 정명희, "신약개발에서의 AI 기술 활용 현황과 미래", 한국정보통신학회논문지, 25(12), pp.1797~1808 (2021), 한국정보통신학회[DOI]
- T. Mitchell, "Machine Learning" (1997), McGrawHill
- 임은지, "머신러닝을 활용한 행위 및 스크립트 유사도 기반 크립토재킹 탐지 프레임워크", 정보보호학회논문지, 31(6), pp.1105~1114 (2021), 한국정보보호학회[DOI]
- 서예진, "대중의 부동산 관심에 영향을 미치는 정책 및 환경 예측을 위한 머신러닝 모형 제안", 한국정보기술학회논문지, 19(12), pp.135~141 (2021), 한국정보기술학회[DOI]
- S. Ruder, "An overview of gradient descent optimization algorithms", arXiv preprint arXiv:1609.04747, ~ (2016)
- 육동석, "심층 신경망 병렬 학습 방법 연구 동향", 한국음향학회지, 39(6), pp.505~514 (2020), 한국음향학회
- J. P. Youn, "A Study on the Prediction Method of Air-Compressor's Health Condition Using Convolutional Neural Network(CNN)", Master, pp.2021
- 주기훈, "기계학습 옵티마이저 성능 평가", 전기전자학회논문지, 24(3), pp.766~776 (2020), 한국전기전자학회[DOI]
- D. John, "Adaptive Subgradient Methods for Online Learning and Stochastic Optimization", Journal of Machine Learning Research, 12, pp.2121~2159 (2011)
- 강민제, "딥러닝을 위한 경사하강법 비교", 한국산학기술학회논문지, 21(2), pp.189~194 (2020), 한국산학기술학회[DOI]
- D. Kingma, "Adam: A Method for Stochastic optimization", arXiv preprint arXiv:1412.6980, ~ (2014)
- 김수윤, "Adam Optimizer를 이용한 음향매질 탄성파 완전파형역산", 지구물리와 물리탐사, 22(4), pp.202~209 (2019), 한국지구물리.물리탐사학회[DOI]
- Y. LeCun, "Handwritten digit recognition with a back-propagation network", Advances in neural information processing systems, pp.396~404 (1990)