결합된 파라메트릭 활성함수를 이용한완전연결신경망의 성능 향상
Performance Improvement Method of Fully Connected Neural Network Using Combined Parametric Activation Functions
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
완전연결신경망은 다양한 문제를 해결하는데 널리 사용되고 있다. 완전연결신경망에서 비선형활성함수는 선형변환 값을 비선형 변환하여 출력하는 함수로써 비선형 문제를 해결하는데 중요한 역할을 하며 다양한 비선형활성함수들이 연구되었다. 본 연구에서는 완전연결신경망의 성능을 향상시킬 수 있는 결합된 파라메트릭 활성함수를 제안한다. 결합된 파라메트릭 활성함수는 간단히 파라메트릭 활성함수들을 더함으로써 만들어낼 수있다. 파라메트릭 활성함수는 입력데이터에 따라 활성함수의 크기와 위치를 변환시키는 파라미터를 도입하여 손실함수를 최소화하는 방향으로최적화할 수 있는 함수이다. 파라메트릭 활성함수들을 결합함으로써 더욱 다양한 비선형간격을 만들어낼 수 있으며 손실함수를 최소화하는 방향으로파라메트릭 활성함수들의 파라미터를 최적화할 수 있다. MNIST 분류문제와 Fashion MNIST 분류문제를 통하여 결합된 파라메트릭 활성함수의성능을 실험하였고 그 결과 기존에 사용되는 비선형활성함수, 파라메트릭 활성함수보다 우수한 성능을 가짐을 확인하였다.
Abstract
Deep neural networks are widely used to solve various problems. In a fully connected neural network, the nonlinear activation functionis a function that nonlinearly transforms the input value and outputs it. The nonlinear activation function plays an important role in solvingthe nonlinear problem, and various nonlinear activation functions have been studied. In this study, we propose a combined parametricactivation function that can improve the performance of a fully connected neural network. Combined parametric activation functions canbe created by simply adding parametric activation functions. The parametric activation function is a function that can be optimized inthe direction of minimizing the loss function by applying a parameter that converts the scale and location of the activation function accordingto the input data. By combining the parametric activation functions, more diverse nonlinear intervals can be created, and the parametersof the parametric activation functions can be optimized in the direction of minimizing the loss function. The performance of the combinedparametric activation function was tested through the MNIST classification problem and the Fashion MNIST classification problem, andas a result, it was confirmed that it has better performance than the existing nonlinear activation function and parametric activation function.
참고문헌 (15)
- K. Hornik, "Multilayer feedforward networks are universal approximators", Neural Networks, 2(5), pp.359~366 (1989)
- Y. Bengio, "Deep learning" (2017), MIT Press
- 공나영, "파라메트릭 활성함수를 이용한 심층신경망의 성능향상 방법", 한국콘텐츠학회 논문지, 21(3), pp.616~625 (2021), 한국콘텐츠학회[DOI]
- 공나영, "민첩한 활성함수를 이용한 합성곱 신경망의 성능 향상", 정보처리학회 논문지, 9(7), pp.213~220 (2020), 한국정보처리학회[DOI]
- 고영민, "파라메트릭 활성함수를 이용한 기울기 소실 문제의 완화", 정보처리학회 논문지, 10(10), pp.407~420 (2021), 한국정보처리학회
- V. Nair, "Rectified linear units improve restricted boltzmann machines", ICML, pp.807~814 (2010)
- M. Roodschild, "A new approach for the vanishing gradient problem on sigmoid activation", Springer Nature, 20(4), pp.351~360 (2020)
- Y. Qin, "The optimized deep belief networkswith improved logistic Sigmoid units and their application in faultdiagnosis for planetary gearboxes of wind turbines", IEEE Transactions on Industrial Electronics, 66(5), pp.3814~3824 (2018)
- X. Wang, "ReLTanh : An activation function with vanishing gradient resistance for SAE-based DNNs and its application to rotating machinery fault diagnosis", Neurocomputing, 363, pp.88~98 (2019)
- S. Kong, "Hexpo : A vanishing-proof activation function", International Joint Conference on Neural Networks, pp.2562~2567 (2017)
- B. Xu, "Empirical evaluation of rectified activations in convolution network", arXiv : 1505. 00853, ~ (2015)
- R. Pascanu, "Understanding the exploding gradient problem", arXiv : 1211. 5063, ~ (2012)
- R. Pascanu, "On the difficulty of training recurrent neural networks", arXiv : 1211. 5063, ~ (2013)
- K. He, "Delving deep into rectifiers : Surpassing human-level performance on imagenet classification", International Conference on Computer Vision (2015)
- D. Clevert, "Fast and accurate deep network learning by exponential linear units(ELUs)", arXiv : 1511. 07289, ~ (2016)