함수 근사화를 위한 방사 기저함수 네트워크의 전역 최적화 기법
A Global Optimization Method of Radial Basis Function Networks for Function Approximation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 방사 기저함수 네트워크의 파라미터를 전 영역에서 최적화하는 학습 알고리즘을 제안한다. 기존의 학습 알고리즘들은 지역 최적화만을 수행하기 때문에 성능의 한계가 있고 최종 결과가 초기 네트워크 파라미터 값에 크게 의존하는 단점이 있다. 본 논문에서 제안하는 하이브리드 모의 담금질 기법은 모의 담금질 기법의 전 영역 탐색 능력과 경사 기반 학습 알고리즘의 지역 최적화 능력을 조합하여 전 파라미터 영역에서 해를 찾을 수 있도록 한다. 제안하는 기법을 함수 근사화 문제에 적용하여 기존의 학습 알고리즘에 비해 더 좋은 학습 및 일반화 성능을 보이는 네트워크 파라미터를 찾을 수 있으며, 초기 파라미터 값의 영향을 크게 줄일 수 있음을 보인다.
Abstract
This paper proposes a training algorithm for global optimization of the parameters of radial basis function networks. Since conventional training algorithms usually perform only local optimization, the performance of the network is limited and the final network significantly depends on the initial network parameters. The proposed hybrid simulated annealing algorithm performs global optimization of the network parameters by combining global search capability of simulated annealing and local optimization capability of gradient-based algorithms. Via experiments for function approximation problems, we demonstrate that the proposed algorithm can find networks showing better training and test performance and reduce effects of the initial network parameters on the final results.
참고문헌 (14)
- "‘Fundamentals of Speech Recognition" (1993), Prentice Hall
- "Regularization algorithms for learning that are equivalent to multilayer networks", 2247, pp.978~982 (1990)
- "Three learning phases for radial-basis-function networks", 14(4-5), pp.439~458 (2001)
- "Training hidden Markov models by hybrid simulated annealing for visual speech recognition", pp.198~202 (2006)
- D. Wettschereck, "Improving the performance of radial basis function networks by learning center locations Advances in Neural Information Processing Systems", 4, pp.1133~1140 (1992), Morgan Kaufmann
- J. Moody, "Fast learning in networks of locally-tuned processing units", 1, pp.291~294 (1989)
- S. Kirkpatrick, "Optimization by simulated annealing", 220, pp.671~680
- D. Nam, "n-dimensional Cauchy neighbor generation for the fast simulated annealing", E87-D(11), pp.2499~2502 (2004)
- C. Bishop, "Neural Networks for Pattern Recognition" (1995), Oxford Univ. Press Inc.
- N. Metropolis, "Equation of state calculations by fast computing machines", 21, pp.1087~1092 (1953)
- L. Breiman, "The Π method for estimating multivariate functions from noisy data", tech 3(metrics), pp.125~160 (1991)
- J.-N. Hwang, "Regression modeling in back-propagation and project pursuit learning", 5, pp.342~353 (1994)
- J.-S. Lee, "Self-organizing neural networks by construction and pruning", E87-D(11), pp.2489~2498 (2004)
- 이종석, "다층 신경회로망을 위한 자기 구성 알고리즘", 전자공학회논문지 - CI, 41(03), pp.249~260 (2004), 대한전자공학회