망 분리를 이용한 딥러닝 학습시간 단축에 대한 연구
A Study on Reducing Learning Time of Deep-Learning using Network Separation
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 논문에서는 딥러닝 구조를 분할을 이용한 개별 학습을 수행하여 학습시간을 단축하는 알고리즘을 제안한다. 제안하는알고리즘은 망 분류 기점 설정 과정, 특징 벡터 추출 과정, 특징 노이즈 제거 과정, 클래스 분류 과정 등의 4가지 과정으로구성된다. 첫 번째로 망 분류 기점 설정 과정에서는 효과적인 특징 벡터 추출을 위한 망 구조의 분할 기점을 설정한다. 두번째로 특징 벡터 추출 과정에서는 기존에 학습한 가중치를 사용하여 추가 학습 없이 특징 벡터를 추출한다. 세 번째로 특징노이즈 제거 과정에서는 추출된 특징 벡터를 입력받아 각 클래스의 출력값을 학습하여 데이터의 노이즈를 제거한다. 네 번째로 클래스 분류 과정에서는 노이즈가 제거된 특징 벡터를 입력받아 다층 퍼셉트론 구조에 입력하고 이를 출력하고 학습한다. 제안된 알고리즘의 성능을 평가하기 위하여 Extended Yale B 얼굴 데이터베이스를 사용하여 실험 하였다. 실험 결과, 1회학습에 소요되는 시간의 경우 제안하는 알고리즘이 기존 알고리즘 기준 40.7% 단축하였다. 또한 목표 인식률까지 학습 횟수가기존 알고리즘과 비교하여 단축하였다. 실험결과를 통해 1회 학습시간과 전체 학습시간을 감소시켜 기존의 알고리즘보다향상됨을 확인하였다.
Abstract
In this paper, we propose an algorithm that shortens the learning time by performing individual learning usingpartitioning the deep learning structure. The proposed algorithm consists of four processes: network classification originsetting process, feature vector extraction process, feature noise removal process, and class classification process. First, inthe process of setting the network classification starting point, the division starting point of the network structure foreffective feature vector extraction is set. Second, in the feature vector extraction process, feature vectors are extractedwithout additional learning using the weights previously learned. Third, in the feature noise removal process, theextracted feature vector is received and the output value of each class is learned to remove noise from the data. Fourth,in the class classification process, the noise-removed feature vector is input to the multi-layer perceptron structure, andthe result is output and learned. To evaluate the performance of the proposed algorithm, we experimented with theExtended Yale B face database. As a result of the experiment, in the case of the time required for one-time learning, theproposed algorithm reduced 40.7% based on the existing algorithm. In addition, the number of learning up to the targetrecognition rate was shortened compared with the existing algorithm. Through the experimental results, it was confirmedthat the one-time learning time and the total learning time were reduced and improved over the existing algorithm.
참고문헌 (7)
- LeCun, Yann, "Handwritten digit recognition with a back-propagation network", Advances in neural information processing systems (1990)
- LeCun, Yann, "Learning algorithms for classification: A comparison on handwritten digit recognition", Neural networks: the statistical mechanics perspective, pp.261~276 (2015)
- 전희경, "Deep Learning을 위한 GPGPU 기반 Convolution 가속기 구현", 전기전자학회논문지, 20(3), pp.303~306 (2016), 한국전기전자학회
- 방지원, "차량 검출용 CNN 분류기의 실시간 처리를 위한 하드웨어 설계", 전기전자학회논문지, 20(4), pp.351~360 (2016), 한국전기전자학회
- 이희열, "딥러닝을 PC에 적용하기 위한 메모리 최적화에 관한 연구", 전기전자학회논문지, 21(2), pp.136~141 (2017), 한국전기전자학회[DOI]
- Simonyan, Karen, "Very deep convolutional networks for large-scale image recognition" (2014)
- LeCun, Yann, "Deep learning", nature, 521, pp.436~444 (2015)