순환신경망 기초 실습 사례 개발
Development of Basic Practice Cases for Recurrent Neural Networks
2
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 비전공자들을 위한 교양과정으로, 기초 순환신경망 과목 커리큘럼을 설계하는데 필수적으로 요구되는 순환신경망 SW 실습 사례를 개발하였다. 개발된 SW 실습 사례는 순환신경망의 동작원리를 이해시키는 데 초점을 두고, 시각화된전체 동작 과정을 확인할 수 있도록 스프레드시트를 사용하였다. 개발된 순환신경망 실습 사례는 지도학습 방식의 텍스트완성훈련데이터 생성, 입력층, 은닉층, 상태층(컨텍스트 노드) 그리고 출력층을 차례대로 구현하고, 텍스트 데이터에 대해 순환신경망의 성능을 테스트하는 것으로 구성되었다. 본 논문에서 개발한 순환신경망 실습사례는 다양한 문자 수를 갖는 단어를 자동완성한다. 제안한 순환신경망 실습사례를 활용하여, 한글 또는 영어 단어를 구성하는 최대 문자 수를 다양하게 확장하여 자동완성하는 인공지능 SW 실습 사례를 만들 수 있다. 따라서, 본 순환신경망 기초 실습 사례의 활용도가 높다고 할 수 있다.
Abstract
In this paper, as a liberal arts course for non-major students, a case study of recurrent neural network SW practice, which is essentialfor designing a basic recurrent neural network subject curriculum, was developed. The developed SW practice case focusedon understanding the operation principle of the recurrent neural network, and used a spreadsheet to check the entire visualized operationprocess. The developed recurrent neural network practice case consisted of creating supervised text completion training data,implementing the input layer, hidden layer, state layer (context node), and output layer in sequence, and testing the performance ofthe recurrent neural network on text data. The recurrent neural network practice case developed in this paper automatically completeswords with various numbers of characters. Using the proposed recurrent neural network practice case, it is possible to createan artificial intelligence SW practice case that automatically completes by expanding the maximum number of characters constitutingKorean or English words in various ways. Therefore, it can be said that the utilization of this case of basic practice of recurrentneural network is high.
참고문헌 (9)
- Y. Bengio, "Deep learning" (2017), MIT Press
- H. Kurt, "Multilayer feedforward networks are universal approximators", Neural Networks, 2(issue 5), pp.359~366 (1989)
- M. Roodschild, "A new approach for the vanishing gradient problem on sigmoid activation", Progress in Artificial Intelligence, 9(4), pp.351~360 (2020)
- V. Nair, "Rectified linear units improve restricted boltzmann machines", International Conference on Machine Learning, pp.807~814 (2010)
- Y. Qin, "The optimized deep belief networks with improved logistic Sigmoid units and their application in fault diagnosis for planetary gearboxes of wind turbines", IEEE Transactions on Industrial Electronics, 66(5), pp.3814~3824 (2018)
- X. Wang, "ReLTanh : An activation function with vanishing gradient resistance for SAE-based DNNs and its application to rotating machinery fault diagnosis", Neurocomputing, 363, pp.88~98 (2019)
- S. Kong, "Hexpo: A vanishing-proof activation function", International Joint Conference on Neural Networks, pp.2562~2567 (2017)
- Wakui Yoshiyuki, "Introduction to recurrent neural networks and reinforcement learning in excel" (2020), Seongandang
- 허경, "스프레드시트를 활용한 지도학습 인공신경망 매개변수 최적화와활성화함수 기초교육방법", 실천공학교육논문지, 13(2), pp.233~242 (2021), 한국실천공학교육학회