인코더-디코더 모델에서 잠재 벡터의 분류 성능 분석
Analysis of classification performance for latent vector in encoder-decoder model
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 인코더-디코더 모델 (encoder-decoder model)에서 잠재 벡터 (latent vector)의 분류 성능을 비교 분석한다. 오토인코더와 같은 일반적인 인코더-디코더 모델은 인코더 입력을 잠재 벡터로 변환하고 이를 디코더에 입력하여 인코더 입력과 유사한 출력을 생성하도록 학습한다. 이와 같은 인코더-디코더 모델의 잠재 벡터는 인코더 입력의 특징을 추상화하여 잘 보존한다고 고려할 수 있다. 나아가 잠재 벡터가 특징 공간에서 클러스터들 사이에서 구분이 가능한 거리를 보장한다면 이를 비지도 학습에 적용하는 것이 가능하다. 본 논문에서는 인코더-디코더 모델에서의 잠재 벡터를 비지도 학습 및 점진적 학습에 적용하기 위한 기초 연구로서 잠재 벡터의 분류 성능을 분석한다. 이를 위해 스택트 오토인코더 (stacked autoencoder)와 2가지 종류의 CNN (Convolutional Neural Network) 기반 오토인코더를 바탕으로 각각 구해지는 잠재 벡터를 KNN (K-Nearest Neighbor)과 랜덤 포레스트 (random forest)를 포함하는 4가지 종류의 분류기에 적용한다. 실험 결과 완전 연결 계층 (fully connected or dense layer)를 가지는 CNN 기반의 오토인코더를 사용한 결과 평균 정확률은 약 97%이고 스택트 오토인코더의 결과는 약 95%로 2% 정도 우수한 분류 성능을 보이는 것을 확인할 수 있다. 본 논문에서의 연구를 바탕으로 완전 연결 계층을 가지는 CNN 기반의 오토 인코더를 이용하여 구해지는 잠재 벡터를 비지도 학습에 적용하는 것으로 확장하는 것이 가능하다.
Abstract
This paper compares and analyzes the classification performance of latent vectors in the encoder-decoder model. A typical encoder-decoder model, such as an autoencoder, transforms the encoder input into a latent vector and feeds it into the decoder. In this process, the encoder-decoder model learns to produce an decoder output similar to the encoder input. We can consider that the latent vector of the encoder-decoder model is well preserved by abstracting the characteristics of the encoder input. Further, it is possible to apply to unsupervised learning, if the latent vector guarantees a sufficient distance between clusters in the feature space. In this paper, the classification performance of latent vectors is analyzed as a basic study for applying latent vectors in encoder-decoder models to unsupervised and continual learning. The latent vectors obtained by the stacked autoencoder and 2 types of CNN-based autoencoder are applied to 4 kinds of classifiers including KNN and random forest. Experimental results show that the latent vector using the CNN-based autoencoder with a dense layer (about 97%) shows superior classification performance by up to 2% compared to the result of the stacked autoencoder (about 95%). Based on the results in this paper, it is possible to extend the latent vector obtained by using a CNN-based auto-encoder with dense layer to unsupervised learning.
참고문헌 (24)
- LeCun, Y., "Backpropagation Applied to Handwritten Zip Code Recognition", Neural Computation, 1(4), pp.541~551 (1989)[DOI]
- 최현종, "이중흐름 3차원 합성곱 신경망 구조를 이용한 효율적인 손 제스처 인식 방법", 한국차세대컴퓨팅학회 논문지, 14(6), pp.66~74 (2018), 한국차세대컴퓨팅학회
- Mayur Bhargab Bora, "Handwritten Character Recognition from Images using CNN-ECOC", Procedia Computer Science, 167, pp.2403~2409 (2020)
- Bo Jin, "An Object Detector based on Bi-directional Feature Pyramid Network and Faster R-CNN", ICCAI '22: Proceedings of the 8th International Conference on Computing and Artificial Intelligence, pp.484~490 (2022)
- Jingqiu Guo, "GPS-based citywide traffic congestion forecasting using CNN-RNN and C3D hybrid model", Transportmetrica A Transport Science, 17(2), pp.190~211 (2021)
- Gonzalo De-Las-Heras, "Advanced Driver Assistance Systems (ADAS) Based on Machine Learning Techniques for the Detection and Transcription of Variable Message Signs on Roads", Sensors, 21(17), pp.5866~ (2021), MDPI AG[DOI]
- 김준태, "드라이빙 게임 환경에서의 효과적인 학습 데이터 수집 및 컨볼루셔널 뉴럴 네트워크 기반의 자율주행", 한국차세대컴퓨팅학회 논문지, 15(1), pp.28~37 (2019), 한국차세대컴퓨팅학회
- J. Deng, "ImageNet : A large-scale hierarchical image database", 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp.248~255 (2009)
- Aurélien Géron, "Hands-On Machine Learning with Scikit-Learn and TensorFlow" (2017), O'Reilly Media
- 박헌우, "클러스터링 기법을 이용한 소프트웨어 요구사항 적합성 검증도구 개발", 한국차세대컴퓨팅학회 논문지, 17(6), pp.54~65 (2021), 한국차세대컴퓨팅학회[DOI]
- 오동건, "3차원 뇌 자기공명 영상의 비지도 학습 기반 비강체 정합 네트워크", 한국차세대컴퓨팅학회 논문지, 15(5), pp.64~74 (2019), 한국차세대컴퓨팅학회[DOI]
- M. Maier, "Towards Using Unsupervised Learning for Comparing Traditional and Synchronous Online Learning in Assessing Students’ Academic Performance", Mathematics, 9(2870) (2021)
- Jonathan Masci, "Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction", Lecture Notes in Computer Science, pp.52~59 (2011), Springer Berlin Heidelberg[DOI]
- Rikiya Yamashita, "Convolutional neural networks: an overview and application in radiology", Insights into Imaging, 9(4), pp.611~629 (2018), Springer Science and Business Media LLC[DOI]
- "The MNIST Database of Handwritten Digits" (1998)[URL]
- Han Xiao, "Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms", arXiv:1708.07747, ~
- "Machine Learning in Python"[URL]
- Oliver Kramer, "K-Nearest Neighbors", Dimensionality Reduction with Unsupervised Nearest Neighbors, 51, pp.13~23 (2013), Springer Berlin Heidelberg[DOI]
- 권현, "딥뉴럴네트워크 기반의 네트워크 침입탐지시스템 설계", 한국차세대컴퓨팅학회 논문지, 16(1), pp.7~18 (2020), 한국차세대컴퓨팅학회[DOI]
- Zhong Li, "A Comparative Study of Different Distances for Similarity Estimation", Communications in Computer and Information Science, pp.483~488 (2011), Springer Berlin Heidelberg[DOI]
- Leo Breiman, "Random Forests", Machine Learning, 45(1), pp.5~32 (2001), Springer Science and Business Media LLC[DOI]
- F. Murtaghl, "The Multilayer Perceptron for Discriminant Analysis: Two Examples", Studies in Classification, Data Analysis, and Knowledge Organization, pp.305~314 (1992), Springer Berlin Heidelberg[DOI]
- Nello Cristianini, "Support Vector Machines", Encyclopedia of Algorithms, pp.928~932 (2008), Springer US[DOI]
- Robert Gove, "New guidance for using t-SNE: Alternative defaults, hyperparameter selection automation, and comparative evaluation", Visual Informatics, 6(2), pp.87~97 (2022), Elsevier BV[DOI]