본문 바로가기
KERD
논문KCI 등재

비지도 학습 기반의 임베딩과 오토인코더를 사용한 침입 탐지 방법

Intrusion Detection Method Using Unsupervised Learning-Based Embedding and Autoencoder

김강석|이준우
한국정보처리학회|2023.08|정보처리학회 논문지 (The Transactions of the Korea Information Processing Society)|제12권 제8호|pp. 355-364

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

시계열 데이터비지도 학습Anomaly DetectionUnsupervised LearningAutoencoder오토인코더이상탐지Time-series Data임베딩 기법Embedding Techniques
주제분류컴퓨터학

초록

최근 지능화된 사이버 위협이 지속적으로 증가함에 따라 기존의 패턴 혹은 시그니처 기반의 침입 탐지 방식은 새로운 유형의 사이버 공격을탐지하는데 어려움이 있다. 따라서 데이터 학습 기반 인공지능 기술을 적용한 이상 징후 탐지 방법에 관한 연구가 증가하고 있다. 또한 지도학습기반 이상 탐지 방식은 학습을 위해 레이블 된 이용 가능한 충분한 데이터를 필요로 하기 때문에 실제 환경에서 사용하기에는 어려움이 있다. 최근에는 정상 데이터로 학습하고 데이터 자체에서 패턴을 찾아 이상 징후를 탐지하는 비지도 학습 기반의 방법에 대한 연구가 활발히 진행되고있다. 그러므로 본 연구는 시퀀스 로그 데이터로부터 유용한 시퀀스 정보를 보존하는 잠재 벡터(Latent Vector)를 추출하고, 추출된 잠재 벡터를사용하여 이상 탐지 학습 모델을 개발하는데 있다. 각 시퀀스의 특성들에 대응하는 밀집 벡터 표현을 생성하기 위하여 Word2Vec을 사용하였으며,밀집 벡터로 표현된 시퀀스 데이터로부터 잠재 벡터를 추출하기 위하여 비지도 방식의 오토인코더(Autoencoder)를 사용하였다. 개발된 오토인코더모델은 시퀀스 데이터에 적합한 순환신경망 GRU(Gated Recurrent Unit) 기반의 잡음 제거 오토인코더, GRU 네트워크의 제한적인 단기 기억문제를해결하기 위한 1차원 합성곱 신경망 기반의 오토인코더 및 GRU와 1차원 합성곱을 결합한 오토인코더를 사용하였다. 실험에 사용된 데이터는시계열 기반의 NGIDS(Next Generation IDS Dataset) 데이터이며, 실험 결과 GRU 기반의 오토인코더나, 1차원 합성곱 기반의 오토인코더를 사용한모델보다 GRU와 1차원 합성곱을 결합한 오토인코더가 훈련 데이터로부터 유용한 잠재 패턴을 추출하기 위한 학습 시간적 측면에서 효율적이었고이상 탐지 성능 변동의 폭이 더 작은 안정된 성능을 보였다.

Abstract

As advanced cyber threats continue to increase in recent years, it is difficult to detect new types of cyber attacks with existing patternor signature-based intrusion detection method. Therefore, research on anomaly detection methods using data learning-based artificialintelligence technology is increasing. In addition, supervised learning-based anomaly detection methods are difficult to use in realenvironments because they require sufficient labeled data for learning. Research on an unsupervised learning-based method that learnsfrom normal data and detects an anomaly by finding a pattern in the data itself has been actively conducted. Therefore, this study aimsto extract a latent vector that preserves useful sequence information from sequence log data and develop an anomaly detection learningmodel using the extracted latent vector. Word2Vec was used to create a dense vector representation corresponding to the characteristicsof each sequence, and an unsupervised autoencoder was developed to extract latent vectors from sequence data expressed as dense vectors. The developed autoencoder model is a recurrent neural network GRU (Gated Recurrent Unit) based denoising autoencoder suitable forsequence data, a one-dimensional convolutional neural network-based autoencoder to solve the limited short-term memory problem thatGRU can have, and an autoencoder combining GRU and one-dimensional convolution was used. The data used in the experiment istime-series-based NGIDS (Next Generation IDS Dataset) data, and as a result of the experiment, an autoencoder that combines GRUand one-dimensional convolution is better than a model using a GRU-based autoencoder or a one-dimensional convolution-basedautoencoder. It was efficient in terms of learning time for extracting useful latent patterns from training data, and showed stableperformance with smaller fluctuations in anomaly detection performance.

참고문헌 (26)

  1. J. Song, "A generalized feature extraction scheme to detect 0-day attacks via IDS alerts", International Symposium on Applications and the Internet (2008)
  2. E. Eskin, "A geometric framework for unsupervised anomaly detection", Applications of Data Mining in Computer Security, 6, pp.77~101 (2002), Springer[DOI]
  3. S. Selva Birunda, "A review on word embedding techniques for text classification", Innovative Data Communication Technologies and Application, 59, pp.267~281 (2021), Springer[DOI]
  4. T. Mikolov, "Efficient estimation of word representations in vector space", arXiv preprint arXiv : 1301. 3781v3, ~ (2013)
  5. M. A. Kramer, "Nonlinear principal component analysis using autoassociative neural networks", AIChE Journal, 37(2), pp.233~243 (1991)[DOI]
  6. F. T. Liu, "Isolation forest", Eighth IEEE International Conference on Data Mining, pp.413~422 (2008)
  7. W. Haider, "Generating realistic intrusion detection system dataset based on fuzzy qualitative modeling", Journal of Network and Computer Applications, 87(1), pp.185~192 (2017)[DOI]
  8. M. M. Breunig, "LOF : Identifying density-based local outliers", Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data (2000)
  9. Y. Chen, "One-class SVM for learning in image retrieval", Proceedings of International Conference on Image Processing, 1, pp.34~37 (2001)
  10. L. Ruff, "Deep one-class classification", Proceedings of the 35th International Conference on Machine Learning (PMLR), 80, pp.4393~4402 (2018)
  11. C. Baur, "Deep autoencoding models for unsupervised anomaly segmentation in brain MR images", International MICCAI Brainlesion Workshop, pp.161~169 (2018)
  12. P. Bergmann, "Improving unsupervised defect segmentation by applying structural similarity to autoencoders", arXiv preprint arXiv:1807.02011v3, ~ (2018)
  13. S. Pidhorskyi, "Generative probabilistic novelty detection with adversarial autoencoders", Proceedings of the 32nd International Conference on Neural Information Processing Systems(NeurIPS 2018), pp.6823~6834 (2018)
  14. T. Kieu, "Outlier detection for time series with recurrent autoencoder ensembles", Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI-19), pp.2725~2732 (2019)
  15. K. Sadaf, "Intrusion detection based on autoencoder and isolation forest in fog computing", IEEE Access, 8, pp.167059~167068 (2020)[DOI]
  16. G. Andresini, "Multi-channel deep feature learning for intrusion detection", IEEE Access, 8, pp.53346~53359 (2020)[DOI]
  17. C. Kim, "Intrusion detection based on sequential information preserving log embedding methods and anomaly detection algorithms", IEEE Access, 9, pp.58088~58101 (2021)[DOI]
  18. S. Ranga, "Log anomaly detection using sequential convolution neural networks and Dual-LSTM model", SN Computer Science, 4(3) (2023)[DOI]
  19. W. Tang, "Anomaly detection of core failures in die casting X-ray inspection images using a convolutional autoencoder", Machine Vision and Application, 32(4), pp.1~17 (2021)[DOI]
  20. M. S. Elsayed, "Network anomaly detection using LSTM based autoencoder", Proceedings of the 16th ACM Symposium on QoS and Security for Wireless and Mobile Networks, pp.37~45 (2020)
  21. M. A. Kabir, "Unsupervised learning for network flow based anomaly detection in the era of deep learning", IEEE Sixth International Conference on Big Data Computing Service and Applications (BigDataService), pp.165~168 (2020)
  22. M. Aljanabi, "Intrusion detection systems, issues, challenges, and needs", International Journal of Computational Intelligence Systems, 14(1), pp.560~571 (2021)[DOI]
  23. J. Chung, "Empirical evaluation of gated recurrent neural networks on sequence modeling", Presented in NIPS 2014 Deep Learning and Representation Learning Workshop (2014)
  24. S. Hochreiter, "Long short-term memory", Neural Computation, 9(8), pp.1735~1780 (1997)[DOI]
  25. R. Chalapathy, "Anomaly detection using one-class neural networks", arXiv preprint arXiv : 1802, ~ (2019)
  26. A. Vaswani, "Attention is all you need", 31st Conference on Neural Information Processing Systems (NIPS 2017) (2017)

관련 논문AI추천

비지도학습 오토 엔코더를 활용한 네트워크 이상 검출 기술강구홍한국정보보호학회 · 정보보호학회논문지2020 · 제30권 제4호IOT 환경에서의 오토인코더 기반 특징 추출을 이용한 네트워크 침입탐지 시스템박기현, 이주화한국정보처리학회 · 정보처리학회 논문지2019 · 제8권 제12호이상 탐지를 위한 시스템콜 시퀀스 임베딩 접근 방식 비교김강석, 박경선, 이근섭중소기업융합학회 · 융합정보논문지2022 · 제12권 제2호다양한 데이터 전처리 기법 기반 침입탐지 시스템의이상탐지 정확도 비교 연구김강석, 박경선한국정보처리학회 · 정보처리학회 논문지2021 · 제10권 제11호기계학습 기반 내부자위협 탐지기술: RNN Autoencoder를 이용한 비정상행위 탐지강기태, 류연승, 하동욱한국정보보호학회 · 정보보호학회논문지2017 · 제27권 제4호다양한 데이터 전처리 기법과 데이터 오버샘플링을 적용한 GRU 모델 기반 이상 탐지 성능 비교김강석, 유승태한국정보보호학회 · 정보보호학회논문지2022 · 제32권 제2호

이 간행물의 다른 논문 (4건)

XAI 기반 기업부도예측 분류모델 연구김지홍, 문남미pp. 333-340다중 어댑터를 이용한 교차 언어 및 스타일 기반의 제목 생성최용석, 이공주, 박요한pp. 341-354자유대화의 음향적 특징 및 언어적 특징 기반의성인과 노인 분류 성능 비교한승훈, 강병옥, 동성희pp. 365-370확률적 교차 연산을 이용한 보편적 관계 추출이제승, 김재훈pp. 371-380
원문 보기