강화학습 기반 수평적 파드 오토스케일링 정책의학습 가속화를 위한 전이학습 기법
Transfer Learning Technique for Accelerating Learning of Reinforcement Learning-Based Horizontal Pod Autoscaling Policy
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 환경의 변화에 적응적이고 특정 목적에 부합하는 오토스케일링 정책을 만들기 위해 강화학습 기반 오토스케일링을 사용하는 연구가 많이이루어지고 있다. 하지만 실제 환경에서 강화학습 기반 수평적 파드 오토스케일러(HPA, Horizontal Pod Autoscaler)의 정책을 학습하기 위해서는많은 비용과 시간이 요구되며, 서비스를 배포할 때마다 실제 환경에서 강화학습 기반 HPA 정책을 처음부터 다시 학습하는 것은 실용적이지 않다. 본 논문에서는 쿠버네티스에서 강화학습 기반 HPA를 구현하고, 강화학습 기반 HPA 정책에 대한 학습을 가속화하기 위해 대기행렬 모델 기반시뮬레이션을 활용한 전이 학습 기법을 제안한다. 시뮬레이션을 활용한 사전 학습을 수행함으로써 실제 환경에서 시간과 자원을 소모하며 학습을수행하지 않아도 시뮬레이션 경험을 통해 정책 학습이 이루어질 수 있도록 하였고, 전이 학습 기법을 사용함으로써 전이 학습 기법을 사용하지않았을 때보다 약 42.6%의 비용을 절감할 수 있었다.
Abstract
Recently, many studies using reinforcement learning-based autoscaling have been performed to make autoscaling policies that areadaptive to changes in the environment and meet specific purposes. However, training the reinforcement learning-based Horizontal PodAutoscaler(HPA) policy in a real environment requires a lot of money and time. And it is not practical to retrain the reinforcementlearning-based HPA policy from scratch every time in a real environment. In this paper, we implement a reinforcement learning-basedHPA in Kubernetes, and propose a transfer leanring technique using a queuing model-based simulation to accelerate the training of areinforcement learning-based HPA policy. Pre-training using simulation enabled training the policy through simulation experience withoutconsuming time and resources in the real environment, and by using the transfer learning technique, the cost was reduced by about42.6% compared to the case without transfer learning technique.
참고문헌 (11)
- "Horizontal Pod Autoscaler – Kubernetes"[URL]
- S. Horovitz, "Efficient cloud auto-scaling with SLA objective using Q-learning", 2018 IEEE 6th International Conference on Future Internet of Things and Cloud (FiCloud), pp.85~92 (2018)
- F. Rossi, "Horizontal and vertical scaling of container-based applications using reinforcement learning", 2019 IEEE 12th International Conference on Cloud Computing (CLOUD), pp.329~338 (2019)
- H. Qiu, "FIRM: An intelligent fine-grained resource management framework for SLO-Oriented microservices", 14th USENIX Symposium on Operating Systems Design and Implementation (OSDI 20), pp.805~825 (2020)
- Y. Garí, "Reinforcement learning-based application autoscaling in the cloud: A survey", Engineering Applications of Artificial Intelligence, 102 (2021)
- R. S. Sutton, "Reinforcement learning: An introduction" (2018), MIT press
- L. Toka, "Machine learning-based scaling management for kubernetes edge clusters", IEEE Transactions on Network and Service Management, 18(1), pp.958~972 (2021)
- "kOps: Kubernetes Operations"[URL]
- "Kopf: Kubernetes Operators Framework"[URL]
- "Gatling"[URL]