강화 학습을 통한 저비용 및 고가용성 네트워크 설계
Designing Low-Cost and High-Availability Networks with Reinforcement Learning
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
오늘날의 통신 재난은 의료와 긴급 구호, 공공 안전, 금융, 상거래 측면에서 사회 혼란과 경제적 손실 등을 발생시키는 국가적 재난으로 여겨진다. 이러한 통신 재난은 네트워크 가용성을 고려한 설계로 예방할 수 있다. 그러나, 통신사들은 충분한 네트워크의 가용성 제공보다는 구축에 들어가는 비용을 절약하는 데 초점을 두어 네트워크를 구축한다. 만약 트래픽을 장애로부터 보호하기 위해 새로운 보호 경로를 구축하지 않고 타 통신사의 망을 활용한다면, 망 구축비용을 최소화할 수 있다. 대부분의 통신사들은 각각 통신망을 구축하였지만 서로 망을 공유하지 않는다. 따라서, 통신사 간의 망 공유는 네트워크 가용성 향상과 건설비용 절약을 이끌어낼 수 있다. 이 연구는 전반적인 네트워크 가용성을 증진시킴과 동시에 네트워크의 연결에 따르는 비용을 최소화하는 방법을 소개한다. 우리는 통신사 간의 연결될 수 있는 최적의 선 집합을 찾는 최적화 문제를 정의한다. 또한, 심층 강화 학습 알고리즘을 통해 최종적으로 목표 가용성을 충족시키는 네트워크 간의 연결될 선을 선택한다. 이 알고리즘은 목표 가용성을 만족할 때까지 케이블을 선택하는 에피소드를 반복하며 최적의 케이블 선을 선택하는 방법을 학습한다. 그리고 마지막으로 우리는 그 결과를 일반적인 탐욕(Greedy) 알고리즘과 비교하여 실제 설계 비용이 얼마나 감소하였는지 평가한다.
Abstract
Telecommunication disasters have been regarded as national disasters that cause social chaos and economic losses in various fields such as medical care, emergency relief, public safety, finance, and commerce. Such disasters can be prevented by considering network availability during network design. However, telecommunication companies build networks with more focus on reducing construction costs than providing sufficient network availability. Network construction costs can be minimized if the network of other telecommunication companies are utilized without requiring the construction of 쟮ew protection paths to avoid traffic failure. Although most telecommunication companies have built their communication networks in geographically similar locations, they do not share networks despite the fact that shared networks could lead to improved network availability and reduced construction costs. Therefore, in this study, its introduced a method to minimize the network construction costs while improving the overall network availability. We defined an optimization problem to determine the optimal set of cable lines that can interconnect the networks and used a deep reinforcement learning algorithm to select the cable lines. The deep reinforcement learning algorithm learns to select the optimal cable line by repeating episodes of cable selection until target availability is satisfied. The result was compared with that of a general greedy algorithm to evaluate the reduction in construction costs.
참고문헌 (26)
- Symphorien Karl Yoki Donzia, "Design and Implementation of Autonomous Driving Cars Based on Adaptive Autoware Application", 한국지식정보기술학회 논문지, 16(5), pp.1003~1012 (2021), 한국지식정보기술학회[DOI]
- 안창호, "클라우드 기반의 전국 지방의료원 원격진료 클러스터 구축에 대비한 보안 모델 설계", 한국지식정보기술학회 논문지, 11(2), pp.107~118 (2016), 한국지식정보기술학회
- 이종식, "코로나 팬더믹 사태(COVID-19)에서 원격의료 활성화 방안에 관한 연구", 한국지식정보기술학회 논문지, 15(5), pp.815~829 (2020), 한국지식정보기술학회[DOI]
- B. Mukherjee, "Network adaptability from disaster disruptions and cascading failures", IEEE Commun. Mag., 52(5), pp.230~238 (2014)
- "A fire broke out in the underground communication cable vault of the KT Ahyeon branch"[URL]
- "Internet failure case of KT telecommunication company"[URL]
- J. Ryoo, "MPLS-TP linear protection for ITU-T and IETF", IEEE Commun. Mag, 52(12), pp.16~21 (2014)
- Optical transport network: Linear protection, , ~, pp.ITU-T Recommendation G.873.1 (2017)
- Ethernet linear protection switching, , ~, pp.ITU-T Recommendation G.8031 (2015)
- ODUk Shared Ring Protection, , ~, pp.document ITU-T Rec. G.873.2 (2015)
- MPLS-TP Ring Protection, , ~, pp.document ITU-T Rec. G.8132 (2017), Y.1383
- J. D. Ryoo, "Ethernet ring protection for carrier ethernet networks", IEEE Commun. Mag., 46(9), pp.136~143 (2008)
- Optical Transport Network (OTN) - Shared Mesh Protection, , ~, pp.ITU-T Recommendation G.873.3 (2017)
- Requirements for MPLS Transport Profile (MPLS-TP) Shared Mesh Protection, , ~, pp.IETF RFC 7412 (2014)
- C. H. Cho, "Priority assignment algorithms for shared mesh protection switching", IEEE Trans. Commun., 67(3), pp.2130~2143 (2019)
- "Wikipedia: List of telephone operating companies"[URL]
- "Wikipedia: List of countries by GDP (nominal)"[URL]
- M. Clouqueur, "Availability analysis of span-restorable mesh networks", IEEE JSAC, 20(4), pp.810~821 (2002)
- "Disaster and Safety Communications Network"[URL]
- "5G joint network in rural areas"[URL]
- V. Mnih, "Playing Atari with deep reinforcement learning", NIPS Deep Learning Workshop (2013)
- J. Csirik, "Heuristics for the 0-1min-knapsack problem", Acta Cybernetica, 10(1), pp.15~20 (1991)
- I. Bello, "Neural combinatorial optimization with reinforcement learning", 5th International Conference on Learning Representations (ICLR 2017) (2016)
- E. Khalil, "Learning combinatorial optimization algorithms over graphs", Advances in Neural Information Processing Systems (NIPS 2017), pp.6348~6358 (2017)
- L. Duan, "A multi-task selected learning approach for solving 3D flexible bin packing problem", Proceedings of the 18th International Conference on Autonomous (2018)
- D. P. Kingma, "Adam: A method for stochastic optimization" (2014)