기계학습 분산 환경을 위한 부하 분산 기법
Load Balancing Scheme for Machine Learning Distributed Environment
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
기계학습이 보편화되면서 기계학습을 활용한 응용 개발 또한 활발하게 이루어지고 있다. 또한 이러한 응용 개발을 지원하기 위한 기계학습 플랫폼 연구도 활발하게 진행되고 있다. 그러나 기계학습 플랫폼 연구가 활발하게 진행되고 있음에도 불구하고 기계학습 플랫폼에 적절한 부하 분산에 관한 연구는 아직 부족하다. 따라서 본 논문에서는 기계학습 분산 환경을 위한 부하 분산 기법을 제안한다. 제안하는 기법은 분산 서버를 레벨 해시 테이블 구조로 구성하고 각 서버의 성능을 고려하여 기계학습 작업을 서버에 할당한다. 이후 분산 서버를 구현하여 실험하고 기존 해싱 기법과 성능을 비교하였다. 제안하는 기법을 기존 해싱 기법과 비교하였을 때 평균 약 26%의 속도 향상을 보였고, 서버에 할당되지 못하고 대기하는 작업의 수가 약 38% 이상 감소함을 보였다.
Abstract
As the machine learning becomes more common, development of application using machine learning is actively increasing. In addition, research on machine learning platform to support development of application is also increasing. However, despite the increasing of research on machine learning platform, research on suitable load balancing for machine learning platform is insufficient. Therefore, in this paper, we propose a load balancing scheme that can be applied to machine learning distributed environment. The proposed scheme composes distributed servers in a level hash table structure and assigns machine learning task to the server in consideration of the performance of each server. We implemented distributed servers and experimented, and compared the performance with the existing hashing scheme. Compared with the existing hashing scheme, the proposed scheme showed an average 26% speed improvement, and more than 38% reduced the number of waiting tasks to assign to the server.
참고문헌 (15)
- G. Nguyen, "Machine Learning and Deep Learning Frameworks and Libraries for Large-scale Data Mining : a Survey", Artificial Intelligence Review, pp.1~48 (2019)
- J. Schmidt, "Recent advances and applications of machine learning in solid-state materials science", npj Computational Materials, 5(1), pp.83~ (2019)
- 박동주, "Deep Neural Network 기반 프로야구 일일 관중 수 예측: 광주-기아 챔피언스 필드를 중심으로", 스마트미디어저널, 7(1), pp.16~23 (2018), (사)한국스마트미디어학회[DOI]
- 박선, "오픈 소스 기반의 딥러닝을 이용한 적조생물 이미지 분류", 스마트미디어저널, 7(2), pp.34~39 (2018), (사)한국스마트미디어학회[DOI]
- 김서정, "딥러닝을 이용한 양파 밭의 잡초검출 연구", 스마트미디어저널, 7(3), pp.16~21 (2018), (사)한국스마트미디어학회[DOI]
- H. Kim, "Cluster Management Framework for Autonomic Machine Learning Platform", Proceedings of the Conference on Research in Adaptive and Convergent Systems (RACS ’19), pp.128~130 (2019)
- K. M. Lee, "Autonomic Machine Learning Platform", International Journal of Information Management, 49, pp.491~501 (2019)
- D. M. Dias, "A Scalable and Highly Available Web Server", COMPCON ’96. Technologies for the Information Super-highway Digest of Papers, pp.85~92 (1996)
- D. Kashyap, "A Survey Of Various Load Balancing Algorithms In Cloud Computing", International Journal of Scientific & Technology Research, 3, pp.115~119 (2014)
- J. Y. Jo, "Hash-based Internet Traffic Load Balancing", Proceedings of the 2004 IEEE International Conference on Information Reuse and Integration, pp.204~209 (2004)
- X. Zhu, "DLB: Deep Learning Based Load Balancing", arXiv:cs.DC, 2019 (1910)
- C. S. Lin, "Efficient Workload Balancing on Heterogeneous GPUs using Mixed-Integer Non-Linear Programming", Journal of Applied Research and Technology, 12, pp.1176~1186 (2014)
- Y. Khalid, "E-OSched : A Load Balancing Scheduler for Heterogeneous Multicores", The Journal of Supercomputing, 74, pp.5399~5431 (2018)
- P. Zuo, "Write-Optimized and High-Performance Hashing Index Scheme for Persistent Memory", Proceedings of the 13th USENIX Conference on Operating Systems Design and Implementation (OSDI’18), pp.461~476 (2018), USENIX Association
- R. Pagh, "Cuckoo Hashing", J. Algorithms, 51(2), pp.122~144 (2004)