본문 바로가기
KERD
논문KCI 등재

협업 기계 학습에서의 통신 상황을 고려한 학습과 추론 연산 분배에 대한 분석 연구

Analysis of Training and Inferencing Processing Allocation in Cooperative Machine Learning with Considering Communication Situation

이웅희|김황남
한국차세대컴퓨팅학회 (KINGComputing)|2021.06|한국차세대컴퓨팅학회 논문지 (The Journal of Korean Institute of Next Generation Computing)|제17권 제3호|pp. 18-29|DOI 10.23019/kingpc.17.3.202106.002

1

조회

0

다운로드

1

인용

0

참고문헌

키워드

클라우드Cloud분산 컴퓨팅협업 컴퓨팅Distributed Computing협업 기계 학습Cooperative Machine LearningCooperative Computing
주제분류컴퓨터학

초록

인공지능 기술과 이를 뒷받침 해줄 수 있는 컴퓨팅 기술의 발전으로 인해 매우 많은 영역에서 인공지능 기술을 활용한 서비스를 제공하고 있다. 이와 더불어 네트워크와 클라우드(Cloud) 기술의 발전으로 인해 인공지능의 학습(Training)과 추론(Inferencing)을 클라우드에서 수행함으로써 컴퓨팅 성능이 낮은 기기들 또한 인공지능을 직접적으로 활용할 수 있다. 최근에는 클라우드 뿐 아니라 모바일 기기들이 함께 학습과 추론을 위한 연산들을 나누어 수행하고 이를 다시 종합하는 협업 기계 학습은 많은 주목을 받고 있는 학습 기법들 중 한 형태이다. 이러한 형태의 학습의 경우, 모바일 기기들을 활용하여 학습하고 추론 연산을 수행할 때, 응용의 성능뿐 아니라 통신 상황과 그로 인한 지연시간 및 모바일 기기들에서 소모되는 전력을 종합적으로 고려하는 것은 매우 중요하다. 따라서 본 논문에서는 클라우드와 연결된 멀티 홉 기반의 네트워크에서 협업 기계 학습을 수행할 때, 학습 및 추론 연산 분배에 따른 주요 사례(All in-cloud, Training in-cloud, All on-device)들에 대해, 통신 상황을 고려하여 지연시간과 소모 전력에 대한 분석을 수행하였다. 분석을 통해, 통신 상황을 고려하여 학습 및 추론 연산 분배 방식을 선택해야 함을 보였으며, 멀티 홉 네트워크인 경우 홉 수가 증가할수록 통신 상황에 따른 오버헤드가 급격히 증가될 수 있음을 보였다.

Abstract

Due to the development of artificial intelligence (AI) and computing technologies supporting AI, services utilizing AI technologies are provided in so many areas. In addition, advances in network and cloud technologies also allow devices with low computing power to directly utilize AI by performing training and inference in the cloud. Recently, the cooperative machine learning, in which not only the cloud but also mobile devices perform computations for learning and inference together, is a form of learning techniques attracting attention. For this form of learning, when learning and performing inference operations using mobile devices, it is important to consider the performance of the application as well as the latency and power consumption in the mobile devices. Therefore, in this paper, we conduct analyses in the network situation when the cooperative machine learning is performed on multi-hop-based networks connected to the cloud. By considering the communication situation, from the latency and power consumption perspectives, we conduct the analyses of major cases depending on the distribution of learning and inference operations, All in-cloud case, Training in-cloud case, and All on-device case. Through the analyses, we show that the distribution method of learning and inference computation should be chosen with considering the communication situation. Furthermore, we show that, in the multi-hop networks, the overhead of communication can increase dramatically as the number of hops increases.

참고문헌 (27)

  1. Lee, Kangwook, "Speeding up distributed machine learning using codes", IEEE Transactions on Information Theory, 64(3), pp.1514~1529 (2017)
  2. Shi, Yuanming, "Communication-efficient edge AI: Algorithms and systems", IEEE Communications Surveys & Tutorials, 22(4), pp.2167~2191 (2020)
  3. Peltonen, Ella, "6G white paper on edge intelligence", arXiv preprint arXiv:2004.14850, ~ (2020)
  4. Yang, Chien-Sheng, "Communication-aware scheduling of serial tasks for dispersed computing", IEEE, 2019, pp.27(4), 1330~1343
  5. Lee, W., "Enabling Reliable UAV Control by Utilizing Multiple Protocols and Paths for Transmitting Duplicated Control Packets", Sensors, 21(9), pp.3295~ (2021)
  6. Tuli, S., "Edgelens: Deep learning based object detection in integrated iot, fog and cloud computing environments", 2019 4th International Conference on Information Systems and Computer Networks (ISCON), pp.496~502 (2019), IEEE
  7. Chen, J., "Deep Learning With Edge Computing : A Review", Proceedings of the IEEE, 107(8), pp.1655~1674 (2019)
  8. Eshratifar, A. E., "Bottlenet: A deep learning architecture for intelligent mobile cloud computing services", 2019 IEEE, 2019, 1~6[DOI]
  9. Yang, B., "Cost-efficient NFVenabled mobile edge-cloud for low latency mobile applications", IEEE Transactions on Network and Service Management, 15(1), pp.475~488 (2018)
  10. Schmoll, R. S., "Demonstration of VR", AR offloading to mobile edge cloud for low latency 5G gaming application, 2018 (2018), 1~3[DOI]
  11. Trinh, H., "Energy-aware mobile edge computing and routing for low-latency visual data processing", IEEE Transactions on Multimedia, 20(10), pp.2562~2577 (2018)
  12. Ferrández-Pastor, F. J., "Precision agriculture design method using a distributed computing architecture on internet of things context", Sensors, 18(6), pp.1731~ (2018)
  13. Xu, Y., "A distributed computing framework for wind speed big data forecasting on Apache Spark", Sustainable Energy Technologies and Assessments, 37, pp.100582~ (2020)
  14. Li, F., "Wireless MapReduce distributed computing", IEEE Transactions on Information Theory, 65(10), pp.6101~6114 (2019)
  15. Zhao, Z., "Deepthings : Distributed adaptive deep learning inference on resource-constrained iot edge clusters", IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 37(11), pp.2348~2359 (2018)
  16. Park, J., "Communication-efficient and distributed learning over wireless networks : Principles and applications", Proceedings of the IEEE, 109(5), pp.796~819 (2021)
  17. Makaya, C., "Cost-effective Machine Learning Inference Offload for Edge Computing", arXiv preprint arXiv:2012.04063, ~ (2020)
  18. Vineyard, C. M., "Low-Power Deep Learning Inference using the SpiNNaker Neuromorphic Platform", Proceedings of the 7th Annual Neuro-inspired Computational Elements Workshop, pp.1~7 (2019)
  19. 김의선, "분산처리서버에서의 멀티 쓰레드 방식을 적용한 원격얼굴인식 시스템", 한국차세대컴퓨팅학회 논문지, 13(5), pp.19~28 (2017), 한국차세대컴퓨팅학회
  20. 손용락, "LOD 클라우드에서의 동일연결을 통한 심층검색 및 결과정제 시스템 구현", 한국차세대컴퓨팅학회 논문지, 14(2), pp.49~60 (2018), 한국차세대컴퓨팅학회
  21. 김진환, "MMOG의 부하 분산을 위한 클라우드 기반의 P2P 시스템", 한국차세대컴퓨팅학회 논문지, 16(6), pp.38~47 (2020), 한국차세대컴퓨팅학회[DOI]
  22. Verbraeken, Joost, "A survey on distributed machine learning", ACM Computing Surveys (CSUR), 53(2), pp.1~33 (2020)
  23. Xing, Eric P., "Strategies and principles of distributed machine learning on big data", Engineering, 2(2), pp.179~195 (2016)
  24. Wei, Jinliang, "Managed communication and consistency for fast data-parallel iterative analytics", Proceedings of the Sixth ACM Symposium on Cloud Computing (2015)
  25. Zhang, Hao, "Poseidon: An efficient communication architecture for distributed deep learning on {GPU} clusters", 2017{USENIX} Annual Technical Conference ({USENIX}{ATC} 17) (2017)
  26. Xie, Pengtao, "Distributed machine learning via sufficient factor broadcasting", arXiv preprint arXiv:1511.08486, ~ (2015)
  27. Riley, George F., "Modeling and tools for network simulation", pp.15~34 (2010), Springer

관련 논문AI추천

하이브리드 클라우드 환경 기반 연합학습 시스템 아키텍처 연구김광기, 김진술, 신혜주, 오상원, 오승민한국지식정보기술학회 · 한국지식정보기술학회 논문지2023 · 제18권 제2호통신 실패에 강인한 분산 뉴럴 네트워크 분할 및 추론 정확도 개선 기법양회석, 정종훈대한임베디드공학회 · 대한임베디드공학회논문지2021 · 제16권 제1호에너지 수집형 AIoT의 효율적인 연합학습을 위한 에너지 적응형 근사컴퓨팅 기법노동건, 윤익준한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2025 · 제30권 제7호프라이버시를 보호하는 분산 기계 학습 연구 동향신영아, 이민섭, 천지영한국정보처리학회 · 정보처리학회 논문지2024 · 제13권 제2호산업용 IoT 환경에서 MEC 기반의에너지 효율적인 오프로딩 결정 알고리즘구설원, 임유진한국정보처리학회 · 정보처리학회논문지. 컴퓨터 및 통신시스템2021 · 제10권 제11호무선 네트워크 환경에서 가용성 공격에 효과적으로 대응하기 위한 머신러닝 기반 협력 탐지 기법이일구, 전소은, 조민지한국정보처리학회 · 정보처리학회 논문지2025 · 제14권 제9호

이 간행물의 다른 논문 (7건)

객체 중심 증강 기법을 통한 군중 장면에서의 임베딩 유사도 기반 이상 탐지곽정환, 강재용pp. 7-17실제 이동에 따른 자기장 랜덤성을 반영한 LSTM 기반 실내 위치 인식 시스템최린, 배한준pp. 30-38사용자 레퍼토리 기반 분산 병렬 협업 필터링을 위한 데이터 분배 방법 연구민준기, 최성준, 손한기, 문철한pp. 39-47A study on Movie Scene Understanding for Indexing and Summarization백성욱, 이수민, 이미영, 이자즈 울 하크, 박상민, 김민제pp. 48-57멀티유저의 공유화면 상호작용과 네트워크 트래픽 감소를 위한 화상회의 시스템 설계 및 구현정혜진, 정복문pp. 58-66
원문 보기