하이브리드 클라우드 환경 기반 연합학습 시스템 아키텍처 연구
A Study on the Federated Learning System Architecture in Hybrid Cloud Environment
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
데이터와 서비스의 폭발적인 증가로 인해 클라우드 컴퓨팅 기술의 꾸준한 성장이 예상되고 있다. 특히 하이브리드 클라우드 기술은 효율적인 인공지능 학습 방법으로 주목받고 있다. 그러나 기존 중앙 집중식 인공지능 학습 방법의 데이터 이동으로 인한 보안 및 서버 과부하 문제의 심각성에 대한 우려가 제기되고 있다. 이러한 문제를 해결하기 위해 다양한 분산 학습 방법들이 연구되었으며, 데이터 공유 없이 고성능 모델을 생성할 수 있는 연합 학습 알고리즘이 제안되었다. 그러나 연합 학습 알고리즘은 로컬 디바이스 내 리소스 요구량이 크다는 한계를 가지고 있다. 따라서, 본 논문에서는 로컬 디바이스의 제한된 리소스로도 안정적인 성능의 모델을 생성할 수 있도록 AWS 기반 하이브리드 클라우드 환경 내 연합학습을 적용한 시스템 아키텍처를 제안하였다. 제안하는 아키텍처의 타당성을 검증하기 위해 이미지 분류 작업에 대한 데이터 분포 및 개수의 균등성을 고려한 다양한 시나리오에서 연합 학습 모델 성능을 평가하였다. 결과적으로 로컬 데이터를 공유하지 않고도 로컬 모델과 글로벌 모델의 정확도가 98% 이상임을 확인할 수 있었다. 이는 향후 데이터와 서비스 증가에 따른 서버 과부하 문제의 해결책이 될 뿐만 아니라, 개인정보와 같은 민감한 데이터를 공유하지 않고도 높은 성능의 학습 모델을 생성하여 다양한 인공지능 서비스를 제공할 수 있도록 기여할 것이다.
Abstract
Recently, with the explosive increase in data and services, steady growth in cloud computing technology is expected. In particular, hybrid cloud technology is attracting attention as an efficient artificial intelligence (AI) learning method. However, concerns have arisen regarding the severity of security and server overload issues caused by data movement in traditional centralized AI learning methods. To address these challenges, various distributed learning methods have been studied, and a federated learning algorithm capable of generating high-performance models without data sharing has been proposed. Nonetheless, the federated learning algorithm has limitations in terms of the amount of resources required on local devices. Therefore, this paper proposes a system architecture that applies federated learning within an AWS-based hybrid cloud environment, enabling the generation of stable performance models with limited local device resources. To validate the feasibility of the proposed architecture, we evaluated the federated learning model performance in various scenarios considering data distribution and quantity uniformity for image classification tasks. As a result, we confirmed that accuracies of over 98% were achieved for both local and global models without sharing local data. This not only offers a solution to server overload issues due to future data and service growth, but also contributes to providing a wider range of AI services by generating high-performance learning models without sharing sensitive data such as personal information.
참고문헌 (20)
- S. R. Park, "Korea Cloud Opportunity Forecast by Industry 2021-2025", IDC, South Korea, Doc#AP47751622, ~ (2022)
- N. A. Kumar J, "A proposal of smart hospital management using hybrid cloud, IoT, ML, and AI", 2019 International Conference on Communication and Electronics Systems (ICCES), pp.1082~1085 (2019)
- S. W. Oh, "A survey on microservices use cases for AI based application on hybrid cloud", The Journal of Contents Computing, 4(1), pp.439~448 (2022)
- 조창희, "탄흔 검출을 위한 이미지 처리와 클라우드 기반 데이타 관리 시스템", 한국지식정보기술학회 논문지, 12(1), pp.33~46 (2017), 한국지식정보기술학회[DOI]
- X. Wang, "In-edge ai:Intelligentizing mobile edge computing, caching and communication by federated learning", IEEE Network, 33(5), pp.156~165 (2019)
- O. A. Wahab, "Federated machine learning: Survey, multi-level classification, desirable criteria and future directions in communication and networking systems", IEEE Communications Surveys & Tutorials, 23(2), pp.1342~1397 (2021)
- L. U. Khan, "Federated learning for internet of things: Recent advances, taxonomy, and open challenges", IEEE Communications Surveys & Tutorials, 23(3), pp.1759~1799 (2021)
- X. Yin, "A comprehensive survey of privacy-preserving federated learning: A taxonomy, review, and future directions", ACM Computing Surveys(CSUR), 54(6), pp.1~36 (2021)
- M. Armbrust, "A view of cloud computing", Communications of the ACM, 53(4), pp.50~58 (2010)
- "Amazon Web Service" (2023)[URL]
- "Windows Azure" (2023)[URL]
- 오승민, "가상화 플랫폼을 통한 CNN기반 모니터링 애플리케이션의 안정적인 응답 속도 보장 방안 연구", 디지털콘텐츠학회논문지, 20(12), pp.2525~2533 (2019), 한국디지털콘텐츠학회[DOI]
- "What Is Cloud Computing? Definition, Benefits, Types, and Trends" (2023)[URL]
- M. Danlam, "An internet of things(IoT)-based veterinary support system for livestock skin disease health care using MobileNetV2", The Journal of Contents Computing, 4(2), pp.449~464 (2022)
- A. Srinivasan, "Era of cloud computing : A new insight to hybrid cloud", Procedia Computer Science, 50, pp.42~51 (2015)
- "Hybrid Cloud - Trends to Watch in 2019 Cloud Issues Report" (2023)[URL]
- Q. Yang, "Federated machine learning : Concept and applications", ACM Transactions on Intelligent Systems and Technology(TIST), 10(2), pp.1~19 (2019)
- H. Zhu, "Multi-objective evolutionary federated learning", IEEE transactions on neural networks and learning systems, 31(4), pp.1310~1322 (2019)
- 신홍재, "딥러닝을 활용한 실내 식물 이미지 분류 및 식물 정보 제공 웹 어플리케이션", 한국지식정보기술학회 논문지, 15(2), pp.167~175 (2020), 한국지식정보기술학회[DOI]
- J. Charzinski, "HTTP", TCP connection and flow characteristics, 2000, pp.42(2-3), 149~162