AI 워크플로우의 효율적인 관리를 위한 MLOps 개발 환경에 관한 연구
A Study on MLOps Development Environments for Effective Management of AI Workflow
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
대부분의 인공지능 모델은 개인 환경에서 실제 환경으로 진입하는데 어려움이 있으며, 상황에 따라 환경에 빠르게 적응하고 성능을 일관되게 유지하는 것이 매우 중요하다. 머신러닝이나 딥러닝의 라이프 사이클은 데이터 수집, 데이터 준비, 모델 훈련, 모델 튜닝, 모델 모니터링 등과 같이 복잡하게 구성되어 있으며, 서비스 배포에서 끝나는 것이 아닌 데이터의 변화나 새로운 패턴을 반영하기 위해 지속적인 학습을 통해 모델을 업데이트하여 더 낳은 예측이나 분류 결과를 얻을 수 있는데, 이 과정에서 모델의 훈련 과정이 복잡해지고 다양해지기 때문에 이를 효율적으로 관리하고 표준화할 수 있는 MLOps의 필요성이 중요해지고 있다. 하지만 접근 방식이 비교적 초기 단계에 있기 때문에 체계적이고 구조화된 문헌이나 지침이 부족한 실정이며, 컨테이너, 쿠버네티스, 데이터 전처리, 모델 배포 등 상용화를 위한 광범위한 기술이 포함되기 때문에 전문성이 요구된다. 이에 본 연구에서는 인공지능 모델 및 고성능 컴퓨팅 연구에 특화된 오픈소스 연산 자원 통합을 위한 MLOps 시스템을 다중 노드를 기반으로 심도 있게 기술하였으며, 이를 통해 다른 환경에서 동일한 조건으로 성능 재현이 가능한 시스템을 제공하여 시간 소모적이고 반복적인 모델의 워크플로우를 자동화하고 데이터에 사용된 하이퍼파라미터가 모델 성능에 어떤 영향을 미치는지 추적할 수 있었다.
Abstract
Most AI(Artificial Intelligence) models had difficulty entering the production environment beyond the research environment, and it is very important to adapt quickly to the environment and maintain performance consistently depended on the situation. ML(Machine Learning) or DL(Deep Learning) the lifecycle consists of many complex component such as data ingest, data prep, model train, model tune, model monitoring, and does not end in service distribution, but can update the model through continuous learned to reflect data change or new pattern, and as the trained process of the model becomes complicated and diverse, the need for MLOps(Machine Learning Operations) to manages and standardize it is becomes important. However, because the approach is relatively early, there is a lack of structured literature or guidance, and expertise is required because it include a wide range of technology for commercialize such as container, kubernetes, data preprocess, and model distribution. Therefore, in this study, the MLOps system for open-source computing resource integrated specialized in AI model and high-performance computing research is described in depth based on multiple node, and this provided a system that could reproduce performance under the same condition in different environment to automate time consumed and iterative model of workflow and track how hyper-parameter used in data affect model performance.
참고문헌 (26)
- 김동길, "도커 기반의 실시간 데이터 연계 및 처리 환경을 고려한 빅데이터 관리 플랫폼 개발", 대한임베디드공학회논문지, 16(4), pp.153~161 (2021), 대한임베디드공학회[DOI]
- D. S. Son, "What is 'MLOps', an innovative tow truck for AI development?", Korea Institute for Advancement of Technology, 7, pp.1~7 (2021)
- Practitioners guide to MLOps: A framework for continuous delivery and automation of machine learning, "K. Salama", Google Cloud White, 1~36 (2021)
- Hidden technical debt in machine learning systems, "D. Sculley", Neural Information Processing Systems, 2503~2511 (2015)
- 김정집, "인공지능 기반 구조물 안전관리 예측 시스템", 한국지식정보기술학회 논문지, 18(2), pp.247~257 (2023), 한국지식정보기술학회[DOI]
- 송지호, "BERT를 활용한 전자정부표준프레임워크 코드 생성 모델 구축", 한국지식정보기술학회 논문지, 18(4), pp.775~784 (2023), 한국지식정보기술학회[DOI]
- G. Symeonidis, "MLOps - definitions, tools and challenges", IEEE Computing and Communication Workshop and Conference, pp.453~460 (2022)
- 이준희, "컨테이너 환경에서의 호스트 자원 고갈 공격 영향 분석", 정보보호학회논문지, 33(1), pp.87~97 (2023), 한국정보보호학회[DOI]
- 이승욱, "STRIDE 위협 모델링에 기반한 클라우드 컴퓨팅의 쿠버네티스(Kubernetes)의 보안 요구사항에 관한 연구", 한국정보통신학회논문지, 26(7), pp.1047~1059 (2022), 한국정보통신학회[DOI]
- 레 반끄엉, "사물인터넷 환경을 위한 경량 K3S 도구", 한국통신학회논문지, 46(11), pp.1958~1964 (2021), 한국통신학회[DOI]
- 홍승후, "연합학습시스템에서의 MLOps 구현 방안 연구", 인터넷정보학회논문지, 23(3), pp.97~110 (2022), 한국인터넷정보학회
- 손정모, "시계열 데이터 이상탐지를 위한 AI MLOps Workflow 언어와 플랫폼", 한국컴퓨터정보학회논문지, 27(11), pp.19~27 (2022), 한국컴퓨터정보학회[DOI]
- 유지현, "악성 이메일 공격의 사전 탐지 및 차단을 통한이메일 보안에 관한 연구", 전기전자학회논문지, 25(4), pp.672~678 (2021), 한국전기전자학회
- D. G. Kim, "Development of processing missing value for the code using correlation", Institute of Embedded Engineering of Korea Proceedings of the Autumn Conference, pp.9~10 (2019)
- 김동길, "머신러닝 자동화를 위한 개발 환경에 관한 연구", 대한임베디드공학회논문지, 15(6), pp.307~316 (2020), 대한임베디드공학회[DOI]