시계열 데이터 이상탐지를 위한 AI MLOps Workflow 언어와 플랫폼
MLOps workflow language and platform for time series data anomaly detection
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 연구에서는 시계열 데이터 이상 탐지 수행을 위한 MLOps(Machine Learning Operations) 워크플로를 기술하고 관리할 수 있는 언어와 플랫폼을 제안한다. 시계열 데이터는 IoT 센서, 시스템 성능 지표, 사용자 접속량 등 많은 분야에서 수집되고 있다. 또한, 시스템 모니터링 및 이상 탐지 등많은 응용 분야에 활용 중이다. 시계열 데이터의 예측 및 이상 탐지를 수행하기 위해서는 분석된모델을 빠르고 유연하게 운영 환경에 적용할 수 있는 MLOps 플랫폼이 필요하다. 이에, 최근 데이터 분석에 많이 활용되고 있는 Python 기반의 AMML(AI/ML Modeling Language)을 개발하여 손쉽게MLOps 워크플로를 구성하고 실행할 수 있도록 제안한다. 제안하는 AI MLOps 플랫폼은 AMML을이용하여 다양한 데이터 소스(R-DB, NoSql DB, Log File 등)에서 시계열 데이터를 추출, 전처리 및예측을 수행할 수 있다. AMML의 적용 가능성을 검증하기 위해, 변압기 오일 온도 예측 딥러닝 모델을 생성하는 워크플로를 AMML로 구성하고 학습이 정상적으로 수행됨을 확인하였다.
Abstract
In this study, we propose a language and platform to describe and manage the MLOps(Machine Learning Operations) workflow for time series data anomaly detection. Time series data is collected in many fields, such as IoT sensors, system performance indicators, and user access. In addition, it is used in many applications such as system monitoring and anomaly detection. In order to perform prediction and anomaly detection of time series data, the MLOps platform that can quickly and flexibly apply the analyzed model to the production environment is required. Thus, we developed Python-based AI/ML Modeling Language (AMML) to easily configure and execute MLOps workflows. Python is widely used in data analysis. The proposed MLOps platform can extract and preprocess time series data from various data sources (R-DB, NoSql DB, Log File, etc.) using AMML and predict it through a deep learning model. To verify the applicability of AMML, the workflow for generating a transformer oil temperature prediction deep learning model was configured with AMML and it was confirmed that the training was performed normally.
참고문헌 (20)
- 이요섭, "딥 러닝 프레임워크의 비교 및 분석", 한국전자통신학회 논문지, 12(1), pp.115~122 (2017), 한국전자통신학회[DOI]
- 배성완, "머신 러닝 방법과 시계열 분석 모형을 이용한 부동산 가격지수 예측", 주택연구, 26(1), pp.107~133 (2018), 한국주택학회[DOI]
- Samuel Ackerman, "Automatically detecting data drift in machine learning classifiers", ~ (2021)
- Sasu Makinen, "Who needs MLOps: What data scientists seek to accomplish and how can MLOps help?", 2021 IEEE, 2021, 109~112[DOI]
- Sima Siami-Namini, "A Comparison of ARIMA and LSTM in Forecasting Time Series", 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA), pp.1394~1401 (2018)
- Georgios Symeonidis, "MLOps - Definitions, Tools and Challenges", 2022 IEEE 12th Annual Computing and Communication Workshop and Conference (CCWC), pp.0453~0460 (2022)
- Dominik Kreuzberger, "Machine Learning Operations (MLOps): Overview, Definition, and Architecture", ~ (2022)
- "MLOps: Continuous delivery and automation pipelines in machine learning"[URL]
- "Machine Learning operations maturity model"[URL]
- "MLflow - A platform for the machine learning lifecycle"[URL]
- "Kubeflow"[URL]
- Gustavo Correa Publio, "ML-schema: exposing the semantics of machine learning with schemas and ontologies", ~ (2018)
- 문종혁, "신뢰성있는 딥러닝 기반 분석 모델을 참조하기 위한 딥러닝 기술 언어", 정보처리학회 논문지, 10(4), pp.133~142 (2021), 한국정보처리학회
- Sepp Hochreiter, "Long Short-Term Memory", Neural Computation, 9(8), pp.1735~1780 (1997)[DOI]
- Sima Siami-Namini, "A Comparison of ARIMA and LSTM in Forecasting Time Series", 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA), pp.1394~1401 (2018)
- "YAML Ain’t Markup Language (YAML™) version 1.2"[URL]
- "Electricity Transformer Dataset (ETDataset)"[URL]
- Haoyi Zhou, "Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting", Proceedings of the AAAI Conference on Artificial Intelligence, 35(12), pp.11106~11115 (2021)
- "Tabular Workflows on Vertex AI"[URL]
- "Create and run machine learning pipelines using components with the Azure Machine Learning studio(Preview)"[URL]