머신러닝 드리프트에 대한 2-단계 데이터 품질 평가 방법론
Two-steps Data Quality Assessment Methodology for Handling Drift of Machine Learning
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
빅 데이터 분석이나 머신러닝 모델과 같은 데이터 기반의 정보 기술 분야에서 데이터 품질은 시스템 전체의 품질과 직접적으로 연결된다. 특히 머신러닝 모델의 훈련에 사용된 데이터의 속성은 시간이 지나면서 변화하게 되는데, 이로 인해 모델의 정확도가 떨어지거나 설계된 것과 다르게 작동할 수 있게 된다. 이러한 현상을 드리프트(drift)라고 한다. 드리프트는 데이터 수집 문제나 시장의 변동성 등 다양한 이유로 인해 발생할수 있다. 데이터 드리프트는 즉시 감지되기 어렵고, 예측이 부정확해 지기 때문에 예측을 기반으로 내린 비즈니스 결정에 어려움을 겪을 수 있다. 드리프트를 관리하기 위해 필요한 작업은 드리프트의 유형이나 범위 및성격에 따라 달라진다. 적절한 조치를 취하려면 드리프트 식별 뿐만 아니라 데이터 품질 관리 및 평가와 함께 드리프트 비율에 대한 임계값 설정 및 사전 경고 구성을 위한 반복 가능한 절차를 확립하는 것이 중요하다. 본 논문에서는 머신러닝 프로젝트에서 발생하는 드리프트 문제를 데이터의 품질평가 메트릭을 통해 관리할 수 있는 2단계 데이터 품질평가 프레임워크를 제안하고, 드리프트 탐지를 위한 드리프트 유형에 따른 평가 메트릭스와 평가 절차를 정의한다.
Abstract
Data quality of data-based information technologies such as big data analysis and machine learning directly affects the quality of the entire system. In particular, the properties of the data used to train machine learning models change over time, causing the model to become less accurate or behave differently than it was designed to. This phenomenon is called drift. Drift can occur for a variety of reasons, including data collection issues or market volatility. Data drift is difficult to detect immediately and can lead to inaccurate predictions, compromising business decisions based on it. The actions required to manage drift will depend on the type, extent, and nature of the drift. To take appropriate action, it is important to establish repeatable procedures for identifying drift, controlling and assessing data quality, setting thresholds for drift rates, and configuring proactive warnings. In this paper, we propose a two-step data quality assessment framework that can manage drift problems that occur in machine learning projects through data quality assessment indicators. In addition, evaluation indices and evaluation procedures according to drift type for drift detection are also defined.
참고문헌 (21)
- "Understanding Data Drift and Model Drift : Drift Detection in Python" (2023)[URL]
- A. Bifet, "Learning from time-changing data with adaptive windowing", Proceedings of the SIAM International Conference on Data Mining (ICDM), pp.443~448 (2007)
- J. G. Moreno-Torres, "A unifying view on dataset shift in classification", Pattern recognition, 45(1), pp.521~530 (2012)[DOI]
- A. Suprem, "ODIN : Automated drift detection and recovery in video analytics", Proceedings of the VLDB Endowent, 13(12), pp.2453~2465 (2020)
- "Driftsurf : A risk-competitive learning algorithm under concept drift" (2020)[URL]
- G. Widmer, "Learning in the presence of concept drift and hidden contexts", Machine learning, 23(1), pp.69~101 (1996)[DOI]
- A. Pesaranghader, "Mcdiarmid drift detection methods for evolving data streams", Proceedings of the International Joint Conference on Neural Networks, pp.1~9 (2018)
- D. Brzezinski, "Reacting to different types of concept drift : The accuracy updated ensemble algorithm", IEEE Transactions on Neural Networks and Learning Systems, 25(1), pp.81~94 (2014)[DOI]
- "How to Detect Data Drift on Datasets" (2023)[URL]
- S. Ashok, "Remediating data drifts and re-establishing ML models", Proceedings of International Conference on Machine Learning and Data Engineering, 218, pp.799~809 (2023)
- Y. Konno, "Efficient Data Selection Indicators for Updating Models under Data Drifted Environment", Proceedings of International Conference on Big Data, pp.6724~6726 (2022)
- R. S. Barros, "A large-scale comparison of concept drift detectors", Information Science, 451-452, pp.348~370 (2018)[DOI]
- Y. Gong, "A Survey on dataset quality in machine learning", Infromation and software technology, 162 (2023)[DOI]
- A. Mallick, "Matchmaker : Data Drift mitigation in machine learning for large-scale systems", Proceedings of the Machine Learning and Systems, pp.77~94 (2022)
- "Adversarial validation approach to concept drift problem in automated machine learning systems" (2020)[URL]
- J. Gama, "Learning with drift detection", LNAI, 3171, pp.286~295 (2004)[DOI]
- M. Baena-Garcia, "Early drift detection method", Proceedings of the International Workshop on Knowledge Discovery from Data Streams, pp.77~86 (2006)
- K. Nishida, "LNCS, vol. 4755", pp.264~269 (2007)
- A. Bifet, "Learning from time-changing data with adaptive windowing", Proceedings of SIAM International Conference on Data Mining, pp.443~448 (2007)
- CRC Data mining and knowledge discovery series, "Knowledge Discovery from Data Streams, Chapman & Hall", pp.CRC, J. Gama
- O. Choi, "A Survey of Data Quality Assessment Methods for Big Data", Journal of Software Assessment and Valuation, 19(4), pp.89~98 (2023)[DOI]