피처 엔지니어링에 의한 결과 데이터 대응 관계의 시각화에 대한 연구
A Study on Visualizing Result Data Correspondence Relationship by Feature Engineering
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 정보통신의 발달과 함께 방대한 양의 데이터들이 생산되었으며 생산된 데이터를 활용, 분석하여 가치 있는 정보를 추출하고, 현상을 예측하는 예측분석의 활용이 중요해지고 있다. 이러한 예측분석을 머신러닝을 이용할 경우 머신러닝 알고리즘에 데이터를 입력할 때 원본 데이터를 그대로 입력하는 것보다 피처 엔지니어링을 수행한 데이터를 입력하는 것이 성능이 더 좋다. 그러나 피처 엔지니어링을 수행한 데이터는 원본 데이터와 차이가 많아 머신러닝 알고리즘의 예측 결과를 설명하는데 있어 데이터의 정보를 이용하는데 한계가 있다. 본 논문에서는 이러한 한계를 극복하고자 원본 데이터와 피처 엔지니어링을 수행한 데이터를 생키 다이어그램을 활용하여 매핑하는 시각화 기능을 제안한다. 본 연구에서는 기존의 시각화와는 다르게 데이터의 변화 과정을 보이는데 강조된 시각화를 개발하여 시각화를 통해 머신러닝 예측 결과에 있어 어느 변수가 중요한 변수인지 파악할 수 있고 어느 피처 엔지니어링이 유효한지 알 수 있다. 개발한 시각화를 보스턴 주택 가격 데이터에서 주택 가격 예측에 효과적인 변수와 피처 엔지니어링이 무엇인지 알아내는 것을 통해 검증하였다.
Abstract
Recently, with the development of information and communication, a huge amount of data has been produced, and the use of predictive analysis to extract valuable information and predict phenomena by using and analyzing the produced data has become important. If this predictive analysis is used, it is better to enter the data that performed feature engineering than to enter the original data when inputting data into the machine learning algorithm. However, the data that performed feature engineering differs from the original data, limiting the use of data information in describing the predicted results of machine learning algorithms. To overcome these limitations, this paper proposes a visualization function that maps the original data and the data that performed feature engineering to the sankey diagram. Unlike traditional visualizations, this study develops visualizations that emphasize the process of changing data so that visualizations can identify which variables are important in the machine learning forecast results and which feature engineering is effective. The developed visualization was validated by finding out what variables and feature engineering are effective in predicting housing prices in Boston housing price data.
참고문헌 (9)
- David Lechevalier, "Towards a Domain-Specific Framework for Predictive Analytics in Manufacturing", 2014 IEEE In ternational Conference on Big Data, pp.987~995 (2014)
- Ferhat Kurtulmus, "Immatu re peach detection in colour images acquired in nat ural illumination conditions using statistical classifie rs and neural network", Precision Agriculture, 15(1), pp.57~ (2014)
- Pedro Domingos, "A Few Useful Things to Know about Machine Learning", Communications of the ACM, 55(55), pp.78~87 (2012)
- Muzammil Khan, "Data and Infor mation Visualization Methods and Interactive Mech anisms", International Journal of Computer Applicat ions, 34(1), pp.1~14 (2011)
- Andreas C. Müller, "Introduction to Machine Learning with Python:A Guide for Data Scientists" (2016), O’Reilly Media
- CHMIDT, Mario, "The Sankey diagram in energy and material flow management", Journal of industrial ec ology, 21(1), pp.82~94 (2008)
- Charlotte A. Weaver, "Healthcare Information Management Syste ms: Cases, Strategies, and Solutions" (2016)
- Abon Chaudhuri, "A Visual Technique to Analyze Flow of Information in a Machine Learning System", Electronic Imaging, Visualization and Data Analysis 2018, pp.380-1~380-8 (2018)
- Sinan Ozdemir, "Feature Engineering Made Easy" (2018), Packt