기계학습에 유효한 데이터 요건 및 선별: 공공데이터포털 제공 데이터 사례를 통해
Valid Data Conditions and Discrimination for Machine Learning: Case study on Dataset in the Public Data Portal
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
인공지능 기술의 가장 큰 근간은 학습 가능한 데이터이다. 최근 정부나 사기업에서 수집·생산하는 데이터의종류와 양이 기하급수적으로 증가하고 있지만, 실제 기계학습에 활용 가능한 데이터의 확보로는 아직까지 이어지지 않고 있다. 이에 본 연구에서는 기계학습에 실제 활용 가능한 데이터가 갖추어야 할 조건에 대해 논의하고, 실제 사례연구를 통해 데이터 품질을 저하시키는 요인을 파악한다. 이를 위해 공공빅데이터를 활용해 예측 모델을 개발한 대표사례를선정, 공공데이터포털로부터 실제 문제 해결을 위한 데이터를 수집 후 데이터 품질을 확인하였다. 이를 통해 유효한데이터 선별 기준을 적용하고 후처리한 결과와의 차이를 보인다. 본 연구의 궁극적인 목적은 인공지능의 핵심인 기계학습 기술 개발에 앞서 가장 근본적으로 선결되어야 할 데이터 품질을 관리하고 유효한 데이터를 축적하기 위한 기반마련에 있다.
Abstract
The fundamental basis of AI technology is learningable data. Recently, the types and amounts of data collected and produced by the government or private companies are increasing exponentially, however, verified data that can be used for actual machine learning has not yet led to it. This study discusses the conditions that data actually can be used for machine learning should meet, and identifies factors that degrade data quality through case studies. To this end, two representative cases of developing a prediction model using public big data was selected, and data for actual problem solving was collected from the public data portal. Through this, there is a difference from the results of applying valid data screening criteria and post-processing. The ultimate purpose of this study is to argue the importance of data quality management that must be most fundamentally preceded before the development of machine learning technology, which is the core of artificial intelligence, and accumulating valid data.
참고문헌 (15)
- "IDC Forecasts Improved Growth for global AI Market in 2021"[URL]
- "Data Dam’, What Kind of Businesses Are They Made Up"[URL]
- K. V. Cruz, "Collection of Essays on Korea’s Public Diplomacy" (2020)
- D.Fang, "Legal Regulation of Government Data Opening: American Legislation and China's Path: Reflection Based on the US the Open, Public, Electronic, and Necessary (OPEN) Government Data Act", Information and Documentation Services, 42(5), pp.50~57 (2021)
- D. J. Kim, "Spatial Big Data Plan for Government 3.0and Creative Economy", Korea Research Institute For Human Settlements, (14), pp.40~47 (2014)
- G. Viscusi, "Compliance with open government data policies: An empirical assessment of Italian local public administrations", Information polity, 19(3), pp.263~275 (2014)
- "Measuring the Business Value of Data Quality"[URL]
- 윤상오, "공공데이터 개방정책의 실태분석 및 개선방안에 관한 연구: 공공데이터 포털의 국가중점데이터 개방 사례를 중심으로", 한국공공관리학보, 33(1), pp.219~247 (2019), 한국공공관리학회[DOI]
- "Open Data, Small Amount. Useless Files"[URL]
- 이형우, "IoT 봇넷 악성코드 기반 침해사고 흔적 수집 방법", 사물인터넷융복합논문지, 7(3), pp.1~8 (2021), 한국사물인터넷학회
- S.H.Yoon, "Data Opening Status Analysis and Quality Management Strategies in Land, Infrastructure and Transport Domain", Journal of Digital Culture Archives, 3(2), pp.73~85 (2020)
- 나정호, "국토 교통 공공데이터 기반 블랙아이스 발생 구간 예측 모델", 정보처리학회논문지. 소프트웨어 및 데이터 공학, 10(7), pp.257~262 (2021), 한국정보처리학회
- 유신성, "이질 공공빅데이터 기반 농장별 맞춤 병해충 예측 모델", 한국정보기술학회논문지, 18(6), pp.1~9 (2020), 한국정보기술학회[DOI]
- 최기쁨, "팜맵 기반 상생형 스마트팜 병해충 방제 모델 시각화", 한국정보기술학회논문지, 19(2), pp.105~113 (2021), 한국정보기술학회[DOI]
- 이형우, "안드로이드 정상 및 악성 앱 판별을 위한 최적합 머신러닝 기법", 사물인터넷융복합논문지, 6(2), pp.1~10 (2020), 한국사물인터넷학회