CSV형식 공공 개방데이터의 도메인 판별 모델에 관한 연구
A Study on the Domain Discrimination Model of CSV Format Public Open Data
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
정부는 공공데이터 품질관리 수준평가를 진행하여 공공 개방데이터의 품질관리를 진행하고 있다. 공공 개방데이터는 XML, JSON, CSV 등 여러 오픈포맷 형태로 제공되며 CSV 형식이 대다수를차지한다. 이러한 CSV 형식의 공공 개방데이터 품질진단 시 품질진단 담당자가 공공 개방데이터파일의 필드명과 필드 내 데이터에 의존하여 필드 별 도메인을 판단하여 진단한다. 그러나 대량의개방 데이터 파일을 대상으로 품질진단을 수행하기 때문에 많은 시간이 소요된다. 또한 의미 파악이 어려운 필드의 경우 품질진단의 정확성이 품질진단 담당자의 데이터 이해도 역량의 영향을 받는다. 본 논문은 필드명과 데이터 분포 통계를 이용한 CSV 형식 공공 개방데이터의 도메인 판별모델을 제안하여 품질진단 결과가 품질진단 담당자의 역량에 좌지우지 되지 않도록 일관성과 정확성을 보장하고 진단 소요 시간 단축을 지원한다. 본 논문의 모델 적용 결과 행정안전부에서 제공하는 파일형식 개방데이터 진단도구보다 2.8% 높은 약 77%의 정답률을 보였다. 이를 통해 공공데이터 품질관리 수준진단·평가에 제안 모델 적용 시 정확성을 향상시킬 수 있을 것으로 기대한다.
Abstract
The government of the Republic of Korea is conducting quality management of public open data by conducting a public data quality management level evaluation. Public open data is provided in various open formats such as XML, JSON, and CSV, with CSV format accounting for the majority. When diagnosing the quality of public open data in CSV format, the quality diagnosis manager determines and diagnoses the domain for each field based on the field name and data within the field of the public open data file. However, it takes a lot of time because quality diagnosis is performed on large amounts of open data files. Additionally, in the case of fields whose meaning is difficult to understand, the accuracy of quality diagnosis is affected by the quality diagnosis person's ability to understand the data. This paper proposes a domain discrimination model for public open data in CSV format using field names and data distribution statistics to ensure consistency and accuracy so that quality diagnosis results are not influenced by the capabilities of the quality diagnosis person in charge, and to support shortening of diagnosis time. As a result of applying the model in this paper, the correct answer rate was about 77%, which is 2.8% higher than the file format open data diagnostic tool provided by the Ministry of Public Administration and Security. Through this, we expect to be able to improve accuracy when applying the proposed model to diagnosing and evaluating the quality management level of public data.
참고문헌 (19)
- Yjyoung, "International Open Data Status and Open Data Development Direction", Proceedings of Symposium of the Korean Institute of communications and Information Sciences, pp.529~530 (2015)
- 홍연웅, "공공데이터 이용 활성화를 위한 정책에 관한 연구", 한국데이터정보과학회지, 25(4), pp.769~777 (2014), 한국데이터정보과학회[DOI]
- Maxat Kassen, "A promising phenomenon of open data: A case study of the Chicago open data project", Government Information Quarterly, 30(4), pp.508~513 (2013), Elsevier BV[DOI]
- 이현정, "우리나라 공공데이터의 이용활성화 방안에 관한 연구: 링크드 오픈 데이터화 전략을 중심으로", 정보관리학회지, 31(4), pp.249~266 (2014), 한국정보관리학회[DOI]
- 임준원, "공공데이터 개방 정책이 공공 혁신에 미치는 영향에 관한 연구", 대한산업공학회지, 43(1), pp.19~29 (2017), 대한산업공학회[DOI]
- 김은선, "공공데이터의 개방·활용 촉진을 위한 법제도 개선방안 연구 - 공공데이터 제공거부 사례를 중심으로 -", 정보화정책, 30(2), pp.46~67 (2023), 한국지능정보사회진흥원
- "Act on Promotion of Provision and Use of Public Data"[URL]
- "Public data portal"[URL]
- 김학래, "공공데이터 개방표준 데이터의 품질평가", 한국콘텐츠학회 논문지, 20(9), pp.439~447 (2020), 한국콘텐츠학회[DOI]
- 박고은, "공공개방데이터 품질 특성에 관한 연구", 디지털융복합연구, 13(10), pp.135~146 (2015), 한국디지털정책학회[DOI]
- 박소현, "원천 데이터 품질이 빅데이터 분석결과의 유용성과 활용도에 미치는 영향", Journal of Information Technology Applications & Management, 24(4), pp.197~214 (2017), 한국데이터전략학회[DOI]
- 김송민, "공공데이터의 신뢰성 확보를 위한 평가모델 연구", 한국정보기술학회논문지, 21(1), pp.21~28 (2023), 한국정보기술학회[DOI]
- 송채은, "지방자치단체의 공공데이터 개방 현황 분석과 개선방안", 디지털콘텐츠학회논문지, 23(4), pp.697~705 (2022), 한국디지털콘텐츠학회[DOI]
- 공성원, "머신러닝을 이용한 빅데이터 도메인 자동 판별에 관한 연구", 한국빅데이터학회 학회지, 3(2), pp.11~18 (2018), 사)한국빅데이터학회[DOI]
- "Act on Promotion of Provision and Use of Public Data"[URL]
- Ministry of the Interior and Safety, "2022 Public Data Quality Management Level Diagnosis and Evaluation Manual", 1~59 (2022)
- "Database standardization guidelines for public institutions"[URL]
- "Information on the 5th enactment of common standard terms for public data"[URL]
- Ministry of the Interior and safety, "Public data open standards", ~ (2014)