항공 안전 데이터의 혼합 데이터레이크 플랫폼에서의 저장과 처리 설계
Design of Storage and Processing of Aviation Safety Data in a Hybrid Data Lake Platform
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
항공산업에서의 안전은 생명의 보호와 비즈니스 지속성을 유지하는 핵심 요소로 이를 위하여 방대한 양의 안전 데이터를 수집, 저장, 분석하는 것이 필수적이다. 이러한 항공 자산의 중요성으로 많은 항공 관련 기관에서 항공 안전 데이터의 저장과 처리, 처리된 데이터의 제공 방법에 대한 연구가 있었으나 기존의 데이터 저장 및 처리 방식으로는 다양하며 실시간으로 발생하는 항공 안전 데이터의 신속한 처리에 한계가 있다. 특히 생성 데이터가 정비 기록, 운영 로그와 같은 정형 데이터와 음성 및 영상 데이터와 같은 비정형 데이터를 모두 수용, 처리할 수 있는 혼합 데이터 처리 플랫폼이 필요하며 실시간 데이터 처리, 데이터 거버넌스, 그리고 데이터 보안성을 중점으로 구성되어야 한다. 본 연구에서는 클라우드 기반의 데이터레이크와 온프레미스 데이터베이스를 결합하여 다양한 소스의 항공 안전 데이터를 중앙 집중적으로 관리할 수 있는 혼합 데이터레이크 플렛폼 구조를 살펴보고자 한다.
Abstract
In the aviation industry, safety is a key element in protecting lives and maintaining business continuity, and for this purpose, it is essential to collect, store, and analyze a large amount of safety data. Due to the importance of these aviation assets, many aviation-related organizations have studied methods for storing and processing aviation safety data and providing processed data. However, existing data storage and processing methods are diverse and have limitations in quickly processing aviation safety data generated in real time. In particular, a mixed data processing platform that can accommodate and process both structured data such as maintenance records and operation logs and unstructured data such as voice and video data is required, and it should be structured with a focus on real-time data processing, data governance, and data security. In this study, we will examine the structure of a mixed data lake platform that can centrally manage aviation safety data from various sources by combining a cloud-based data lake and an on-premise database.
참고문헌 (20)
- "Union of the State –A Data Lake Use Case"[URL]
- "The growing importance of big data quality", The Data Roundtable, ~ (2016)
- Adrian Tear, "Wading through the swamp: filter systems for geospatial data science", The GIS Research UK 25th Annual Conference (2017)
- Sawadogo, P, "On data lake architectures and metadata management", J Intell Inf Syst, 56, pp.97~120 (2021)
- Jun Hwan Kim, "Requirements for Operation Procedure and Plan for the Korean Aviation Safety Big-Data Platform based on the Case of FAA ASIAS", Journal of the Korean Society for Aviation and Aeronaut, 29(4), pp.105~116 (2021)
- "FAA Aviation Safety Information Analysis and Sharing (ASIAS)System"[URL]
- "What is ETL?"[URL]
- "What is ELT?"[URL]
- "Amazon S3"[URL]
- "Azure Blob Storage"[URL]
- "Cloud Storage"[URL]
- Sung Tae Kim, "Aviation Safety Analysis Data Migration and Persistent Data Storage Platform Design", Journal of Creative Information Culture, 9(3), pp.195~205 (2023)
- Overview of SHARD : A system for highly available replicated data, "S Sarin", Comput. Corporation America, ~, pp.Tech. Rep. CCA-88–01 (1988)
- Kai Hwang, "Scale-Out vs. Scale-Up Techniques for Cloud Performance and Productivity", 2014 IEEE 6th International Conference on Cloud Computing Technology and Science, pp.763~768 (2014)
- Gu Zhenzhen, "A systematic overview of data federation systems", Semantic Web, 15(1), pp.107~165 (2024)
- "Apachi Ambari"[URL]
- "Cloudera"[URL]
- "RNTIer Cloud"[URL]
- Hassan B. Hassan, "Survey on serverless computing", Journal of Cloud Computing, 10 (2021)