본문 바로가기
KERD
논문KCI 등재

빅데이터 시대의 데이터 통합 전략: 공공부문 사례 분석

Data Integration Strategy in Big Data Era: A Public Sector Case Analysis

함유근
한국엔터프라이즈아키텍처학회 (Korea Institute of Enterprise Architecture)|2017.06|정보화연구 (The Journal of Information Technology and Architecture)|제14권 제2호|pp. 115-128

1

조회

0

다운로드

13

인용

0

참고문헌

키워드

빅데이터Big DataData Integration하둡Hadoop데이터 가상화Data Virtualization클라우드 시스템데이터 통합데이터 페더레이션병렬형 데이터웨어하우스논리적데이터웨어하우스데이터 호수Data FederationData LakeParallel Data WarehouseLogical Data WarehouseCloud Systems
주제분류과학기술학

초록

빅데이터라는 새로운 기술 및 경영 환경은 데이터가 조직에서 활용되는 방법에 많은 변화를 초래하고 있다. 이는 기업들이 이전과 다른 데이터의 규모는 물론 다양한 형태, 그리고 데이터 생산에서 활용까지 더욱 빠른 속도에 대응해야하기 때문이다. 그러나 빅데이터의 부상과 함께 데이터의 규모가 상상을 초월할 정도로 커지지는 환경에서 여러 곳에 흩어져 있는 다양한 종류의 데이터를 어떻게 통합하여 실시간으로 제공해 의사결정을 더욱 효율적이며 효과적으로 할 수 있는지에 대한 연구는 아직까지매우 초기 수준에 있다. 본 연구는 빅데이터 환경에서 데이터 통합을 위해 사용될 수 있는 다양한 방법들인 하둡, 데이터 페더레이션, 데이터 가상화, 그리고 이들과 관련된 인프라인 병렬형 데이터웨어하우스, 논리적 데이터 웨어하우스, 클라우드 시스템, 데이터 호수 등의 특징을 분석해 정리하고 공공기관의 빅데이터 통합 사례를 통해 비즈니스 상황에 맞는 데이터 통합 방법의 선택 전략을 제시하고자 한다.

Abstract

Big data has created new technical and business environment which change organizationsin many ways. It is time for organizations to cope with huge data volume as well as various data typesand the speed of data production and utilization. In this context, research on data integration for solvingthese problems falls short of academic and industry demand. Especially academic research have notprovided enough answers on effective decision making support through big data integration. By developinga big data integration framework evaluating such techniques as Hadoop, data federation, anddata virtualization as well as infrastructure like parallel data warehouse, cloud systems, logical datawarehouse and data lake and analyzing a public sector data integration case, the paper proposes astrategy to select appropriate big data integration approaches in various situations.

참고문헌 (59)

  1. Asay, M., "HBase: The database big data left behind" (2016), InfoWorld
  2. Assuncao, M. D., "Big Data computing and clouds : Trends and future directions", Journal of Parallel and Distributed Computing, 79, pp.3~15 (2015)
  3. Bakshi, K., "Considerations for big data:Architecture and approach", Aerospace Conference, 2012 IEEE (2012), IEEE
  4. Baxter, P., "Qualitative case study methodology : Study design and implementation for novice researchers", The qualitative report, 13(4), pp.544~559 (2008)
  5. Emergence and Taxonomy of Big Data as a Service, "Bhagattjee, B.", MIT Sloan School of Management, ~, pp.MIT Sloan School of Management Working Paper CISL# 2014-06 (2014)
  6. Bizer, C., "The meaningful use of big data : four perspectives—four challenges", ACM SIGMOD Record, 40(4), pp.56~60 (2012)
  7. Bologa, A. R., "A Perspective on the Benefits of Data Virtualization Technology", Informatica Economica, 15(4), pp.110~ (2011)
  8. Bondarev, A., "Data warehouse on Hadoop platform for decision support systems in education", Electronics Computer and Computation (ICECCO), 2015 Twelve International Conference on, pp.1~4 (2015), IEEE
  9. Capgemini, "Data Virtualization", ~ (2013)
  10. Chaudhuri, S., "An overview of business intelligence technology", Communications of the ACM, 54(8), pp.88~98 (2011)
  11. Chen, C. P., "Data-intensive applications, challenges, techniques and technologies:A survey on Big Data", Information Sciences, 275, pp.314~347 (2014)
  12. Chen, H. M., "Big data system development: an embedded case study with a global outsourcing firm", Proceedings of the First International Workshop on BIG Data Software Engineering, pp.44~50 (2015), IEEE Press
  13. Cisco, "White Paper" (2014)
  14. CITO Research, "Putting the Data Lake to Work: A Guide to Best Practices", ~ (2014)
  15. Cuzzocrea, A., "Analytics over big data:Exploring the convergence of datawarehousing, OLAP and data-intensive cloud infrastructures", Computer Software and Applications Conference (COMPSAC), 2013 IEEE 37th Annual (2013), IEEE
  16. DAO Research, "DAO Researc White Paper" (2015)
  17. Data Virtuality, "The Complete Guide to Data Integration 2017", ~ (2017)
  18. Davenport, T. H., "How big data is different", MIT Sloan Management Review, 54(1), pp.43~ (2012)
  19. Davenport, T. H., "Big data in big companies", International Institute for Analytics, pp.3~ (2013)
  20. Dayal, U., "Data integration flows for business intelligence", Proceedings of the 12th International Conference on Extending Database Technology: Advances in Database Technology, pp.1~11 (2009), ACM
  21. Dean, J., "MapReduce : a flexible data processing tool", Communications of the ACM, 53(1), pp.72~77 (2010)
  22. Dede, E., "Performance evaluation of a mongodb and hadoop platform for scientific data analysis", Proceedings of the 4th ACM workshop on Scientific cloud computing (2013), ACM
  23. Ferguson, M., "A Whitepaper prepared for IBM", pp.30~ (2012)
  24. Forrester, "The Forrester Wave™:Enterprise Data Virtualization, Q1 2015", ~ (2015)
  25. Forrester, "Forrester Wave: Big Data Hadoop Cloud Solutions", ~ (2016)
  26. Gartner, "Magic Quadrant for Data Integration Tools", ~ (2014)
  27. Gartner, "Logical Data Warehouse for Big Data", ~ (2015)
  28. Haas, L. M., "Data integration through database federation", IBM Systems Journal, 41(4), pp.578~596 (2002)
  29. Hu, H., "Toward scalable systems for big data analytics: A technology tutorial", IEEE Access, 2, pp.652~687 (2014)
  30. Intel, "Intel White Paper" (2013)
  31. Langegger, A., "The Semantic Web:Research and Applications" (2008)
  32. 이석준, "성공적인 정보화 아키텍처 구현에 영향을 미치는 요인에 대한 연구: 한국 전자정부 사례를 중심으로", 정보기술아키텍처 연구, 13(2), pp.203~216 (2016), 한국엔터프라이즈아키텍처학회
  33. Luca, M., "Algorithms need managers, too", Harvard Business Review, 94(1), pp.96~101 (2016)
  34. Manikandan, S. G., "Big data analysis using Apache Hadoop", IT Convergence and Security (ICITCS), 2014 International Conference on. IEEE (2014)
  35. McAfee, A., "Big data. The management revolution", Harvard Business Review, 90(10), pp.61~67 (2012)
  36. McKinsey, "The Age of Analytics: Competing in a Data-Driven World" (2016)
  37. Miller, H. G., "From data to decisions : a value chain for big data", IT Professional, 15(1), pp.57~59 (2013)
  38. Nandimath, J., "Big data analysis using Apache Hadoop", Information Reuse and Integration (IRI), 2013 IEEE 14th International Conference on. IEEE (2013)
  39. Oracle, "Oracel White Paper" (2015)
  40. Özcan, F., "Emerging trends in the enterprise data analytics: connecting Hadoop and DB2 warehouse", Proceedings of the 2011 ACM SIGMOD International Conference on Management of data. ACM (2011)
  41. Peco, M., "Data Virtualization: Solving Complex Data Integration Challenge" (2015), TDWI
  42. Peng, Y., "An incident information management framework based on data integration, data mining, and multi-criteria decision making", Decision Support Systems, 51(2), pp.316~327 (2011)
  43. Analysis of Data Virtualization & Enterprise Data Standardization in Business Intelligence, "Pullokkaran, L.", MIT Sloan School of Management, ~, pp.Working Paper CISL# 2013-10 (2013)
  44. PwC, "The enterprise data lake: Better integration and deeper analytics, Technology Forecast: Rethinking integration Issue 1", ~ (2014)
  45. Ransbotham, S., "Beyond the Hype : The Hard Work Behind Analytics Success", MIT Sloan Management Review, 57(3), pp.1~16 (2016)
  46. Risch, T., "Distributed data integration by object-oriented mediator servers", Concurrency and computation : Practice and experience, 13(11), pp.933~953 (2001)
  47. Integrating Hadoop into Business Intelligence and Data Warehousing, "Russom, P.", TDWI, ~ (2013)
  48. Evolving Data Warehouse Architectures In the Age of Big Data, "Russom, P.", TDWI, ~ (2014)
  49. 신경식, "Development of a Big Data Capability Assessment Model", 정보기술아키텍처 연구, 13(2), pp.271~280 (2016), 한국엔터프라이즈아키텍처학회
  50. Singh, A., "Agent based framework for scalability in cloud computing", International Journal of Computer Science & Engineering Technology(IJCSET), 3(4), pp.41~45 (2012)
  51. Skluzacek, T. J., "Klimatic: a virtual data lake for harvesting and distribution of geospatial data", Proceedings of the 1st Joint International Workshop on Parallel Data Storage & Data Intensive Scalable Computing Systems (2016), IEEE Press
  52. Speicher, N. K., "Integrating different data types by regularized unsupervised multiple kernel learning with application to cancer subtype discovery", Bioinformatics, 31(12), pp.i268~i275 (2015)
  53. Szabó, P., "Stone Bond Technologies White Paper" (2014)
  54. Thusoo, A., "Hive-a petabyte scale data warehouse using hadoop", Data Engineering (ICDE), 2010 IEEE 26th International Conference on, pp.996~1005 (2010), IEEE
  55. "What is Data Abstraction and All information related to Data Abstraction in DBMS" (2011)[URL]
  56. Wamba, S. F., "How ‘big data’can make big impact : Findings from a systematic review and a longitudinal case study", International Journal of Production Economics, 165, pp.234~246 (2015)
  57. Yin, R. K., "Case study research: Design and methods" (2013), Sage publications
  58. Big Data, Changing Business, "Yukun Hahm", Samsung Economic Research Institute, ~ (2012)
  59. Zaharia, M., "Fast and interactive analytics over Hadoop data with Spark", USENIX Login, 37(4), pp.45~51 (2012)

관련 논문AI추천

지방자치단체의 빅데이터 도입을 위한 제언김신곤, 조재희한국지역정보화학회 · 한국지역정보화학회지2013 · 제16권 제3호빅데이터 정보시스템의 구축 및 사례에 관한 연구이충권(사)한국스마트미디어학회 · 스마트미디어저널2015 · 제4권 제3호실시간 데이터 통합 가상화 모델을 이용한 빅데이터 플랫폼에 관한 연구김상아, 김영수, 전삼현, 허희도한국IT정책경영학회 · 한국IT정책경영학회 논문지2023 · 제15권 제1호4차 산업혁명시대에서 공공부문의 빅데이터 활용사례에 관한 연구강정묵한국정책개발학회 · 정책개발연구2021 · 제21권 제1호빅데이터 서비스 모델 및 사업화 주요 이슈에 대한 연구임철수한국차세대컴퓨팅학회 · 한국차세대컴퓨팅학회 논문지2014 · 제10권 제3호공공 빅데이터 플랫폼 참조모델 개발에 관한 연구최영진한국엔터프라이즈아키텍처학회 · 정보화연구2015 · 제12권 제4호

이 간행물의 다른 논문 (7건)

발화 의도 인지를 위한 센서 및 웨어러블 기술 동향박순형, 이민백, 최문강, 홍광욱, 권헌도, 김주형, 김덕환, 신진호, 심봉섭, 이우기pp. 101-114전술 네트워크의 C2&SA 유통 능력기반평가 모델 연구안효춘, 고영배, 노병희pp. 129-137DEA 기법을 이용한 IT 기업의 포트폴리오 구성 전략한창훈, 유재필, 신현준pp. 139-146전력소비량과 주식시장 활동 간의 관계 연구박재홍, 김현모pp. 147-162대학생 진로설계 및 취업 지원을 위한 미래진로 빅데이터 정보 시스템 설계구경아, 김진호, 이수안, 이기준pp. 163-174
원문 보기