고속 데이터 전송을 위한 동적 자원 최적화 시스템
Dynamic Resource Optimization System for High-speed Data Transfer
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
빅 데이터를 이용한 공동 과학연구는 기술과 인간 행동, 우주에 관한 발견을 가능하게 하였다. 이러한 공동 과학연구를 촉진하기 위해서는 연구자 간에 많은 양의 데이터가 효율적으로 공유되어야 한다. 이를 위한 기존에 많은 연구가 있었지만 현대의 네트워크와 기간 시설의 다양성으로 인해 최적화의 효율의 문제가 대두되었다. 기존의 데이터 전송 최적화 방법은 제한된 환경에서의 작동을 염두에 두고 개발되어 새로운 환경에서 적용이 힘들고 그 기능에 제약이 있었다. 이 논문에서는 이러한 점을 개선하고 가상화된 기간 시설에 대응하여 동적으로 데이터 전송 관련 설정을 최적화하고 개선하는 시스템을 제안하였다. 이 연구는 기간 시설 관리자들에게 기존 환경을 조사하고 최적의 데이터 전송 환경을 제안하는 데에 있다. 제안된 시스템을 이용해 실시간으로 기간 시설을 최적화하고 성능을 향상하는 것을 확인할 수 있었다.
Abstract
Big data science collaboration enables science research to discover deeper knowledge of technology human behavior and the universe. To better utilize the big data for science collaboration we need to enable efficient data sharing between remote sites that generate scientific data and analyze it. There have been numerous studies on optimizing data sharing in modern research infrastructure using high-speed networks and DTNs. However, the optimization has been limited to heuristics and manual optimization to find suitable configurations for specific collaboration environments due to a large configuration space and heterogeneous set of hardwares, softwares, and network connections. We present a dynamic optimization system for DTNs that can explore available configuration space in specific environments and automatically adjust to the dynamic environment. We build a next-generation data transfer system that can monitor existing data transfer and use various techniques to find out available resources in the system and tries to utilize them. Our focus in this research is to provide an environment for the infrastructure administrator to examine their existing infrastructure and find an optimal configuration for each environment without minimal human intervention. Our system can find optimal storage configuration and apply transfer parameters in the DTNs in a science infrastructure in real-time to maximize available resources.
참고문헌 (17)
- S. Y. Yu, "Analysis of CPU pinning and storage configuration in 100 gbps network data transfer", IEEE, 2018, ~
- Q. Lu, "Bigdata express: toward schedulable, predictable, and high-performance data transfer", IEEE, 2018, ~
- 석우진, "엑사바이트 과학빅데이터 전송을 위한 DTN기반 데이터 축적전송 방안", 한국통신학회논문지, 42(10), pp.1991~1998 (2017), 한국통신학회[DOI]
- 박종선, "전송효율성 극대화를 위한 DTN 성능 가속 및 병목구간 패킷손실 최소화 방안", 한국융합학회논문지, 9(11), pp.37~43 (2018), 한국융합학회[DOI]
- J. Postel, "Transmission control protocol, ietf RFC 793", ~ (1981)
- R. Kettimuthu, "Globus xio pipe open driver: enabling gridftp to leverage standard unix tools" (2011), TeraGrid Conference: Extreme Digital Discovery
- G. Vardoyan, "Characterizing throughput bottlenecks for secure GridFTP transfers", International Conference on Computing, Networking and Communications (2013)
- Y. Gu, "UDT : UDP-based data transfer for high-speed wide area networks", Computer Networks, 51(7), pp.1777~1799 (2007)
- A. Dorigo, "Xrootd", txnetfile: A highly scalable architecture for data access in the root environment, 2005, ~
- 최원근, "SCTP에서 ECMC 기법의 전송 지연에 관한 연구", 한국지식정보기술학회 논문지, 12(4), pp.513~519 (2017), 한국지식정보기술학회[DOI]
- 김종윤, "Optimized Data Processing Analysis Using Big Data Cloud Platform", 한국지식정보기술학회 논문지, 16(1), pp.1~7 (2021), 한국지식정보기술학회[DOI]
- I. Foster, "Globus online : accelerating and democratizing science through cloud-based services", IEEE Internet Computing, 15(3), pp.70~73 (2011)
- K. T. Murata, "A bandwidth challenge at super computing (sc) conference:large-scale data transfer using 10gbps network", Optical Fiber Communication Conference and National Fiber Optic Engineers Conference (2009)
- S. Y. Yu, "Scinet DTN-as-a-service framework", IEEE, 2019, ~
- "Pacific Research Platform" (2021)[URL]
- D. Bernstein, "Containers and cloud : from lxc to docker to kubernetes", IEEE Cloud Computing, 1(3), pp.81~84 (2014)
- S. Weil, "Ceph: A scalable, high-performance distributed file system", Symposium on Operating systems design and implementation (2006)