HPC 환경을 위한 데이터 전송 노드 클러스터 구축 및 성능분석
Deployment and Performance Analysis of Data Transfer Node Cluster for HPC Environment
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
HPC(High Performance Computing) 서비스를 기반으로 한 거대과학 응용분야의 협업연구는 원거리에 떨어져 있는 연구자들 사이에서 대용량 데이터의 빠른 전송을 필요로 한다. 이와 관련하여 최근 미국 내의 주요 슈퍼컴퓨터들을 연계하여 고속 전송하기 위한 연구들이 수행되고 있다. 본 논문에서는 기 구축되어 운영 중인 한국과학기술정보연구원의 누리온 슈퍼컴퓨터 병렬 파일시스템 내의 대용량 데이터를 고속 전송하기 위해서 고성능 과학기술연구망 기반의 데이터 전송 노드(DTN) 클러스터를 구축하고 종단간 왕복지연 시간이 약 130ms에 달하는 원거리 전송 실험을 수행한다. 실험을 통해 다른 크기의 파일들로 구성된 실험 군들에 대해 DTN 클러스터링에 따른 전송 성능을 비교하였고, 3대의 멀티 노드로 구성된 DTN 클러스터는 두 종류의 병행성, 병렬성 설정에서 단일 노드 대비 각각 약 1.8, 2.7배의 전송 성능 향상을 가져올 수 있음을 확인하였다.
Abstract
Collaborative research in science applications based on HPC service needs rapid transfers of massive data between research colleagues over wide area network. With regard to this requirement, researches on enhancing data transfer performance between major superfacilities in the U.S. have been conducted recently. In this paper, we deploy multiple data transfer nodes(DTNs) over high-speed science networks in order to move rapidly large amounts of data in the parallel filesystem of KISTI’s Nurion supercomputer, and perform transfer experiments between endpoints with approximately 130ms round trip time. We have shown the results of transfer throughput in different size file sets and compared them. In addition, it has been confirmed that the DTN cluster with three nodes can provide about 1.8 and 2.7 times higher transfer throughput than a single node in two types of concurrency and parallelism settings.
참고문헌 (14)
- A. Khan, "SCISPACE : A scientific collaboration workspace for geo-distributed HPC data centers", International Journal of Future Generation Computer Systems, 101, pp.398~409 (2019)
- C. Laat, "The rationale of the current optical networking initiatives", International Journal of Future Generation Computer Systems, 19(6), pp.999~1008 (2003)
- E. Dart, "The Science DMZ: A Network Design Pattern for Data-Intensive Science", Proceedings of IEEE, 2013, ~
- J. Crichigno, "A Comprehensive Tutorial on Science DMZ", IEEE Communications Surveys & Tutorials, 21(2), pp.2041~2078 (2019)
- "Petascale DTN project"[URL]
- E. Yildirim, "Application-Level Optimization of Big Data Transfers through Pipelining, Parallelism and Concurrency", IEEE Transactions on Cloud Computing, 4(1), pp.63~75 (2016)
- Z. Liu, "Cross-Geography Scientific Data Transferring Trends and Behavior", Proceedings of the 27th International Symposium on High-Performance Parallel and Distributed Computing (2018)
- "Globus project"[URL]
- "ESnet DTNs"[URL]
- R. Kettimuthu, "Transferring a Petabyte in a Day", International Journal of Future Generation Computer Systems, 88, pp.191~198 (2018)
- Z. Liu, "A Comprehensive Study of Wide Area Data Movement at a Scientific Computing Facility", Proceedings of IEEE International Conference on Distributed Computing Systems (2018)
- Y. Liu, "Data transfer between scientific facilities - bottleneck analysis, insights, and optimizations", Proceedings of the 19th IEEE, 2019, ~
- L. Zhang, "mdtmFTP and its evaluation on ESNET SDN testbed", International Journal of Future Generation Computer Systems, 79, pp.199~204 (2018)
- J. Bresnahan, "GridFTP Pipelining", Proceedings of the TeraGrid2007Conference (2007)