PCI Express 기반 OpenSHMEM 초기 설계 및 구현
Design and Implementation of Initial OpenSHMEM Based on PCI Express
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
PCI Express는 고속, 저전력 등의 특성으로 인하여 프로세서와 주변 I/O 장치들을 연결하는 업계 표준의 버스 기술이다. PCI Express는 최근 고성능 컴퓨터나 클러스터/클라우드 컴퓨팅 등의 분야에서 시스템 인터커넥션 네트워크로서 그 활용가능성을 검증하고 있는 추세이다. PCI Express가 시스템 인터커넥션 네트워크로서 활용가능하게 된 계기는 PCI Express에 NTB(non-transparent bridge) 기술이 도입되면서부터이다. NTB 기술은 물리적으로 두 PCI Express subsystem을 연결가능하도록 하지만, 필요할 경우 논리적인 격리(isolation)를 제공하는 특징이 있다. 또한, PGAS(partitioned global address space)와 같은 공유 주소 공간(shared address space) 프로그래밍 모델은 최근 멀티코어 프로세서의 보편화로 인하여 병렬컴퓨팅 프레임워크로 각광받고 있다. 따라서, 본 논문에서는 차세대 병렬컴퓨팅 플랫폼을 위하여 PCI Express 환경에서 OpenSHMEM을 구현하기 위한 초기 OpenSHMEM API를 설계 및 구현하였다. 본 연구에서 구현한 15가지 OpenSHMEM API의 정확성을 검증하기 위해서 Github의 openshmem-example 벤치마크의 수행을 통하여 확인하였다. 현재 시중에서는 PCI Express 기반 인터커넥션 네트워크는 가격이 매우 비싸고 아직 일반인이 사용하기 용이하도록 NIC형태로 널리 보급되지 않은 실정이다. 이러한 기술개발 초기단계에서 본 연구는 PCI Express 기반 interconnection network를 RDK(evaluation board) 수준에서 실제로 동작하는 실험환경을 구축하고, 여기에 추가로 최근 각광받는 OpenSHMEM software stack를 자체적으로 구현하였다는 데 의의가 있다.
Abstract
PCI Express is a bus technology that connects the processor and the peripheral I/O devices that widely used as an industry standard because it has the characteristics of high-speed, low power. In addition, PCI Express is system interconnect technology such as Ethernet and Infiniband used in high-performance computing and computer cluster. PGAS(partitioned global address space) programming model is often used to implement the one-sided RDMA(remote direct memory access) from multi-host systems, such as computer clusters. In this paper, we design and implement a OpenSHMEM API based on PCI Express maintaining the existing features of OpenSHMEM to implement RDMA based on PCI Express. We perform experiment with implemented OpenSHMEM API through a matrix multiplication example from system which PCs connected with NTB(non-transparent bridge) technology of PCI Express. The PCI Express interconnection network is currently very expensive and is not yet widely available to the general public. Nevertheless, we actually implemented and evaluated a PCI Express based interconnection network on the RDK evaluation board.. In addition, we have implemented the OpenSHMEM software stack, which is of great interest recently.
참고문헌 (14)
- "Interconnect family statistics of supercomputer top 500"[URL]
- 김영우, "PCI Express 기반 시스템 인터커넥트의 설계 및 구현", 전자공학회논문지, 52(8), pp.74~86 (2015), 대한전자공학회
- V. Krishnan, "Towards an Integrated IO and Clustering Solution using PCI Express", Cluster Computing, 2007 IEEE International Conference on, pp.259~266 (2007)
- 이종민, "저가의 그래픽스 장치를 이용한 GPU 클러스터 시스템 구현", 멀티미디어학회논문지, 14(11), pp.1458~1466 (2011), 한국멀티미디어학회
- J. Dinan, "Supporting the Global Arrays PGAS Model Using MPI One-Sided Communication", Parallel &Distributed Processing Symposium, 2012 IEEE 26th International, pp.739~750 (2012)
- J. Breitbart, "Evaluation of the Global Address Space Programming interface(GASPI)", Parallel & Distributed Processing Symposium Workshops (IPDPSW), 2014 IEEE International, pp.717~726 (2014)
- Hao Wang, "GPU-Aware MPI on RDMA-Enabled Clusters : Design, Implementation and Evaluation", IEEE Transactions on Parallel and Distributed Systems, pp.2595~2605 (2014)
- Ryan E. Grant, "RDMA Capable iWARP over Datagrams", Parallel & Distributed Processing Symposium(IPDPS), 2011 IEEE International, pp.628~639 (2011)
- Weihang Jiang, "High performance MPI-2 one-sided communication over InfiniBand", Cluster Computing and the Grid, 2004. CCGrid 2004. IEEE International Symposium on, pp.531~538 (2004)
- Yong-Hwan Lee, "QoS and Flow Control Support on PCI Express Interface Architecture", Korea Institute of Information Technology Magazine, pp.45~52 (2009)
- "AVAGO TECHNOLOGIES"[URL]
- "OpenSHMEM Specification document"[URL]
- "IXS600 PCI Express Gen 2 Switch"[URL]
- "Non-transparent Bridging with IDT 89HPES32NT24G2 PCI Express NTB Switch, Application Note AN-724", IDT, ~