포괄적 마지막 수준 캐시를 위한 바이패싱 기법
Bypassing Scheme for Inclusive Last Level Caches
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
효율적인 마지막 수준 캐시(last level cache, LLC)의 설계는 프로세서 성능에 중요한 문제가 되고 있다. 고성능 캐시에 대한 최근 연구들은 캐시 바이패싱이 LLC 성능을 향상시키는 효과적인 방법이라는 것을 보여주었다. 그러나 바이패싱은 고유의 포괄(inclusion) 성질을 깨뜨리기 때문에 일반적으로 사용하는 포괄적 캐시는 바이패싱 기술로부터 이득을 얻을 수 없다. 본 논문에서는 포괄적 캐시에서도 캐시 바이패스가 가능한 해법을 제안한다. 제안 방법은 LLC에 바이패스 버퍼를 도입한다. 바이패스된 캐시 라인은 바이패스 버퍼에 엔트리를 할당하고 LLC를 스킵한다. 제안 방법은 과거 액세스/바이패스 패턴에 기초하여, 캐시 미스때 어떤 블록을 LLC에 삽입하고 어떤 블록을 바이패스할 지를 동적으로 선택하는 간단하고 적은 하드웨어 오버헤드를 갖지만 효율적인 바이패스 방법이다. 제안 방법은 알고리즘의 효율성, 성능 개선 능력 및 강력함을 증명하기 위해 정밀한 시뮬레이션 환경을 사용하여 평가하였다. 논문에서 SPEC CPU2006 벤치마크에 대해서 LRU에 비해 제안한 방법과 OBM의 성능개선(IPC)을 보여주는 실험 결과를 제시한다. 제안 방법은 평균 18%, OBM은 평균 14% IPC를 개선시킨다. 또한 제안 방법은 LRU와 비해 16% 미스 율을 감소시킨다.
Abstract
The design of an effective last level cache(LLC) continues to be an important issue in processor‘s performance. Recent works on high performance caches have shown that cache bypassing is an effective technique to enhance the performance of last level caches. However, commonly used inclusive cache hierarchy cannot benefit from this technique because bypassing inherently breaks the inclusion property. This paper presents a solution to enabling cache bypassing for inclusive caches. It introduces a bypass buffer to an LLC. Bypassed cache lines skip the LLC while their entries are allocated into the bypass buffer. And it is a simple, low-hardware overhead, yet effective, cache bypassing scheme that dynamically chooses which blocks to insert into the LLC and which blocks to bypass it based on past access/bypass patterns on a miss. Our proposed scheme is evaluated using a detailed simulation environment where its effectiveness, performance-improvement capabilities, and robustness are demonstrated. We present experimental results showing IPC(Instruction Per Cycle) comparison of the proposed scheme and OBM(Optimal Bypass Monitor) against LRU for SPEC CPU2006 benchmarks. The result show that the proposed scheme and OBM can improve IPC by an average of 18% and 14%, respectively. And the proposed scheme reduces the miss rate by 16% compared to LRU.
참고문헌 (15)
- X. Chen., "Adaptive cache bypass and insertion for many-core accelerators", MICRO-2014 (2014)
- N. Duong., "Improving cache management policies using dynamic reuse distances", MICRO-2012, pp.389~400 (2012)
- M. Gebhart., "Energy-efficient mechanisms for managing thread context in throughput processors", ISCA-2011, pp.235~246 (2011)
- 이상정, "A Cache Replacement Policy for Improving the Performance of Last Level Cache in Processors", 한국지식정보기술학회 논문지, 10(2), pp.145~152 (2015), 한국지식정보기술학회
- A. Jaleel., "Achieving non-inclusive cache performance with inclusive caches -temporal locality aware (TLA) cache management policies", MICRO-2010, pp.151~162 (2010)
- A. Jaleel., "High performance cache replacement using re-reference interval prediction (RRIP)", ISCA-2010, pp.60~71 (2010)
- J. Gaur., "Bypass and insertion algorithms for exclusive last-level caches", ISCA-2011, pp.81~92 (2011)
- S. Gupta., "Adaptive cache bypassing for inclusive last level caches", IPDPS-2013, pp.1243~1253 (2013)
- L. Li., "Optimal bypass monitor for high performance last-level caches", PACT-2013, pp.315~324 (2013)
- M. Chaudhuri, "Introducing hierarchy-awareness in replacement and bypass algorithms for last-level caches", PACT-2013, pp.293~304 (2013)
- M. Kharbutli., "Counter-based cache replacement and bypassing algorithms", IEEE Trans. on Computers, 57(4), pp.433~447 (2008)
- H. Dybdahl., "Enhancing last-level cache performance by block bypassing and early miss determination", ACSAC-2006, pp.52~66 (2006)
- C. Li., "Locality-driven dynamic GPU cache bypassing", ICS-2015, pp.67~77 (2015)
- V. Krishnan., "A direct-execution framework for fast and accurate simulation of superscalar processors", PACT 1998, pp.286~293 (1998)
- "SimPoint home page" (2015)[URL]