적중 수를 이용한 효율적인 마지막 수준 캐시 교체 및 바이패스 정책
An Effective Last-Level Cache Replacement and Bypass Policy Using Hit Count
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
캐싱 기술은 프로세서 및 메모리 성능과 같은 컴퓨터 시스템의 구성 요소 간 성능 격차를 해소하는데 필수적이다. 캐시 계층에서 더 많은 성능을 얻기 위해 프로세서는 효율적인 캐시 교체 정책에 의존한다. 캐시 블록의 세대별 동작 변화는 캐시 효율성을 최대화하기 위해 재사용 빈도가 낮은 블록을 가능한 신속하고 정확하게 식별하는 것을 목표로 하는 캐시 교체 정책의 핵심 과제이다. 기존 프로세서는 LRU 정책의 변형을 사용하여 교체 대상을 결정한다. 그러나 LRU 정책이 제공하는 것과 최적의 교체 정책인 Belady's MIN이 제공하는 것 사이에는 큰 차이가 있다. 본 논문에서는 캐시 블록의 적중 수는 이전에 캐시에 거주했을 때 평균 적중 수와 비슷하다는 것을 관찰했다. 이 관찰은 저렴하지만 효율적인 교체 정책을 통해 LLC의 효율성을 향상시키는 데 사용된다. 제안된 정책은 예상 적중 횟수를 블록에 연관시키고 장래에 더 적은 적중 횟수를 갖는 블록을 퇴출하는 적은 오버헤드를 갖는 효율적인 교체 정책이다. 또한 재사용되지 않는 블록으로 예측되는 블록은 바이패스 시켜 캐시 효율성을 향상시킨다. 제안 방법은 베이스라인 LRU에 비해 5.8%의 미스 감소와 4.8%의 성능 향상을 제공한다.
Abstract
Caching techniques are fundamental for bridging the performance gap between components in a computer system, such as the performance of processor and memory. To get more performance out of the cache hierarchy, processors will rely on effective cache replacement policies. Variability in generational behavior of cache blocks is a key challenge for cache replacement policies that aim to identify less reused blocks as early and accurately as possible to maximize the cache efficiency. Existing processors use variants of LRU policy to determine replacement targets. But, there is a big gap between what LRU policy provides and what the optimal replacement policy provides by Belady's MIN. In this paper, we observed that the number of hits of a block is similar to the average number of hits when previously residing in the cache. This observation is used to improve the efficiency of the LLC through a low cost but effective replacement policy. With little overhead, the proposed policy is an effective replacement policy that associates a predicted hit count to a block and evicts the block to have fewer remaining hits in the future. Also, blocks that are predicted as non-reusable blocks are bypassed to improve the cache efficiency. The proposal provides a 5.8% miss reduction and a 4.8% performance improvement over baseline LRU.
참고문헌 (20)
- N. Beckmann, "Modeling cache performance beyond LRU", HPCA-2010, pp.225~236 (2016)
- V. G. Armin, "Cache replacement policy based on expected hit count", ISCA-2017 CRC-2 Workshop (2017)
- A. Jaleel, "High performance cache replacement using re-reference interval prediction(RRIP)", ISCA-2010, pp.60~71 (2010)
- C-J. Wu, "SHiP: Signature-based hit predictor for high performance caching", MICRO-2011, pp.430~441 (2011)
- V. Young, "SHiP + + : Enhancing signature-based hit predictor for improved cache performance", ISCA-2017 CRC-2Workshop (2017)
- G. Keramidas, "Where replacement algorithms fail:A thorough analysis", Proc. of 7th ACM international conference on Computing frontiers, pp.141~150 (2010)
- M. K. Qureshi, "Adaptive insertion policies for high performance caching", ACM SIGARCH Computer Architecture News, 35(2), pp.381~391 (2007)
- 이상정, "A Cache Replacement Policy for Improving the Performance of Last Level Cache in Processors", 한국지식정보기술학회 논문지, 10(2), pp.145~152 (2015), 한국지식정보기술학회
- 이상정, "포괄적 마지막 수준 캐시를 위한 바이패싱 기법", 한국지식정보기술학회 논문지, 11(2), pp.155~162 (2016), 한국지식정보기술학회
- S. M. Khan, "Decoupled dynamic cache segmentation", HPCA2012, pp.25~29 (2012)
- L. A. Belady, "A study of replacement algorithms for a virtual-storage computer", IBM Systems Journal, 5(2), pp.78~101 (1966)
- A. Jain, "Back to the future:Leveraging Belady’s algorithm for improved cache replacement", ISCA-2016, pp.78~89 (2016)
- A. Jaleel, "Adaptive insertion policies for managing shared caches", PACT-2008, pp.208~219 (2008)
- S. M. Khan, "Using dead blocks as a virtual victim cache", PACT-2010, pp.489~500 (2010)
- A-C. Lai, "Selective, accurate, and timely self-invalidation using last-touch prediction", ISCA-2000, pp.139~148 (2000)
- A-C. Lai, "Dead-block prediction & dead-block correlating prefetchers", ISCA-2001, pp.144~154 (2001)
- H. Liu, "Cache Bursts: A new approach for eliminating dead blocks and increasing cache efficiency", MICRO-2008, pp.222~233 (2008)
- M. K. Qureshi, "Adaptive insertion policies for high performance caching", ISCA-2007, pp.381~391 (2007)
- T. F. Wenisch, "SimFlex: Statistical sampling of computer system simulation", IEEE Micro, 26(4), pp.18~31 (2006)
- "SimPoint home page" (2015)[URL]