마지막 수준 캐시의 성능을 향상시키는 여과 기법
A Filtering Scheme to Improve the Performance of Last Level Cache
3
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
마지막 수준 캐시(LLC)는 일반적으로 LRU 정책을 사용하여 관리된다. 그러나, LRU는 캐시 라인이 액세스 될 때마다 캐시 라인을 가장 최근에 사용 된 위치로 이동시키는 높은 오버헤드를 갖는다. 또한 LRU는 캐시 크기보다 큰 단일 사용 메모리 액세스 시퀀스가 메모리에서 반입될 때 캐시 오염을 일으키기 쉽다. 이러한 재사용 라인의 일부가 캐시에 더 오래 상주 할 수 있으면 캐시 성능과 효율성이 향상 될 수 있다. 이전의 방식들은 결코 재사용되지 않는 라인(0-재사용 라인)을 바이패스하여 해결한다. 그러나 때때로 그들 방식은 재사용되지 않는 라인의 부족으로 이득을 제공하지 못한다. 본 논문에서는 0-재사용 라인뿐만 아니라 1-재사용 라인을 여과하며 그들을 정확하게 예측하는 새로운 메커니즘을 제안한다. 0/1-재사용 라인을 여과하는 것은 워킹 세트를 캐시 크기에 맞추는 더 많은 기회를 제공한다. 제안 기법은 효율성 및 성능 향상 기능이 입증된 시뮬레이션 환경을 사용하여 평가된다. LRU, OBM (Optimal Bypass Monitor), 제안 기법을 SPEC CPU2006 벤치마크에 대해 미스 율과 IPC(Instruction Per Cycle) 비교를 보여주는 실험 결과를 제시한다. 결과는 제안 기법과 OBM이 각각 평균 20.1%와 14.4%의 IPC를 향상시킬 수 있음을 보여준다. 그리고 제안 기법은 LRU에 비해 미스 율을 20.6% 감소시킨다.
Abstract
The last level cache(LLC) is commonly managed using LRU policy. However, LRU has a high overhead cost of moving cache lines into the most recently used position whenever a cache line is accessed. Also, LRU is prone to cache pollution when a sequence of single-use memory accesses that are larger than the cache size is fetched from memory. Cache performance and efficiency can be improved if some subset of these reuse lines can reside in the cache longer. Previous schemes approach this by bypassing never reused lines(0-reused lines). But, sometimes they deliver no benefit due to the lack of never reused lines. This paper proposes a new mechanism that filters out not only 0-reused lines but also 1-reused lines and accurately predicts 0/1-reused lines from incoming lines. Filtering of 0/1-reused lines provides more opportunities to fit the working set into cache size. Our proposed scheme is evaluated using a simulation environment where its effectiveness and performance-improvement capabilities are demonstrated. We present experimental results showing miss rate and IPC(Instruction Per Cycle) comparison of the proposed scheme and OBM(Optimal Bypass Monitor) against LRU for SPEC CPU2006 benchmarks. The result shows that the proposed scheme and OBM can improve IPC by an average of 20.1% and 14.4%, respectively. And the proposed scheme reduces the miss rate by 20.6% compared to LRU.
참고문헌 (16)
- X. Chen, "Adaptive cache bypass and insertion for many-core accelerators", MES-2014, pp.1~12 (2014)
- N. Duong, "Improving cache management policies using dynamic reuse distances", MICRO-2012, pp.389~400 (2012)
- 이상정, "A Cache Replacement Policy for Improving the Performance of Last Level Cache in Processors", 한국지식정보기술학회 논문지, 10(2), pp.145~152 (2015), 한국지식정보기술학회
- 이상정, "포괄적 마지막 수준 캐시를 위한 바이패싱 기법", 한국지식정보기술학회 논문지, 11(2), pp.155~162 (2016), 한국지식정보기술학회
- A. Jaleel, "High performance cache replacement using re-reference interval prediction (RRIP)", ISCA-2010, pp.60~71 (2010)
- M. Qureshi, "Adaptive insertion policies for high performance caching", ISCA-2007, pp.381~391 (2007)
- S. Gupta, "Adaptive cache bypassing for inclusive last level caches", IPDPS-2013, pp.1243~1253 (2013)
- L. Li, "Optimal bypass monitor for high performance last-level caches", PACT-2013, pp.315~324 (2013)
- M. Chaudhuri, "Introducing hierarchy-awareness in replacement and bypass algorithms for last-level caches", PACT-2013, pp.293~304 (2013)
- L. Belady, "A study of replacement algorithms for a virtual-storage computer", IBM Systems Journal, pp.78~101 (1966)
- M. Kharbutli, "Counter-based cache replacement and bypassing algorithms", IEEE Trans. on Computers, 57(4), pp.433~447 (2008)
- N. Beckmann, "Modeling cache performance beyond LRU", HPCA-2016, pp.581~593 (2016)
- H. Dybdahl, "Enhancing last-level cache performance by block bypassing and early miss determination", ACSAC-2006, pp.52~66 (2006)
- C. Li, "Locality-driven dynamic GPU cache bypassing", ICS-2015, pp.67~77 (2015)
- V. Krishnan, "A direct-execution framework for fast and accurate simulation of superscalar processors", PACT 1998, pp.286~293 (1998)
- "SimPoint home page" (2015)[URL]