본문 바로가기
KERD
논문KCI 등재

DNN 모델 추론을 위한 Lookup Table 기반 PIM의 가능성

Potential of LUT-based PIM for DNNs

이진호|홍정욱
한국정보처리학회|2024.11|정보처리학회 논문지 (The Transactions of the Korea Information Processing Society)|제13권 제11호|pp. 590-596|DOI 10.3745/TKIPS.2024.13.11.590

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

Recommendation System추천시스템Lookup Table룩업 테이블프로세싱 인 메모리트랜스포머 기반 생성형 모델Processing-in-memoryTransformer-based Generative Model
주제분류컴퓨터학

초록

Processing-in-memory (PIM)은 데이터가 저장된 메모리 근처에서의 연산을 통해 데이터를 더 가까운 곳에서 연산할 수 있게 하는 가속기이다. 데이터 이동에 특화된 PIM의 특성상 최근 주목받고 있는 생성형 언어모델과 추천 시스템에서는 PIM이 효율적인 가속기로 이용될 수 있다. 본논문에서는 PIM을 사용하기 적합한 어플리케이션인 추천시스템과 생성형 언어모델을 PIM으로 가속화한 최신 연구 동향을 살핀다. 또한, 선행연구들을 기반으로 PIM의 연구 방향성에 대해 토의한다. 마지막으로, PIM 시스템에서의 LUT의 효용성을 실험으로 성능을 확인하고 검증한다.

Abstract

Processing-in-memory (PIM) is an accelerator that enables data to be processed closer to the stored memory. Due to the nature ofPIM specialized in data movement, PIM can be used as an efficient accelerator in transformer-based generative model and recommendationsystem, which have recently garnered attention. In this paper, we examine the latest research trends of PIM that enhance therecommendtation system and generative language model, which are suitable applications for PIM usage. Additionally, we discuss theresearch direction of PIM based on previous studies. Lastly, we verify the effectiveness of LUT in PIM systems through experiments.

참고문헌 (24)

  1. J. Park, "AttAcc! Unleashing the Power of PIM for Batched Transformer-based Generative Model Inference", Proceedings of the 29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS), 2, pp.103~119 (2024), ACM
  2. G. Heo, "NeuPIMs: NPU-PIM Heterogeneous Acceleration for Batched LLM Inferencing", Proceedings of the 29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS), 3 (2024), ACM
  3. L. Ke, "Near-Memory Processing in Action: Accelerating Personalized Recommendation With AxDIMM", IEEE Micro, 42(1), pp.116~127 (2022)[DOI]
  4. Z. Wang, "EL-Rec : Efficient Large-Scale Recommendation Model Training via Tensor-Train Embedding Table", SC22 : International Conference for High Performance Computing, Networking, Storage and Analysis, pp.1~14 (2022), IEEE
  5. Y. Kwon, "TensorDIMM : A Practical Near-Memory Processing Architecture for Embeddings and Tensor Operations in Deep Learning", Proceedings of the 52nd Annual IEEE, 2019, 740~753[DOI]
  6. D. Mudigere, "Software-hardware co-design for fast and scalable training of deep learning recommendation models", Proceedings of the 49th Annual International Symposium on Computer Architecture (ISCA), pp.993~1011 (2022)
  7. L. Ke, "RecNMP: Accelerating Personalized Recommendation with Near-Memory Processing", 2020 ACM, 2020, 790~803[DOI]
  8. J. Park, "TRiM : Enhancing Processor-Memory Interfaces with Scalable Tensor Reduction in Memory", MICRO-54:54th Annual IEEE, 2021, 268~281[DOI]
  9. G. -I. Yu, "Orca : A Distributed Serving System for TransformerBased Generative Models", OSDI: 16th USENIX Symposium on Operating Systems Design and Implementation, pp.521~538 (2022)
  10. W. Kwon, "Efficient memory management for large language model serving with pagedattention", Proceedings of the 29th Symposium on Operating Systems Principles (SOSP), pp.611~626 (2023)
  12. Y. Jeon, "BiQGEMM : Matrix Multiplication with Lookup Table for Binary-Coding-Based Quantized DNNs", SC20:International Conference for High Performance Computing, Networking, Storage and Analysis, pp.1~14 (2020), IEEE
  13. D. C. Ganji, "DeepGEMM: Accelerated Ultra LowPrecision Inference on CPU Architectures using Lookup Tables", 2023 IEEE, 2023, 4656~4664[DOI]
  14. D. C. Ganji, "DeepGEMM : Accelerated Ultra Low Precision Inference on CPU Architectures using Lookup Tables", 2023 IEEE, 2023, 4656~4664[DOI]
  15. "T-MAC: CPU Renaissance via Table Lookup for Low-Bit LLM Deployment on Edge" (2024)[URL]
  16. C. Li, "PIM-DL : Expanding the Applicability of Commodity DRAM-PIMs for Deep Learning via Algorithm System Co-Optimization", Proceedings of the 29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS), 2, pp.879~896 (2024), ACM
  17. C. Lim, "Design and analysis of a processing- indimm join algorithm: A case study with upmem dimms", Proceedings of the ACM on Management of Data, 1(2), pp.1~27 (2023), ACM
  18. "QuIP#: Even Better LLM Quantization with Hadamard Incoherence and Lattice Codebooks" (2024)[URL]
  19. S. Shen, "Q-BERT : Hessian Based Ultra Low Precision Quantization of BERT", AAAI, 34(05), pp.8815~8821 (2020)[DOI]
  20. S. Kim, "I-BERT : Integer-only BERT Quantization", International Conference on Machine Learning (PMLR), pp.5506~5518 (2021)
  21. "UPMEM SDK"[URL]
  24. S. Noh, "PID-Comm: A Fast and Flexible Collective Communication Framework for Commodity Processingin-DIMM Devices", 2024 ACM, 2024, ~

관련 논문AI추천

비휘발성 메모리 기반 IMC을 활용한단일 코어/다중 레이어 CNN 가속기 최적화김신영, 박성정, 윤관오, 허준수한국전기전자학회 · 전기전자학회논문지2024 · 제28권 제4호경량 딥러닝 가속기를 위한 희소 행렬 압축 기법 및 하드웨어 설계김선희, 신동엽, 임용석(사)디지털산업정보학회 · (사)디지털산업정보학회 논문지2021 · 제17권 제4호Cycle-accurate NPU 시뮬레이터 및 데이터 접근 방식에 따른 NPU 성능평가권구윤, 박상우, 서태원대한임베디드공학회 · 대한임베디드공학회논문지2022 · 제17권 제4호대규모 가속기 네트워크 설계를 위한 적응형 탐색 및패킷 단위 근사 모델박성경, 박성정, 이재석한국전기전자학회 · 전기전자학회논문지2025 · 제29권 제4호데이터 프리패치를 이용한 하드웨어 가속기의 병목 현상 해결이혜인, 정진우한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2024 · 제29권 제6호FPGA기반 뉴럴네트워크 가속기에서 2차 타일링 기반 행렬 곱셈 최적화권용인, 권진세, 김태호, 김형신, 박제만, 유미선, 이제민대한임베디드공학회 · 대한임베디드공학회논문지2022 · 제17권 제6호

이 간행물의 다른 논문 (9건)

Recent Trends in Leveraging Processing-in-Memory for Accelerating Relational Database Management Systems김규태, 김태훈, 김준성, 김영석pp. 579-584심층 신경망을 위한 클러스터링 기반 모델 압축 기법허선영, 채병철pp. 585-589무작위 메모리 보호 키 할당을 통한웹어셈블리 JIT 컴파일된 코드 보호신채원, 권동현, 정윤서, 배명진pp. 597-603Efficient Scheduling for Inference of Complex Neural Network Models on Multi-GPU Systems정선욱, 박영준, 강범우, 이성주pp. 604-618멀티센서 기술 기반 자동차 급발진 사고 증명 솔루션최희석pp. 619-627
원문 보기