언어 특화 뉴런 보존을 통한 양자화된 다국어 LLM의 한국어 성능 최적화 연구
A Study on Optimizing Korean Performance of Quantized Multilingual LLMs through Language-Specific Neuron Preservation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
대규모 언어 모델(LLM)의 양자화는 모델 크기와 연산량을 줄이기 위한 효과적인 방법으로 주목받고 있으나, 기존 기법들은 대부분 영어 중심으로설계되어 비영어권 언어에서는 성능 저하 문제가 발생한다. 본 연구는 이러한 한계를 해결하기 위해, LAPE(Language Activation ProbabilityEntropy)를 활용해 한국어 입력에 특화된 뉴런을 식별하고, 해당 뉴런의 가중치를 보존하는 방식으로 기존 AWQ 양자화 구조를 개선하였다. 또한,언어 특이성이 주로 나타나는 후반부 레이어에 분석을 집중함으로써 계산 효율을 높이고 성능 향상도 함께 달성하는 최적화 전략을 제안하였다. 실험 결과, 제안한 기법은 양자화된 모델의 크기를 거의 그대로 유지하며 Llama-3.2-3B-Instruct 모델 기준 최대 17.9%의 한국어 성능 향상을달성하였다.
Abstract
Quantization of large language models (LLMs) is an effective technique for reducing model size and computational overhead. However,most existing methods are designed with an English-centric perspective, which leads to performance degradation in non-English languages. To address this limitation, this study proposes an improved quantization approach that enhances the AWQ framework by identifyingKorean-specific neurons using the Language Activation Probability Entropy (LAPE) metric and preserving their weights during quantization. Furthermore, we introduce an optimization strategy that focuses the analysis on deeper layers where language-specific activation patternstend to emerge, thereby improving both computational efficiency and model performance. Ex perimental results demonstrate that theproposed method significantly improves Korean performance by up to 17.9% on the Llama-3.2-3B-Instruct model, while keeping themodel size virtually unchanged.