GLUE를 활용한 언어 모델 파인 튜닝 성능 변화 평가
Evaluating Fine-tuning Performance Variations of BERT Models Using the GLUE Benchmark
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
대규모 사전학습 언어모델의 활용이 증가함에 따라, 전체 파라미터를 학습하지 않고도 효율적으로 모델을 조정할 수 있는 경량 파인튜닝 기법의 필요성이 대두되고 있다. 본 연구는 BERT-base-uncased 모델을 대상으로 GLUE 벤치마크의 대표 과제(SST-2, MRPC, CoLA)에 대해 네 가지 파인튜닝 기법(Full Fine-tuning, LoRA, Prompt Tuning, Selective Layer Fine-tuning)의 성능 변화를 비교 분석하였다. 동일한 실험 환경에서 정확도(Accuracy), F1 점수, Matthews 상관계수(MCC)를 지표로 평가한 결과, Full Fine-tuning이 전반적으로 가장 높은 성능을 보였으며, Selective Layer Fine-tuning은 이에 근접한 성능을 유지하면서 파라미터 수를약 75% 절감하였다. 본 연구는 파라미터 효율성과 성능 간의 균형을 실증적으로 규명하고, 중형 언어모델 환경에서 Selective Layer Fine-tuning이 가장 실용적인 접근임을 제시하였다.
Abstract
As the use of large-scale pre-trained language models becomes more widespread, there is a growing need for lightweight fine-tuning methods that can efficiently adapt models without updating all parameters. This study empirically examines the performance variations of the BERT-base-uncased model across four fine-tuning methods―Full Fine-tuning, LoRA, Prompt Tuning, and Selective Layer Fine-tuning―using three representative GLUE benchmark tasks: SST-2, MRPC, and CoLA. Under consistent experimental settings, model performance was evaluated using Accuracy, F1-score, and Matthews Correlation Coefficient (MCC). Full Fine-tuning achieved the highest overall performance, while Selective Layer Fine-tuning demonstrated a comparable accuracy with approximately 75% fewer trainable parameters. The findings suggest that Selective Layer Fine-tuning provides the best balance between performance, efficiency, and stability for medium-scale language models and offers practical guidance for efficient model adaptation in resource-constrained environments.