도메인 데이터 추가 학습 PEFT 방법 비교
PEFT Methods for Domain Adaptation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
대규모 언어 모델(LLM)의 산업 현장 도입에 있어 가장 큰 장애물은 모델에 도메인 특수성을 반영하는 것이다. 해당 문제를 완화하기 위해 다양한PEFT 방법 중 더 많은 지식 정보를 학습이 가능한 MoRA와 가장 보편적인 LoRA로 각각 학습하여 도메인 지식 추가 학습했을 때의 모델 성능을비교하였다. 이와 함께 고품질 데이터 확보와 효율적인 데이터 로딩으로 학습 시간을 단축하였다. 이 연구 결과는 제한된 컴퓨팅 자원으로 효율적인도메인 특화 언어 모델을 개발할 수 있는 실용적인 가이드라인을 제시한다.
Abstract
This study analyzed that the biggest obstacle in deploying Large Language Models (LLMs) in industrial settings is incorporating domainspecificity into the models. To mitigate this issue, the study compared model performance when domain knowledge was additionallytrained using MoRA, which enables learning more knowledge information, and LoRA, which is the most common among various PEFTmethods. Along with this, training time was reduced through securing high-quality data and efficient data loading. The findings of thisresearch will provide practical guidelines for developing efficient domain-specific language models with limited computing resources.