보안 로그 데이터 레이블링을 위한 대형 언어 모델의 미세조정
Fine-Tuning Large Language Models for Security Log Data Labeling
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 보안 로그 데이터 레이블링 과정의 높은 비용과 주관적 판단 문제를 해결하기 위해대형 언어 모델(LLM)을 활용한 데이터 샘플링 기법인 코어샷 필터(CoreShot Filter)를 제안한다. 코어샷 필터는 적극학습의 대표성과 불확실성 개념을 결합하여 최적 데이터를 선별하며, 느슨한 모델과 수작업 라벨 불일치를 불확실성 지표로, 유전 알고리즘 기반 페르소나 유사도를 대표성 지표로 활용한다. 31만여 개 로그 중 핵심 204개를 추출해 GPT-4o mini를 미세조정한 결과, 코어샷필터는 기존 층화·아웃라이어·코어셋 샘플링 대비 정확도, 재현율, F1-score 모두에서 우수했다. 특히 비정상 탐지(Recall 0.8901)와 정밀도(Precision 0.9489)에서 탁월한 성능을 보여, 코어샷 필터가보안 로그 분석과 LLM 기반 레이블링 효율 개선에 효과적임을 입증하였다.
Abstract
This study proposes a data sampling method called CoreShot Filter to address the high cost and subjective judgment issues in labeling security log data. CoreShot Filter combines the concepts of representativeness and uncertainty from active learning to select optimal data for fine-tuning large language models (LLMs). It defines uncertainty using discrepancies between weak learners and manual labels, while representativeness is measured through similarity with persona data generated by genetic algorithms. From over 310,000 logs, 204 core samples were selected and used to fine-tune GPT-4o mini. Experimental results demonstrate that CoreShot Filter outperforms stratified, outlier, and coreset sampling in terms of accuracy, recall, and F1-score. In particular, it achieved superior performance in abnormal detection (Recall 0.8901) and precision (0.9489), proving that CoreShot Filter is an effective method for improving security log analysis and LLM-based labeling efficiency.