한국어 언어모델의 해석 가능성에 관한 연구: 어텐션 시각화를 중심으로
Interpretability for Korean Language Models: Evidence from Attention Visualization
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 한국어의 교착어적 특성과 형태론적 복잡성이 언어모델(LM) 내부 표현에 어떻게 반영되는지를 규명하고자 KLUE RoBERTa Base 모델을 NER 태스크에 파인튜닝한 뒤 어텐션 맵을정성적 및 정량적으로 분석한다. 연구 방법은 문자 단위 라벨을 반영한 서브워드-라벨 정렬 및 마스킹 기반의 안정적 학습 설계, 어텐션 가중치 추출, 토큰 간의 어텐션 강도 시각화, 그리고 패턴별 어텐션 분포 산출로 구성된다. 어텐션 맵을 분석한 결과, 내부 응집(엔티티 내부 토큰이 스팬의 시작/말단에 집중), 경계 정렬(엔티티 직후 조사(O)의 경계 신호 작용), 장거리 의존성(원거리논항의 의미적 결속) 패턴이 관찰된다. 이는 한국어의 언어적 특성이 어텐션 레이어와 헤드 수준에서 구조적으로 조직됨을 시사한다. 결론적으로 본 연구는 한국어 LM의 해석 가능성을 제고하고 다양한 과업에 적용할 수 있는 해석 가능성 연구의 기반을 마련한다.
Abstract
This study investigates how the agglutinative nature and morphological complexity of Korean are reflected in language model (LM) internal representations by fine-tuning KLUE RoBERTa Base on the NER task and conducting qualitative and quantitative analyses of attention maps. Our methodology includes a stable training design based on subword–label alignment and masking respecting character-level annotations, attention weight extraction, attention strength visualization, and pattern-specific attention distribution quantification. The analysis reveals three patterns: span-internal cohesion, where entity tokens attend to span boundaries; boundary alignment, where post-entity particles tagged O function as boundary cues; and long-distance dependencies, where distal arguments form semantically coherent links. These findings suggest that Korean linguistic characteristics are structurally organized at the attention layer and head level. This work enhances the interpretability of Korean LMs and establishes a foundation for interpretability research applicable to diverse downstream tasks.