북한 정책 담론에 대한 LLM의 이해도 평가를 위한 구조적 접근 ― North-Lens 프레임워크 제안 ―
Evaluating LLM Understanding of North Korean Policy Discourse ― A Structured Framework North-Lens ―
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 대규모 언어 모델(LLM)이 남북 관계 및 북한 관련 정책 담론과 같은 정치적·역사적으로 복합적인 주제를 어떻게 이해하고 응답하는지를 평가하기 위해 구조화된 평가 프레임워크인 North-Lens를 제안한다. 이 프레임워크는 지식 정확성, 표현 중립성, 주제 민감성, 프롬프트 준수도 등 네 가지 평가 차원으로 구성되며, 단답형, 서술형, 에세이형으로 이루어진 계층적 질문 구조를 활용한다. 이를 바탕으로 남북 관계에 특화된 도메인 QA 데이터셋을 구축하고, 다국어 및 한국어 특화 LLM을 대상으로 인간 평가와 자동 평가를 병행하여 실험을 수행하였다. 실험 결과, GPT-4o는 사실성 및 중립성 면에서 비교적 우수한 성능을 보였으나, 일부 한국어 특화 모델은 남한에 우호적인 편향을 보이거나 구조화된 프롬프트에 제대로 따르지 못하는 경향을 보였다. 특히 사실성 평가에서 자동 평가와 인간 평가 간 괴리가 나타나, 정치적으로 민감한 영역에서 자동 평가 시스템이 개선의 여지가 많음을 보여주었다. 본 연구는 LLM의 담론 이해와 편향 탐지를 위한 다차원 평가 방법론을 제시함으로써, 향후 도메인 특화 언어 모델의 개발 및 활용에 기여하고자 한다.
Abstract
This study proposes a structured evaluation framework, North-Lens, to assess how large language models understand and respond to politically and historically complex topics such as inter-Korean relations and North Korean policy discourse. The framework consists of four evaluation dimensions—factual accuracy, discursive neutrality, topic sensitivity, and prompt adherence—and employs a hierarchical question structure comprising short-answer, descriptive, and essay-type formats. Utilizing this structure, we constructed a domain-specific QA dataset on inter-Korean relations and conducted both human and automated evaluations on multilingual and Korean-specialized LLMs. Experimental results showed that GPT-4o demonstrated relatively high performance in accuracy and neutrality, while some Korean-specialized models exhibited pro-South Korean bias or failed to conform to structural prompts. Notably, a gap was observed between automated and human evaluations in assessing factual accuracy, highlighting current limitations of automated scoring systems in politically sensitive domains. This study provides a multidimensional evaluation methodology for LLM discourse understanding and bias detection, contributing to future development and deployment of domain-adapted language models.