대형 언어 모델의 제주도 방언에 대한 Hallucination 평가
Evaluating Hallucination in LLM with Jeju Dialect Inputs
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
대형 언어 모델은 다양한 고신뢰 응용 분야에서 활발히 활용되고 있으나, 대부분 표준어 기반의 데이터에 학습되어 있어 방언과 같은 저자원언어 입력에 대한 대응에는 구조적 한계를 지닌다. 특히 제주 방언처럼 문법, 어휘, 표현 방식이 표준어와 크게 상이한 경우, 모델이 질문 의도를정확히 해석하지 못하고 근거 없는 정보를 생성하는 Hallucination 현상이 발생할 수 있다. 본 연구는 이러한 문제를 실증적으로 분석하기 위해,표준어와 제주 방언으로 구성된 질의 데이터셋을 구축하고, 상용 LLM 모델을 대상으로 응답의 신뢰도, Hallucination 빈도, 언어 구성 요소별오류 민감도, 모델 간 교차 반응 차이 등을 중심으로 정량적 비교 분석을 수행하였다. 실험 결과, 방언 입력 시 오류 발생률이 전반적으로 증가하며,특히 복수 정답형 문항이나 어미 구성이 복잡한 질의에서 Hallucination 현상이 두드러졌다. 본 연구는 대형 언어 모델이 방언 입력에 대해 얼마나민감하게 반응하는지를 구체적으로 규명하며, 방언 친화적 언어 모델 개발과 안전한 생성형 AI 시스템 설계를 위한 기반 자료를 제공한다
Abstract
LLM have been actively utilized in various high-stakes applications. However, as most models are trained on standard language data,they exhibit structural limitations in processing low-resource linguistic inputs such as dialects. In particular, when faced with inputs inthe Jeju dialect—which significantly differs from Standard Korean in grammar, vocabulary, and expression—LLMs often fail to accuratelyinterpret user intent and generate hallucinated content without factual basis. This study empirically investigates this issue by constructinga dataset of queries in both Standard Korean and the Jeju dialect. A quantitative comparison was conducted on commercial LLM focusingon response reliability, hallucination frequency, sensitivity to linguistic components, and model-specific response divergence. Experimentalresults show that dialectal input significantly increases the error rate, with hallucination being more prominent in multiple-answer formatsand queries with complex verb endings. This study provides concrete evidence of LLM's heightened sensitivity to dialectal inputs andoffers foundational insights for developing dialect-aware language models and designing safer generative AI systems