대규모 언어 모델 시대 한국어 사전학의 새로운 가능성과 과제
Possibilities and Challenges for Korean Lexicography in the Era of Large Language Models
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
대규모 언어 모델(Large Language Model, 이하 LLM)의 등장은 언어 데이터 처리 방식에 혁명적 변화를 가져왔으며, 이는 사전 편찬의 방법론과 철학에 근본적인 질문을 제기한다. 본고는 LLM을 사전 편찬에 어떻게 이용할 수 있는지, 그리고 역으로 사전 지식이 LLM 개발과 성능 향상에 어떠한 기여를 할 수 있는지를 현업에 종사하며 얻은 경험을 바탕으로 소개하고, LLM 시대의 도래가 한국어 사전학에 미치는 영향을 새로운 가능성과 과제라는 두 가지 측면에서 고찰하는 것을 목적으로 한다. LLM은 대규모 말뭉치를 활용한 용례 및 표제어의 자동 추출, 초벌 정의 생성, 신조어 탐지 등 사전 정보 구축의 자동화를 통해 사전 편찬의 효율성을 획기적으로 높일 수 있다. 나아가 LLM은 맥락에 따른 단어의 의미 해석과 사용자 맞춤형 정보 제공 등 의미 분석의 고도화와 사전학 패러다임의 혁신을 이끌 잠재력을 지닌다. 한편, 이러한 기술적 가능성에도 불구하고 LLM의 내재적 한계는 사전학에 심각한 도전 과제를 안겨 준다. 학습 데이터에 잠재된 사회적 편향의 재생산 문제, 사실과 다른 정보를 생성하는 ‘환각(Hallucination)’ 현상으로 인한 신뢰도 저하, 그리고 고품질의 균형 잡힌 한국어 말뭉치 확보의 어려움은 시급히 해결해야 할 문제이다. 또한, LLM이 제시하는 통계적·분포적 의미와 인간 중심의 규범적·기술적 의미 사이의 간극은 ‘단어’와 ‘의미’에 대한 본질적 성찰을 요구하며, 이는 사전 편찬가의 역할을 정보 기술자에서 비판적 감수자 및 윤리적 설계자로 재정립할 것을 촉진한다. 이러한 LLM의 내재적 한계는 역으로 사전 데이터를 모델 학습에 활용하여 LLM의 정확성과 신뢰성을 향상시킬 수 있다는 점에서, LLM과 사전학이 긴밀한 협력 속에서 서로 진화해 갈 분야로 볼 수 있다.
Abstract
The advent of Large Language Models (LLMs) has revolutionized the way we process language data, raising fundamental questions about the methodology and philosophy of lexicography. This paper, based on hands-on industry experience, aims to explore how LLMs can be utilized in Korean lexicography and, conversely, how knowledge from Korean dictionaries can contribute to the development and performance enhancement of LLMs. It examines the impact of the LLM era on Korean lexicography from two perspectives: new possibilities and critical challenges. LLMs can dramatically increase the efficiency of dictionary compilation by automating the construction of lexicographical information. This includes the automatic extraction of example sentences and headwords from large-scale corpora, the generation of draft definitions, and the detection of neologisms. Furthermore, LLMs hold the potential to advance semantic analysis and innovate the lexicographical paradigm by enabling context-aware interpretation of word meanings, providing user-customized information, and implementing real-time dictionary updates. Despite these technological possibilities, the inherent limitations of LLMs present serious challenges to lexicography. The reproduction of social biases embedded in training data, the degradation of reliability due to the "hallucination" phenomenon (generating factually incorrect information), and the difficulty of securing high-quality, balanced Korean corpora are pressing issues that must be addressed. Moreover, the gap between the statistical and distributional meaning presented by LLMs and the human-centered, normative, and descriptive meaning sought by lexicography demands a fundamental reflection on the nature of 'word' and 'meaning'. This, in turn, necessitates a redefinition of the lexicographer's role from that of an information technician to a critical assessor and ethical designer. Conversely, these intrinsic limitations of LLMs suggest that leveraging Korean dictionary data for model training can enhance their accuracy and reliability. This points to a future where LLMs and lexicography are fields that will co-evolve through a close, collaborative relationship.