경제학 분야의 소규모 언어모형 개발과 훈련
Development and Training of a Small-scale Large Language Model (sLLM) for Economics
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 AI 언어모형의 경제학 분야 적용을 위한 기초 작업 과정과 응용을 실증분석한다. 경제․금융․재정에 특화된 한국어 소형언어모형(Small-scale Large Language Model; sLLM)을 개발하고, 이를 활용한 응용과정을 다룬다. Meta-llama/Llama-3.1-8B-Instruct를 베이스로, 신뢰성 있는 경제․금융 및 재정 데이터와 다양한 훈련방법을 적용한 후 경제분야 데이터 베이스에 활용하여 그 응용성과 범용성을 평가한다. 실증분석 결과, 본 연구의 소형언어모형은 경제학 관련 질문에 대해 그 맥락의 이해도가 향상되었으며, RAG(Retrieval Augmented Generation)에 적용할 경우 개선된 효과를 보여주고 있다. 이는 번역 오류와 문맥 이해 부족 등의 한계를 완화하며 AI Sovereign 문제를 해결할 수 있는 초석이 될 것으로 판단된다.
Abstract
This study investigates the foundational processes and applications of AI language models in the field of economics. It focuses on developing a Korean Small-scale Large Language Model (sLLM) specialized in economics, finance, and fiscal policy, while exploring its practical applications. Using Meta-Llama/ Llama-3.1-8B-Instruct as the base model, the sLLM is developed by applying reliable datasets in economics, finance, and fiscal policy, along with various training methods such as SFT and DPO. Its applicability and versatility are evaluated through its implementation on economic databases. Empirical analysis indicates that the proposed sLLM exhibits enhanced contextual understanding in response to economic queries, with additional improvements observed when integrated with RAG (Retrieval-Augmented Generation). These findings suggest that the model successfully addresses challenges such as translation errors and limited contextual comprehension, laying a foundation for tackling AI sovereignty issues.