생성형 AI 모델의 한국문화 이해 능력 평가 방법에 관한 연구
A Study on the Evaluation Methods for Assessing the Understanding of Korean Culture by Generative AI Models
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
최근 GPT-4, LLaMA와 같은 초거대 언어모델을 활용한 서비스가 공개되며 많은 주목을 받고 있다. 이 모델들은 사용자들의 다양한 질문에유창하게 응답할 수 있지만, 한국어 데이터의 학습량이 부족하여 한국 문화 및 한국어에 대한 잘못된 정보를 제공할 가능성이 있다. 본 논문에서는한국어 데이터를 학습한 주요 공개 모델 8개를 선정하여, 5개 분야(한국어 이해 및 문화 영역으로 구성)에 대한 평가 데이터셋을 통해 한국 문화이해 능력을 평가하였다. 그 결과, 상용 모델인 HyperClovaX가 전 분야에서 가장 뛰어난 성능을 보였으며, 공개용 모델 중에서는 Bookworm이한국어 구사 능력에서 우수한 성과를 보였다. 또한, 한국어 이해 및 문화와 관련된 부문에서는 LDCC-SOLAR 모델이 뛰어난 성능을 확인할 수있었다.
Abstract
Recently, services utilizing large-scale language models (LLMs) such as GPT-4 and LLaMA have been released, garnering significantattention. These models can respond fluently to various user queries, but their insufficient training on Korean data raises concerns aboutthe potential to provide inaccurate information regarding Korean culture and language. In this study, we selected eight major publiclyavailable models that have been trained on Korean data and evaluated their understanding of Korean culture using a dataset composedof five domains (Korean language comprehension and cultural aspects). The results showed that the commercial model HyperClovaXexhibited the best performance across all domains. Among the publicly available models, Bookworm demonstrated superior Koreanlanguage proficiency. Additionally, the LDCC-SOLAR model excelled in areas related to understanding Korean culture and language.
참고문헌 (17)
- S. Lim, "Research trends in artificial intelligence language models", Information and Communication Magazine, 40(3), pp.42~50 (2023)
- M. Shanaha, "Talking about large language models", Communication of the ACM, 67(2), pp.68~79 (2024)
- A. Vaswani, "Attention is All You Need", Advances in Neural Information Processing Systems, pp.5998~6008 (2017)
- J. Devlin, "BERT : Pre-training of deep bidirectional transformers for language understanding", North America Chaper of the Association for Computational Liguistics, pp, pp.4171~4186 (2018)
- A, Radfordm, "Improving language understanding by generarive pretraining", OpenAI (2018)
- "LDCC/LDCC -SOLAR-10.7B" (2024)[URL]
- "Yanolja/Bookworm- 10.7B–v0.4-DPO" (2024)[URL]
- "DopeorNope /SOLARC –M-10.7B" (2024)[URL]
- "Meta-Llama/L–ama -2-13b -Hf" (2023)[URL]
- "Heavytail/Kullm-Solar" (2024)[URL]
- "Beomi/KoAlpaca-Polyglot-12.8B" (2023)[URL]
- "HyperCLOVA X Technical Report" (2024)[URL]
- "GPT-4 Technical Report" (2024)[URL]
- "SOLAR 10.7B: Scaling Large Language Models with Simple yet EffectiveDepth UpScaling" (2024)[URL]
- "Efficient Estimation of Word Representations in Vector Space" (2013)[URL]
- S. Hochreiter, "Long short-term memory", Neural Computation, 9(8), pp.1735~1780 (1997)
- D. Bahdanau, "Neural machine translation by jointly learning to align and translate", ~ (2015)