다양한 학습 조건이 GPT-2-Small 기반 한영 이중 언어 모델 성능에 미치는 영향 평가
Evaluating the Impact of Training Conditions on the Performance of GPT-2-Small Based Korean-English Bilingual Models
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 GPT-2-Small 버전 모델을 사용하여 한국어와 영어를 학습하는 이중 언어 모델의 성능을평가하고, 다양한 학습 조건이 모델 성능에 미치는 영향을 분석하였다. 연구 방법으로 단일 언어 학습, 순차 학습, 순차-교차 학습, 순차-EWC 학습의 네 가지 조건을 설정하여 모델을 훈련하였다. 국립국어원말뭉치와 영어 위키피디어 말뭉치를 사용하고, PPL과 BLiMP 지표를 통해 성능을 측정하였다. 연구결과, 단일 언어 학습 조건에서 PPL 값은 16.2, BLiMP 정확도는 73.7%로 가장 우수한 성능을 보였다. 반면, 순차-EWC 학습 조건에서는 PPL 값이 41.9로 가장 높았고, BLiMP 정확도는 66.3%로 가장 낮았다(p < 0.05). 단일 언어 학습이 이중 언어 모델 성능 최적화에 가장 효과적임을 확인하였다. 이는 결정적시기 이론에 따라 모델이 단일 언어에 최적화될 때 더 나은 성능을 보인다는 것을 의미한다. 또한, 프로그래밍 가소성을 조절하는 EWC 정규화를 적용한 지속 학습 조건에서는 성능 저하가 두드러졌는데, 이는 정규화가 가중치 업데이트를 제한하여 새로운 언어 학습 능력을 저하시켰다는 것을 의미한다. 본 연구는 언어 모델링에 대한 이해를 높이고, AI 언어 학습에서 인지적 유사성을 개선하는 데 기여한다.
Abstract
This study evaluates the performance of second language acquisition models learning Korean and English using the GPT-2-Small model, analyzing the impact of various training conditions on performance. Four training conditions were used: monolingual learning, sequential learning, sequential-interleaved learning, and sequential-EWC learning. The model was trained using datasets from the National Institute of Korean Language and English from BabyLM Challenge, with performance measured through PPL and BLiMP metrics. Results showed that monolingual learning had the best performance with a PPL of 16.2 and BLiMP accuracy of 73.7%. In contrast, sequential-EWC learning had the highest PPL of 41.9 and the lowest BLiMP accuracy of 66.3%(p < 0.05). Monolingual learning proved most effective for optimizing model performance. The EWC regularization in sequential-EWC learning degraded performance by limiting weight updates, hindering new language learning. This research improves understanding of language modeling and contributes to cognitive similarity in AI language learning.
참고문헌 (21)
- A. Radford, "Language models are unsupervised multitask learners", OpenAI blog, 1(8), pp.9~ (2019)
- J. Johnson, "Critical Period Effects in Second Language Learning : The Influence of Maturational State on the Acquisition of English as a Second Language", Cognitive Psychology, 21(1), pp.60~99 (1989)
- C. Pallier, "Brain Imaging of Language Plasticity in Adopted Adults : Can a Second Language Replace the First?", Cerebral Cortex, 13(2), pp.155~161 (2023)
- A. Warstadt, "Algebraic Structures in Natural Language", pp.17~60 (2022), CRC Press
- Constantinescu, Ionut-Laurentiu, "Exploring the Language Acquisition Critical Period Effect in Language Models", DOI: doi.org, ethz-b-000674036, pp.2024, ~
- S. Hochreiter, "Long short-term memory", Neural Computation, 9(8), pp.1735~1780 (1997)
- A. Vaswani, "Attention Is All You Need", Advances in neural information processing systems, 30 (2017)
- A. Radford, "Language Models are Unsupervised Multitask Learners", OpenAI, ~ (2019)
- J. Kirkpatrick, "Overcoming catastrophic forgetting in neural networks", Proceedings of the National Academy of Sciences, 114(13), pp.3521~3526 (2017)
- A. E. Hernandez, "The emergence of competing modules in bilingualism", Trends in Cognitive Sciences, 9(5), pp.220~225 (2005)
- "Gpt2"[URL]
- "Babylm"[URL]
- "BabyLM Challenge"[URL]
- "NIKL"[URL]
- "BLiMP"[URL]