본문 바로가기
KERD
논문KCI 등재

Cross-Lingual Post-Training (XPT)을 위한 한국어 및 다국어 언어모델 연구

Korean and Multilingual Language Models Study for Cross-Lingual Post-Training (XPT)

이정섭|임희석|박기남|이찬희|손수현|박찬준|심미단
한국융합학회 (Korea Convergence Society)|2022.03|한국융합학회논문지 (Journal of the Korea Convergence Society)|제13권 제3호|pp. 77-89|DOI https://doi.org/10.15207/JKCS.2022.13.03.077

2

조회

0

다운로드

1

인용

0

참고문헌

키워드

Transfer Learning전이학습사전학습 언어모델한국어 언어모델다국어 언어모델언어융합Pretrained Language ModelKorean Language ModelCross-Lingual Language ModelLanguage Convergence
주제분류학제간연구

초록

대용량의 코퍼스로 학습한 사전학습 언어모델이 다양한 자연어처리 태스크에서 성능 향상에 도움을 주는 것은 많은 연구를 통해 증명되었다. 하지만 자원이 부족한 언어 환경에서 사전학습 언어모델 학습을 위한 대용량의 코퍼스를 구축하는데는 한계가 있다. 이러한 한계를 극복할 수 있는 Cross-lingual Post-Training (XPT) 방법론을 사용하여 비교적 자원이 부족한 한국어에서 해당 방법론의 효율성을 분석한다. XPT 방법론은 자원이 풍부한 영어의 사전학습 언어모델의 파라미터를 필요에 따라 선택적으로 재활용하여 사용하며 두 언어 사이의 관계를 학습하기 위해 적응계층을 사용한다. 이를 통해 관계추출 태스크에서 적은 양의 목표 언어 데이터셋만으로도 원시언어의 사전학습 모델보다 우수한 성능을 보이는 것을 확인한다. 더불어, 국내외 학계와 기업에서 공개한 한국어 사전학습 언어모델 및 한국어 multilingual 사전학습 모델에 대한 조사를 통해 각 모델의 특징을 분석한다

Abstract

It has been proven through many previous researches that the pretrained language model with a large corpus helps improve performance in various natural language processing tasks. However, there is a limit to building a large-capacity corpus for training in a language environment where resources are scarce. Using the Cross-lingual Post-Training (XPT) method, we analyze the method's efficiency in Korean, which is a low resource language. XPT selectively reuses the English pretrained language model parameters, which is a high resource and uses an adaptation layer to learn the relationship between the two languages. This confirmed that only a small amount of the target language dataset in the relationship extraction shows better performance than the target pretrained language model. In addition, we analyze the characteristics of each model on the Korean language model and the Korean multilingual model disclosed by domestic and foreign researchers and companies.

참고문헌 (48)

  1. R. Bommasani, "On the opportunities and risks of foundation models", arXiv preprint arXiv:2108.07258, ~ (2021)
  2. T. Brown, "Language models are few-shot learners", arXiv preprint arXiv:2005.14165, ~ (2020)
  3. B. Lester, "The power of scale for parameter-efficient prompt tuning", arXiv preprint arXiv:2104.08691, ~ (2021)
  4. A. Vaswani, "Advances in neural information processing systems", pp.5998~6008 (2017)
  5. J. Devlin, "Bert: Pre-training of deep bidirectional transformers for language understanding", arXiv preprint arXiv:1810.04805, ~ (2018)
  6. Y. Liu, "Roberta: A robustly optimized bert pretraining approach", arXiv preprint arXiv:1907.11692, ~ (2019)
  7. G. Lample, "Cross-lingual language model pretraining", arXiv preprint arXiv:1901.07291, ~ (2019)
  8. Lewis. M, "Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension", arXiv preprint arXiv:1910.13461, ~ (2019)
  9. K. Clark, "Electra: Pre-training text encoders as discriminators rather than generators", arXiv preprint arXiv:2003. 10555, ~ (2020)
  10. C. Lee, "Exploring the Data Efficiency of Cross-Lingual Post-Training in Pretrained Language Models", Applied Sciences, 11(5), pp.1974~ (2021)
  11. "KoELECTRA: Pretrained ELECTRA model for Korean" (2020)[URL]
  12. J. Lee, "Kcbert: Korean comments bert", Annual Conference on Human and Language Technology, pp.437~444 (2020)
  13. "KcELECTRA: Korean comments ELECTRA"[URL]
  14. "DistilKoBERT: Distillation of KoBERT" (2019)[URL]
  15. J. Park, "KoBigBird: Pretrained BigBird Model for Korean (Version 1.0.0)", ~ (2021)
  16. B. Kim, "What changes can large-scale language models bring? intensive study on hyperclova: Billions-scale korean generative pretrained transformers", arXiv preprint arXiv:2109.04650, ~ (2021)
  17. "KoGPT: KakaoBrain Korean(hangul) Generative Pre-trained Transformer"[URL]
  18. "KE-T5: Korean English T5" (2021)[URL]
  19. Y. Wu, "Google’s neural machine translation system: Bridging the gap between human and machine translation", arXiv preprint arXiv:1609. 08144, ~ (2016)
  20. T. Kudo, "Sentencepiece:A simple and language independent subword tokenizer and detokenizer for neural text processing", arXiv preprint arXiv:1808. 06226, ~ (2018)
  21. A. Radford, "Language models are unsupervised multitask learners", OpenAI blog, 1(8), pp.9~ (2019)
  22. R. Sennrich, "Neural machine translation of rare words with subword units", arXiv preprint arXiv:1508. 07909, ~ (2015)
  23. H. Lee, "KoreALBERT : Pretraining a Lite BERT Model for Korean Language Understanding", 2020 25th International Conference on Pattern Recognition (ICPR), pp.5551~5557 (2021), IEEE
  24. Z. Lan, "Albert : A lite bert for self-supervised learning of language representations", arXiv preprint arXiv:1909. 11942, ~ (2019)
  25. C. Raffel, "Exploring the limits of transfer learning with a unified text-to-text transformer", arXiv preprint arXiv:1910. 10683, ~ (2019)
  26. S. Park, "KLUE: Korean Language Understanding Evaluation", arXiv preprint arXiv:2105. 09680, ~ (2021)
  27. S. Lee, "Kr-bert: A small-scale korean-specific language model", arXiv preprint arXiv:2008. 03979, ~ (2020)
  28. M. Zaheer, "Big Bird: Transformers for Longer Sequences" (2020), NeurIPS
  29. I. Yamada, "Global entity disambiguation with pretrained contextualized embeddings of words and entities", arXiv preprint arXiv:1909.00426, ~ (2019)
  30. R. Ri, "mLUKE:The Power of Entity Representations in Multilingual Pretrained Language Models", arXiv preprint arXiv:2110. 08151, ~ (2021)
  31. J. Yang, "Alternating language modeling for cross-lingual pre-training", Proceedings of the AAAI Conference on Artificial Intelligenc, 34, pp.9386~9393 (2020)
  32. Z. Chi, "Infoxlm: An information-theoretic framework for cross-lingual language model pre-training", arXiv preprint arXiv:2007. 07834, ~ (2020)
  33. Z. Chi, "Xlm-e: Cross-lingual language model pre-training via electra", arXiv preprint arXiv:2106. 16138, ~ (2021)
  34. Z. Chi, "Improving pretrained cross-lingual language models via self-labeled word alignment", arXiv preprint arXiv:2106.06381, ~ (2021)
  35. H. Huang, "Unicoder: A universal language encoder by pre-training with multiple cross-lingual tasks", arXiv preprint arXiv:1909. 00964, ~ (2019)
  36. B. A. Richards, "A deep learning framework for neuro- science", Nature neuroscience, 22(11), pp.1761~1770 (2019)
  37. Y. Liu, "Multilingual denoising pre-training for neural machine translation", Transactions of the Association for Computational Linguistics, 8, pp.726~742 (2020)
  38. Y. Tang, "Multilingual translation with extensible multilingual pretraining and finetuning", arXiv preprint arXiv:2008. 00401, ~ (2020)
  39. K. Song, "Mass: Masked sequence to sequence pre-training for language generation", arXiv preprint arXiv:1905. 02450, ~ (2019)
  40. Z. Chi, "Cross-lingual natural language generation via pre-training", Proceedings of the AAAI Conference on Artificial Intelligence, 34, pp.7570~7577 (2020)
  41. L. Xue, "mt5: A massively multilingual pre-trained text-to-text transformer", arXiv preprint arXiv:2010. 11934, ~ (2020)
  42. F. Luo, "Veco: Variable encoder-decoder pre-training for cross-lingual understanding and generation", arXiv preprint arXiv:2010. 16046, ~ (2020)
  43. Z. Chi, "mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs", arXiv preprint arXiv:2104. 08692, ~ (2021)
  44. "WikiExtractor"[URL]
  45. V. Sanh, "Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter", ArXiv, Vol. abs, 2019 (1910)
  46. A. Conneau, "Unsupervised cross-lingual representation learning at scale", arXiv preprint arXiv:1911.02116, ~ (2019)
  47. J. Hu, "Explicit alignment objectives for multilingual bidirectional encoders", arXiv preprint arXiv:2010.07972, ~ (2020)
  48. W. Qi, "Prophetnet-x: Large-scale pre-training models for english, chinese, multi-lingual, dialog, and code generation", arXiv preprint arXiv:2104.08006, ~ (2021)

관련 논문AI추천

사전학습 언어모델의 기술 분석 연구김희동, 지인영국제언어인문학회 · 인문언어2020 · 제22권 제1호전이학습 기반 기계번역 사후교정 모델 검증문현석, 박찬준, 서재형, 어수경, 임희석한국융합학회 · 한국융합학회논문지2021 · 제12권 제10호딥러닝 기반 사전학습 언어모델에 대한 이해와 현황박상언사)한국빅데이터학회 · 한국빅데이터학회 학회지2022 · 제7권 제2호Zero-Shot 기반 기계번역 품질 예측 연구문현석, 박찬준, 서재형, 어수경, 임희석한국융합학회 · 한국융합학회논문지2021 · 제12권 제11호대형 사전학습 언어모델 연구에 대한 고찰김희동, 지인영담화·인지언어학회 · 담화와 인지2021 · 제28권 제4호다국어 범용 의존관계 주석체계를 준수하는 BERT 언어 모델 기반 자가-집중을 적용한 다중 작업 모델김유희한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2022 · 제27권 제11호

이 간행물의 다른 논문 (37건)

클래스 다이어그램 이미지의 자동 분류에 관한 연구김동관pp. 1-9최신 대화형 에이전트 기반 상용화 교육 플랫폼 오류 분석서재형, 이승준, 임희석, 박찬준pp. 11-22PCA 및 변수 중요도를 활용한 냉동컨테이너 고장 탐지 방법론 비교 연구이희원, 박성호, 이승현, 이강배, 유성열, 이승재pp. 23-31Linear interpolation and Machine Learning Methods for Gas Leakage Prediction Base on Multi-source Data Integration조겨리, 김미혜, 홍고르출pp. 33-41실시간 동시통번역의 정책기반 성능 비교 연구서재형, 박찬준, 어수경, 문현석, 임희석, 이승준, 구선민, 이정섭pp. 43-54
원문 보기