LSTM 영어학습자 언어모델의 동적 LSTM 네트워크 활성에 대한 분석: 주어 동사간의 수일치 작업
Analysis of dynamic LSTM network activation in LSTM English learner language model: Subject-Verb Number Agreement task
2
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 대규모 영어학습자들의 말뭉치에서 학습된 LSTM 영어학습자 언어모델의 동적LSTM 네트워크 활성을 분석하는 방법을 제안한다. NA-task 탐색 분류기(주어와 동사 간의 수일치작업)를 전이 학습시키고 LSTM 네트워크에서 각 시점에서의 활성 및 LSTM 뉴런 유닛의 제거를통해 성능을 평가하였다. 실험 결과는 LSTM 네트워크 활성이 NA-task 탐색 분류 성능에 영향을미치는 것으로 나타났다. NA-task 탐색 분류 모델은 NA-task에 대해 평가 데이터셋에서 99.57%의정확도를 달성하여 올바른 문법 규칙을 습득하고 정확한 예측 능력을 갖고 있음을 보여주었다. NA-task 처리에 대한 내부 LSTM 뉴런의 영향을 분석하기 위해 특정 LSTM 뉴런을 제거하고 모델의 성능을 평가 비교하였다. 뉴런 776을 제거한 결과, 복수 주어의 경우 성능이 10% 이상 감소하였으며, 뉴런 988을 제거한 결과, 단수 주어의 경우 성능이 제거 전 모델과 비교하여 10% 감소한 것으로 나타났다.
Abstract
In this paper, we propose an approach to analyze the dynamic LSTM network activation in an LSTM English learner language model trained on a large corpus of English-speaking learners. The objective is to examine the relationship between network activation and performance on the Subject-Verb Number Agreement task. By employing a NA-task probing classifier and conducting ablation experiments, activation patterns are evaluated at each time step. The results reveal a strong link between network activation and the classifier's performance. The proposed model achieved 99.57% accuracy on the evaluation dataset for the NA-task, demonstrating its acquisition of correct grammar rules and accurate prediction ability. To analyze the influence of internal neurons on NA-task processing, specific LSTM neurons are removed and the model's performance is examined. Removing neuron 776 resulted in a more than 10% decrease in performance for plural subjects, while removing neuron 988 led to a 10% decrease in performance for singular subjects compared to the model before removal.
참고문헌 (17)
- S. Hochreiter, "Long short-term memory", Neural Computation, pp.1735~1780 (1997)
- K. Gulordava, "Colorless green recurrent networks dream hierarchically", Proceedings of NAACL, pp.1195~1205 (2018)
- S. Chowdhury, "RNN simulations of grammaticality judgementss on long-distance dependencies", Proceedings of COLING, pp.113~144 (2018)
- M. Giulianelli, "Under the hood: Using diagnostic classifiers to investigate and improve how language models track agreement information", Proceedings of the EMNLP BlackboxNLP Workshop, pp.240~248 (2018)
- D. Hupkes, "Visualization and ‘diagnostic classifiers’ reveal how recurrent and recursive neural networks process hierarchical structure", Journal of Artificial Intelligence Research, pp.907~926 (2018)
- T. Linzen, "Syntactic Data Augmentation Increases Robustness to Inference Heuristics", Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp.427~432 (2020)
- T. Linzen, "The reliability of acceptability judgements across languages", Glossa : a journal of general lingistics, pp.1~25 (2018)
- T. Linzen, "Syntactic Structure from Deep Learning", Annual Review of Linguistics, pp.195~212 (2020)
- Y. Belinkov, "Probing Classifiers : Promises, Shortcomings, and Advances", Computational Linguistics, pp.207~219 (2022)
- "BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding" (2019)[URL]
- "Improving Language Understanding by Generative pre-Training" (2018)[URL]
- Tal Linzen, "Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies", Transactions of the Association for Computational Linguistics, 4, pp.521~535 (2016), MIT Press - Journals[DOI]
- V. Kumar, "Data Augmentation using pre-trained transformer models", AACL, pp.195~212 (2021)
- 김유희, "적응 학습을 이용한 영어 학습자의 LSTM 신경 언어 모델에서 문장 임베딩 진단", 한국컴퓨터정보학회논문지, 27(3), pp.13~23 (2022), 한국컴퓨터정보학회[DOI]
- 정원일, "언어 학습자로서의 신경망 언어모델: 영어 주어-동사 일치를 중심으로", 언어와 정보 사회, 44, pp.165~191 (2021), 언어정보연구소[DOI]
- 김유희, "The Ability of L2 LSTM Language Models to Learn the Filler-Gap Dependency", 한국컴퓨터정보학회논문지, 25(11), pp.27~40 (2020), 한국컴퓨터정보학회[DOI]
- 김유희, "L2ers’ predictions of syntactic structure and reaction times during sentence processing", 언어연구, 37, pp.189~218 (2020), 언어정보연구소[DOI]