적응 학습을 이용한 영어 학습자의 LSTM 신경 언어 모델에서 문장 임베딩 진단
Probing Sentence Embeddings in L2 Learners’ LSTM Neural Language Models Using Adaptation Learning
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
Prasad et al.는 사전학습(pre-trained)한 신경망 L1 글로다바(Gulordava) 언어모델을 여러 유형의 영어관계절과 등위절 문장들로 적응 학습(adaptation learning)시켜 문장 간 유사성(sentence similarity)을 평가할수 있는 통사 프라이밍(syntactic priming)-기반 프로빙 방법((probing method)을 제안했다. 본 논문에서는한국인 영어학습자가 배우는 영어 자료를 바탕으로 훈련된 L2 LSTM 신경망 언어 모델의 영어 관계절혹은 등위절 구조의 문장들에 대한 임베딩 표현 방식을 평가하기 위하여 프로빙 방법을 적용한다. 프로빙 실험은 사전 학습한 LSTM 언어 모델을 기반으로 추가로 적응 학습을 시킨 LSTM 언어 모델을사용하여 문장 임베딩 벡터 표현의 통사적 속성을 추적한다. 이 프로빙 실험을 위한 데이터셋은 문장의통사 구조를 생성하는 템플릿을 사용하여 자동으로 구축했다. 특히, 프로빙 과제별 문장의 통사적 속성을분류하기 위해 통사 프라이밍을 이용한 언어 모델의 적응 효과(adaptation effect)를 측정했다. 영어 문장에대한 언어 모델의 적응 효과와 통사적 속성 관계를 복합적으로 통계분석하기 위해 선형 혼합효과 모형(linear mixed-effects model) 분석을 수행했다. 제안한 L2 LSTM 언어 모델이 베이스라인 L1 글로다바 언어모델과 비교했을 때, 프로빙 과제별 동일한 양상을 공유함을 확인했다. 또한 L2 LSTM 언어 모델은다양한 관계절 혹은 등위절이 있는 문장들을 임베딩 표현할 때 관계절 혹은 등위절 세부 유형별로통사적 속성에 따라 계층 구조로 구분하고 있음을 확인했다.
Abstract
In this study we leveraged a probing method to evaluate how a pre-trained L2 LSTM language model represents sentences with relative and coordinate clauses. The probing experiment employed adapted models based on the pre-trained L2 language models to trace the syntactic properties of sentence embedding vector representations. The dataset for probing was automatically generated using several templates related to different sentence structures. To classify the syntactic properties of sentences for each probing task, we measured the adaptation effects of the language models using syntactic priming. We performed linear mixed-effects model analyses to analyze the relation between adaptation effects in a complex statistical manner and reveal how the L2 language models represent syntactic features for English sentences. When the L2 language models were compared with the baseline L1 Gulordava language models, the analogous results were found for each probing task. In addition, it was confirmed that the L2 language models contain syntactic features of relative and coordinate clauses hierarchically in the sentence embedding representations.
참고문헌 (18)
- A. Vaswani, "Attention Is All You Need", ~ (2017)
- S. Hochreiter, "Long short-term memory", Neural Computation, 9(8), pp.1735~1780 (1997)
- T. Linzen, "Assessing the ability of LSTMs to learn syntax-sensitive dependencies", 521~535 (2016)
- R. T. McCoy, "Revisiting the poverty of the stimulus:Hierarchical generalization without a hierarchical bias in recurrent neural netwo", 2093~2098 (2018)
- M. van Schijndel, "A neural model of adaptation in reading", 4704~4710 (2018)
- G. Prasad, "Using priming to uncover the organization of syntactic representations in neural language models", 66~76 (2019)
- K. Gulordava, "Colorless green recurrent networks dream hierarchically", ~ (2018)
- H. P Branigan, "Syntactic priming across highly similar languages is not affected by language proficiency", ~ (2021)
- J. Hewitt, "A Structural Probe for Finding Syntax in Word Representations", 4129~4138 (2019)
- A. Conneau, "What you can cram into a single \$&!#*vector: Probing sentence embeddings for linguistic properties", ~ (2018)
- J. B Wells, "Experience and sentence processing: Statistical learning and relative clause comprehension", Cognitive Psychology, 58, pp.250~271 (2009)
- Tianyu Gao, "Making Pre-trained Language Models Better Few-shot Learners", ACL, pp.3816~3830 (2021)
- J. R. Bellegarda, "An Overview of Statistical Language Model Adaptation", ITRW on Adaptation Methods for Speech Recognition, 29~30 (2001)
- Schick, "It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners", NAACL (2021)
- M. van Schijndel, "Quantity doesn't buy quality syntax with neural language models", ~ (2019)
- 김유희, "Sentence Comprehension with an LSTM Language Model", 디지털콘텐츠학회논문지, 19(12), pp.2393~2401 (2018), 한국디지털콘텐츠학회[DOI]
- 김유희, "L2ers’ predictions of syntactic structure and reaction times during sentence processing", 언어연구, 37, pp.189~218 (2020), 언어정보연구소[DOI]
- J. Hale, "Quantifying Structural and Non-structural Expectations in Relative Clause processing", ~ (2021)