영어권 아동 도서의 일반 상식 평가 -신경망 언어 모델을 활용하여-
Evlauation of Commonsense Knowledge in Children's book -Using Neural Language Model-
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 딥러닝의 발전으로 다양한 방면에서 신경망 언어 모델이 인간 수준에 도달했다는 평가를 받고 있다. 그러나 현재 언어 모델이 직면한 가장 큰 문제는 일반 상식을 갖추지 못했다는 것이다. 인간은 세상에 대한 경험을 토대로 일반 상식을 무의식적으로, 그리고 직관적으로 추론해내지만, 현재 가장 성공적으로 과제를 수행해내는 GPT-3 등의 초거대 신경망 언어 모델조차 이러한 일반 상식을 갖추는 데 어려움을 겪고 있다(Hwang et al..2021). 이러한 한계를 극복하기 위해 일반 상식 그래프(commonsense knowledge graph, CKG)를 활용하여 인공지능으로 하여금 세상에 대한 일반 상식을 학습시키는 연구가 활발히 진행되고 있다. 본 연구는 최근에 발표된 ATOMIC 2020(Hwang et al..2021)을 활용하여 영어권 아동 도서 데이터 세트를 학습한 CB-COMET을 평가함으로써, 아동에게 노출되는 아동 도서를 기반으로 만들어진 신경망 언어 모델을 활용하여 일반 상식을 더욱 폭넓게 습득/도출하는데 기여할 수 있는지 밝히는 것을 목적으로 한다.
Abstract
Artificial intelligence has made significant progress in recent years through the development of deep learning, enabling it to match human performance in many areas. However, one of the major challenges facing AI is its lack of commonsense knowledge. While humans are able to unconsciously and intuitively infer general knowledge based on their experiences in the world, even the most advanced neural network language models, such as GPT-3, struggle to possess such knowledge. To address this limitation, researchers are conducting extensive studies to teach AI general knowledge about the world through the use of commonsense graphs. The goal of this research is to determine how much commonsense knowledge neural network language models can learn, and this is being evaluated through the CB-COMET model, which was trained on the Children's Book Dataset using ATOMIC-2020.
참고문헌 (11)
- Bender, E. M., "Climbing towards NLU : on meaning, form, and understanding in the age of data", Association for Computational Linguistics, pp.5185~5198 (2020)
- Bosselut, A., "COMET : Commonsense transformers for automatic knowledge graph construction", ACL, ~ (2019)
- Choi, Y, "The Curious Case of Commonsense Intelligence", Daedalus, ~ (2022)
- Davis, E., "Commonsense reasoning and commonsense knowledge in artificial intelligence", ACM, 58, pp.92103~ (2015)
- He, M., "Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization", arXiv preprint arXiv:2206.01532, ~ (2022)
- Hwang, J. D., "COMET-ATOMIC 2020 : On Symbolic and Neural Commonsense Knowledge Graphs", AAAI (2020)
- Mostafazadeh, N., "Corpus and cloze evaluation for deeper understanding of commonsense stories", NAACL (2016)
- Romero, J., "Do Children Texts Hold The Key To Commonsense Knowledge?", arXiv preprint arXiv:2210. 04530, ~ (2022)
- Sap, M., "Atomic : An atlas of machine commonsense for if-then reasoning", AAAI (2019)
- Speer, R., "Conceptnet 5. 5 : An open multilingual graph of general knowledge", AAAI, pp.44444451~ (2017)
- Yang, B., "Embedding entities and relations for learning and inference in knowledge bases", ICLR (2015)