이질적 지식증류를 활용한 텍스트 분류 방법론
Text Classification Using Heterogeneous Knowledge Distillation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 딥 러닝 기술의 발전으로 방대한 텍스트 데이터를 사전에 학습한 우수한 성능의 거대한 모델들이 다양하게 고안되었다. 하지만 이러한 모델을 실제 서비스나 제품에 적용하기 위해서는 빠른 추론속도와 적은 연산량이 요구되고 있으며, 이에 모델 경량화 기술에 대한 관심이 높아지고 있다. 대표적인 모델 경량화 기술인 지식증류는 교사 모델이 이미 학습한 지식을 상대적으로 작은 크기의 학생모델에 전이시키는 방법으로 다방면에 활용 가능하여 주목받고 있지만, 당장 주어진 문제의 해결에필요한 지식만을 배우고 동일한 관점에서만 반복적인 학습이 이루어지기 때문에 기존에 접해본 문제와 유사성이 낮은 문제에 대해서는 해결이 어렵다는 한계를 갖는다. 이에 본 연구에서는 궁극적으로해결하고자 하는 과업에 필요한 지식이 아닌, 보다 상위 개념의 지식을 학습한 교사 모델을 통해 지식을 증류하는 이질적 지식증류 방법을 제안한다. 또한, 사이킷런 라이브러리에 내장된 20 Newsgroups의약 18,000개 문서에 대한 분류 실험을 통해, 제안 방법론에 따른 이질적 지식증류가 기존의 일반적인지식증류에 비해 학습 효율성과 정확도의 모든 측면에서 우수한 성능을 보임을 확인하였다.
Abstract
Recently, with the development of deep learning technology, a variety of huge models with excellent performance have been devised by pre-training massive amounts of text data. However, in order for such a model to be applied to real-life services, the inference speed must be fast and the amount of computation must be low, so the technology for model compression is attracting attention. Knowledge distillation, a representative model compression, is attracting attention as it can be used in a variety of ways as a method of transferring the knowledge already learned by the teacher model to a relatively small-sized student model. However, knowledge distillation has a limitation in that it is difficult to solve problems with low similarity to previously learned data because only knowledge necessary for solving a given problem is learned in a teacher model and knowledge distillation to a student model is performed from the same point of view. Therefore, we propose a heterogeneous knowledge distillation method in which the teacher model learns a higher-level concept rather than the knowledge required for the task that the student model needs to solve, and the teacher model distills this knowledge to the student model. In addition, through classification experiments on about 18,000 documents, we confirmed that the heterogeneous knowledge distillation method showed superior performance in all aspects of learning efficiency and accuracy compared to the traditional knowledge distillation.
참고문헌 (30)
- H. L. Erickson, "Concept-Based Curriculum and Instruction for the Thinking Classroom" (2017), Corwin
- G. Hinton, "Distilling the Knowledge in a Neural Network", ~ (2015)
- J. Kim, "Paraphrasing Complex Network:Network Compression via Factor Transfer", Advances in neural information processing systems, 31 (2018)[DOI]
- J. Ba, "Do deep nets really need to be deep?", Advances in neural information processing systems, 27 (2014)[DOI]
- S. I. Mirzadeh, "Improved Knowledge Distillation via Teacher Assistant", Proceedings of the AAAI conference on artificial intelligence, 34(04), pp.5191~5198 (2020)
- A. Romero, "FITNETS: HINTS FOR THIN DEEP NETS", ~ (2015)
- Z. Huang, "Like What You Like: Knowledge Distill via Neuron Selectivity Transfer", ~ (2017)
- B. Heo, "Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons", Proceedings of the AAAI Conference on Artificial Intelligence, 33(01), pp.3779~3787 (2019)
- J. Yim, "A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.4133~4141 (2017)
- S. Lee, "Graph-based Knowledge Distillation by Multi-head Attention Network", ~ (2019)
- Y. Liu, "Knowledge distillation via instance relationship graph", Proceedings of the IEEE, 2019, 7096~7104
- J. Gou, "Knowledge Distillation: A Survey", International Journal of Computer Vision, 129(6), pp.1789~1819 (2021)[DOI]
- J. Devlin, "BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding", ~ (2019)
- S. Hahn, "Self-Knowledge Distillation in Natural Language Processing", ~ (2019)
- Y. C. Chen, "Distilling Knowledge Learned in BERT for Text Generation", ~ (2020)
- S. Arora, "On Knowledge Distillation from Complex Networks for Response Prediction", Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 1, pp.3813~3822 (2019)
- S. Shakeri, "Knowledge Distillation in Document Retrieval", ~ (2019)
- S. Zhang, "Cross-domain knowledge distillation for text classification", Neurocomputing, 509, pp.11~202022 (2022)[DOI]
- 김남규, "텍스트 분석 기술 및 활용 동향", 한국통신학회논문지, 42(2), pp.471~492 (2017), 한국통신학회[DOI]
- 김성훈, "클래스 불균형 문제가 있는 특허분류 데이터의 자동분류 성능 개선을 위한 모델 재귀적 오버샘플링 방법", 전자공학회논문지, 58(4), pp.43~49 (2021), 대한전자공학회
- B. Dipto, "Research Paper Classification Scheme based on Word Embedding", Proceedings of the Korea Information Processing Society Conference, 28(2) (2021)
- H. Son, "Rule-based filtering and deep learning LSTM e-mail spam classification", Proceedings of the Korean Information Science Society Conference, pp.105~107 (2021)
- 지선미, "단어 특징의 의미적 보강을 이용한 트위터 뉴스 분류 기법", 정보과학회논문지, 45(10), pp.1045~1055 (2018), 한국정보과학회[DOI]
- 윌리엄, "이질성 학습을 통한 문서 분류의 정확성 향상 기법", 지능정보연구, 24(3), pp.21~44 (2018), 한국지능정보시스템학회[DOI]
- 박상언, "딥러닝 중심의 자연어 처리 기술 현황 분석", 한국빅데이터학회 학회지, 6(1), pp.63~81 (2021), 사)한국빅데이터학회[DOI]
- T. Mikolov, "Efficient Estimation of Word Representations in Vector Space", ~ (2013)
- K. Clark, "ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators", ~ (2020)
- V. Sanh, "DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter", ~ (2020)
- X. Jiao, "TinyBERT: Distilling BERT for Natural Language Understanding", ~ (2020)
- K. Lang, "NewsWeeder: Learning to Filter Netnews", Proceedings of the Twelfth International Conference on Machine Learning, pp.331~339 (1995)