오토인코더 기반 키워드 임베딩을 통한 문서 분류 방법론
Document Classification Methodology Using Autoencoder-based Keywords Embedding
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 연구에서는 문서 분류기의 정확도를 높이기 위해 문맥 정보와 키워드 정보를 모두 사용하는이중 접근(Dual Approach) 방법론을 제안한다. 우선 문맥 정보는 다양한 자연어 이해 작업(Task)에서 뛰어난 성능을 나타내고 있는 사전학습언어모델인 Google의 BERT를 사용하여 추출한다. 구체적으로 한국어 말뭉치를 사전학습한 KoBERT를 사용하여 문맥 정보를 CLS 토큰 형태로 추출한다. 다음으로 키워드 정보는 문서별 키워드 집합을 Autoencoder의 잠재 벡터를 통해 하나의 벡터값으로 생성하여 사용한다. 제안 방법을 국가과학기술정보서비스(NTIS)의 국가 R&D 과제 문서중 보건 의료에 해당하는 40,130건의 문서에 적용하여 실험을 수행한 결과, 제안 방법이 문서 정보 또는 단어 정보만을 활용하여 문서 분류를 진행하는 기존 방법들에 비해 정확도 측면에서 우수한 성능을 나타냄을 확인하였다.
Abstract
In this study, we propose a Dual Approach methodology to enhance the accuracy of document classifiers by utilizing both contextual and keyword information. Firstly, contextual information is extracted using Google's BERT, a pre-trained language model known for its outstanding performance in various natural language understanding tasks. Specifically, we employ KoBERT, a pre-trained model on the Korean corpus, to extract contextual information in the form of the CLS token. Secondly, keyword information is generated for each document by encoding the set of keywords into a single vector using an Autoencoder. We applied the proposed approach to 40,130 documents related to healthcare and medicine from the National R&D Projects database of the National Science and Technology Information Service (NTIS). The experimental results demonstrate that the proposed methodology outperforms existing methods that rely solely on document or word information in terms of accuracy for document classification.
참고문헌 (24)
- Y. Saito, "Deep Learning From Scratch 2" (2019), Hanbit Media
- A. Vaswani, "Attention Is All You Need", Advances in Neural Information Processing Systems, ~ (2017)
- 김동규, "KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용", 지능정보연구, 28(2), pp.191~206 (2022), 한국지능정보시스템학회
- 유은지, "추가 사전학습 기반 지식 전이를 통한 국가 R&D 전문 언어모델 구축", 지식경영연구, 22(3), pp.91~106 (2021), 한국지식경영학회[DOI]
- 박현정, "BERT를 활용한 속성기반 감성분석: 속성카테고리 감성분류 모델 개발", 지능정보연구, 26(4), pp.1~25 (2020), 한국지능정보시스템학회[DOI]
- 윤성식, "BERT를 활용한 상표 의견제출통지서 거절이유 분류모델 개발", 경영과 정보연구, 40(3), pp.41~58 (2021), 대한경영정보학회[DOI]
- 황상흠, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델", 한국전자거래학회지, 25(1), pp.203~214 (2020), 한국전자거래학회[DOI]
- 주종민, "단어의 의미와 문맥을 고려한 순환신경망 기반의 문서 분류", 정보처리학회 논문지, 7(7), pp.259~266 (2018), 한국정보처리학회[DOI]
- Pierre Baldi, "Neural networks and principal component analysis: Learning from examples without local minima", Neural Networks, 2(1), pp.53~58 (1989), Elsevier BV[DOI]
- 장수정, "텍스트 문서 분류에서 범주간 유사도와 계층적 분류 방법의 성과 관계 연구", 한국전자거래학회지, 25(3), pp.77~93 (2020), 한국전자거래학회[DOI]
- 이선복, "기계학습의 소개: 예측모형을 위한 지도학습 이론을 중심으로", 교육과학연구, 53(3), pp.1~43 (2022), 교육과학연구소
- S. Jo, "Industrial Applications of Machine Learning (Artificial Intelligence)", IE Magazine, 23(2), pp.34~38 (2016)
- Artificial Intelligence Technology and Chemical Engineering, "News & Information for Chemical Engineers", 2021, 179~195
- 최종윤, "국가 과학기술 표준분류 체계 기반 연구보고서 문서의 자동 분류 연구", 한국산학기술학회논문지, 21(1), pp.169~177 (2020), 한국산학기술학회[DOI]
- J. Pennington, "Glove: Global Vectors for Word Representation", Proceedings of the 2014conference on empirical methods in natural language processing (EMNLP), pp.1532~1543 (2014)
- Piotr Bojanowski, "Enriching Word Vectors with Subword Information", Transactions of the Association for Computational Linguistics, 5, pp.135~146 (2017), MIT Press - Journals[DOI]
- 김우주, "Word2vec을 활용한 문서의 의미 확장 검색방법", 한국콘텐츠학회 논문지, 16(10), pp.687~692 (2016), 한국콘텐츠학회[DOI]
- 최윤수, "기술용어 분산표현을 활용한 특허문헌 분류에 관한 연구", 한국문헌정보학회지, 53(2), pp.179~199 (2019), 한국문헌정보학회[DOI]
- 김영수, "문서 분류를 위한 신경망 모델에 적합한 텍스트 전처리와 워드 임베딩의 조합", 정보과학회논문지, 45(7), pp.690~700 (2018), 한국정보과학회[DOI]
- Q. Le, "Distributed Representations of Sentences and Documents", nternational Conference on Machine Learning (PMLR), 32(2), pp.1188~1196 (2014)
- "Improving Language Understanding by Generative Pre-training" (2018)[URL]