BERT 모형을 이용한 주제명 자동 분류 연구
A Study on Automatic Classification of Subject Headings Using BERT Model
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
이 연구는 딥러닝 기법의 전이학습 모형인 BERT를 이용하여 주제명의 자동 분류를 실험하고 그 성능을 평가하였으며, 더 나아가 주제명이 부여된 KDC 분류체계와 주제명의 범주 유형에 따른 성능을 분석하였다. 실험 데이터는 국가서지를 이용하여 주제명의 부여 횟수에 따라 6개의 데이터셋을 구축하고 분류 자질로 서명을 이용하였다. 그 결과, 분류 성능으로 3,506개의 주제명이 포함된 데이터셋(레코드 1,539,076건)에서 마이크로 F1과 매크로 F1 척도가 각각 0.6059와 0.5626 값을 보였다. 또한 KDC 분류체계에 따른 분류 성능은 총류, 자연과학, 기술과학, 그리고 언어 분야에서 좋은 성능을 보이며 종교와 예술 분야는 낮은 성능을 보였다. 주제명의 범주 유형에 따른 성능은 ‘식물’, ‘법률명’, ‘상품명’이 높은 성능을 보인 반면, ‘국보/보물’ 유형의 주제명에서 낮은 성능을 보였다. 다수의 주제명을 포함하는 데이터셋으로 갈수록 분류기가 주제명을 제대로 부여하지 못하는 비율이 늘어나 최종 성능의 하락을 가져오기 때문에, 저빈도 주제명에 대한 분류 성능을 높이기 위한 개선방안이 필요하다.
Abstract
This study experimented with automatic classification of subject headings using BERT-based transfer learning model, and analyzed its performance. This study analyzed the classification performance according to the main class of KDC classification and the category type of subject headings. Six datasets were constructed from Korean national bibliographies based on the frequency of the assignments of subject headings, and titles were used as classification features. As a result, classification performance showed values of 0.6059 and 0.5626 on the micro F1 and macro F1 score, respectively, in the dataset (1,539,076 records) containing 3,506 subject headings. In addition, classification performance by the main class of KDC classification showed good performance in the class General works, Natural science, Technology and Language, and low performance in Religion and Arts. As for the performance by the category type of the subject headings, the categories of plant, legal name and product name showed high performance, whereas national treasure/treasure category showed low performance. In a large dataset, the ratio of subject headings that cannot be assigned increases, resulting in a decrease in final performance, and improvement is needed to increase classification performance for low-frequency subject headings.
참고문헌 (22)
- "인공지능이 서비스하는 검색과 요약, 체험해 보세요" (2021), 국립중앙도서관[URL]
- 김인후, "딥러닝 기반의 BERT 모델을 활용한 학술 문헌 자동분류", 정보관리학회지, 39(3), pp.293~310 (2022), 한국정보관리학회[DOI]
- 박진우, "한국어 특허 문장 기반 CPC 자동분류 연구 ―인공지능 언어모델 KorPatBERT를 활용한 딥러닝 기법 접근―", 지식재산연구, 17(3), pp.209~256 (2022), 한국지식재산연구원[DOI]
- 백지원, "국립중앙도서관 주제명표목표 검색 시스템 개선 방안에 관한 연구", 정보관리학회지, 31(1), pp.31~51 (2014), 한국정보관리학회[DOI]
- 엄기홍, "온라인 정치 여론 분석을 위한 댓글 분류기의 개발과 적용: KoBERT를 활용한 여론 분석", 한국정당학회보, 20(3), pp.167~191 (2021), 한국정당학회[DOI]
- 인공지능 기술을 활용한 사서 업무 지원 도구 개발에 관한 연구(979-11-6513-187-6), "오원석", 국립중앙도서관, ~ (2021)
- 최윤경, "국립중앙도서관 주제명표목표의 고품질화 방안에 관한 연구", 한국문헌정보학회지, 48(1), pp.75~95 (2014), 한국문헌정보학회[DOI]
- 황상흠, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델", 한국전자거래학회지, 25(1), pp.203~214 (2020), 한국전자거래학회[DOI]
- Cho, K., "Learning phrase representations using RNN encoder-decoder for statistical machine translation", arXiv preprint arXiv:1406.1078, ~ (2014)
- Devlin, J., "BERT: pre-training of Deep Bidirectional Transformers for Language Understanding", arXiv preprint arXiv:1810.04805, ~ (2018)
- Hochreiter, S., "Long short-term memory", Neural Computation, 9(8), pp.1735~1780 (1997)[DOI]
- Jin, Q., "AttentionMeSH : simple, effective and interpretable automatic MeSH indexer", Proceedings of the 6th BioASQ Workshop A challenge on large-scale biomedical semantic indexing and question answering, pp.47~56 (2018)
- Kim, Y., "Convolutional Neural Networks for Sentence Classification", Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp.1746~1751 (2014)
- LeCun, Y., "Gradient-based learning applied to document recognition", Proceedings of the IEEE, 86(11), pp.2278~2324 (1998)
- Mikolov, T., "Extensions of recurrent neural network language model", 2011 IEEE international conference on acoustics, speech and signal processing, pp.5528~5531 (2011), IEEE
- Mork, J. G., "The NLM Medical Text Indexer System for Indexing Biomedical Literature", BioASQ@ CLEF, ~ (2013)
- Peng, S., "Deepmesh: deep semantic representation for improving large-scale MeSH indexing", Bioinformatics, 32(12), pp.i70~ (2016)[DOI]
- Reich, P., "Indexing Consistency : the Input", Output Function of Thesauri, 1991, pp.52(4), 336~342
- Saarti, J., "Consistency of subject indexing of novels by public library professionals and patrons", Journal of Documentation, 58(1), pp.49~65 (2002)[DOI]
- Tonta, Y., "A study of indexing consistency between library of congress and british library catalogers", Library Resources & Technical Services, 35(2), pp.177~185 (1991)
- Vaswani, A., "Attention Is All You Need", Advances in neural information processing systems, 30, pp.6000~6010 (2017)[DOI]
- You, R., "BERTMeSH : deep contextual representation learning for large-scale high-performance MeSH indexing with full text", Bioinformatics, 37(5), pp.684~692 (2021)[DOI]