생의학 개체명 인식을 위한 도메인 특화 BERT 앙상블 모델의 최적화
Optimizing BERT-based Ensembles for Biomedical NER
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
생의학 분야에서 개체명 인식은 주어진 텍스트에서 질병명, 유전자명, 화학물질명 등을 판별하는 기술이며 새로운 지식 추출, 개체간 관계 발굴에응용된다. 본 논문에서는 생의학 개체명 인식 성능을 향상시키기 위해 바이오 텍스트로 사전훈련된 BERT 계열 언어모델의 가중합, 병합, 게이트네트워크 앙상블을 수행하였다. 구체적으로 언어모델의 임베딩 단계에서 앙상블을 수행하여 개별 모델이 놓친 특정 패턴에 대한 추가 정보를 확보하고, 언어의 표현력을 강화시키며, 불균형한 데이터로 인한 오류를 줄였다. BERT 계열 언어모델 후보는 단일 모델 성능 평가를 통해 선별하였고앙상블 후 전수 탐색 기반 최적화하여 얻어진 본 앙상블 모델은 개별 모델보다 정밀도, 재현율, f1 성능이 향상되었다.
Abstract
In this paper, we presented an approach for named entity recognition(NER) for biomedical corpora using ensemble of BERT-basedmodels to enhance performance of NER system. Specifically, we employed three ensemble strategies for BERT-based models trained onbiomedical literature, which are weighted averaging, concatenation, and gating network. The emsemble is conducted at embedding level,in order to capture additional information about specific patterns missed by individual models, hence enhancing expressive power ofthe language models and mitigating errors by imbalanced data. The candidate BERT-based models were narrowed down by performanceevaluations and were optimized via exhaustive search. Our results showed that optimized ensemble models could outperform individualmodels and provide more reliable predictions.