BERT와 도메인 특화 단어를 활용한 유전자 변이 문헌의 근거 유형 분류
Classification of the Evidence Types of Genetic Variant Literature Using BERT and Domain-Specific Words
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
희귀유전질환의 진단 과정에서 유전자 검사를 수행하면 통상 수천에서 수만 개의 유전자 변이가 검출된다. 통상적으로 ACMG-AMP의 변이 해석 가이드라인에 따라 검출 변이의 병원성 여부를 판단한다. ClinVar 등의 공개 변이 정보 데이터베이스에 등록되지 않은 변이의 경우, PubMed나 LitVar 등의 문헌 검색 시스템을 이용하여 해당 변이와 관련된 연구를 찾고, 증상 정보, 병원성 여부, 근거와 근거 유형 등의 정보를 토대로 해당 변이의 질병 유발 가능성을 판단하게 된다. 본 논문에서는, 유전자 변이 문헌 검색 시스템을 효율적으로 사용하기 위해, 자연어 처리 딥러닝 모델인 BERT을 활용한, 유전자 변이 문헌의 근거 유형을 효과적으로 분류하는 방법을 제시한다. 의료바이오 분야에 최적화된 BioBERT를 사용하여 문헌 내용의 문맥 정보를 반영한 특징을 추출하고, 변이 해석과 관련한 전문 지식을 기반으로 선별한, 분야 특화 단어를 강조하는 BERT 입력 전처리 방식을 활용한다. 제시한 방법은 기존 방식보다 현저한 개선을 보여 BioBERT의 분야 특화 특성의 장점을 확인하였다. 분야 특화 단어의 강조 기법을 사용함으로써, 크지는 않지만 BioBERT를 단독으로 사용한 경우보다 일관된 성능 향상을 보였다.
Abstract
In the diagnostic process for rare genetic disorders, genetic testing often reveals thousands to tens of thousands of genetic variants. Many of these variants are assessed for pathogenicity according to the ACMG-AMP guidelines. For variants absent in public genetic variant annotation databases, such as ClinVar, reviewers resort to literature search systems like PubMed or LitVar to find related studies. The information from these studies, including patient symptoms, pathogenicity, evidences, and evidence types is then utilized to determine whether or not the variants are disease-causative. This paper presents a method for effectively classifying the evidence types of genetic variant literature by utilizing a BERT, a deep learning model for natural language processing, to make the variant interpretation process, which requires variant literature search systems, more efficient. The proposed method employs BioBERT, a variant of pre-trained BERT for the biomedical domain, to extract features reflecting the context of the biomedical domain text. It also utilizes a BERT input pre-processing technique that selectively emphasizes domain-specific words closely associated with the variant evidence types. This group of domain-specific words is carefully chosen by variant interpretation-specific domain knowledge. The method demonstrated here shows significant improvements over previous studies, confirming the advantages of BioBERT's biomedical domain-specific features over general BERT. By incorporating a technique that emphasizes the domain-specific terms in the BERT input preprocessing phase, a consistent, albeit slight, improvement in performance is observed compared to using BioBERT alone.
참고문헌 (17)
- S. Richards, "Standards and guidelines for the interpretation of sequence variants : a joint consensus recommendation of the american college of medical genetics and genomics and the association for molecular pathology", Genetics in medicine, 17(5), pp.405~425 (2015)
- M. Landrum, "ClinVar : improving access to variant interpretations and supporting evidence", Nucleic Acids Research, 46 (2018)
- "PubMed" (2024)[URL]
- A. Allot, "LitVar : a semantic search engine for linking genomic variant data in PubMed and PMC", Nucleic Acids Research, 46, pp.530~536 (2018)
- H. L. Rehm, "ClinGen the clinical genome resource", New England Journal of Medicine, 372(23), pp.2235~2242 (2015)
- A. Nie, "LitGen : Genetic literature recommendation guided by human explanation", Pacific Symposium on BioComputation, 25, pp.67~78 (2020)
- J. Devlin, "BERT: Pre-training of deep bidirectional transformers for language understanding", ACL anthology, 1, pp.4171~4186 (2019)
- J. Pennington, "Glove: Global vectors for word representation", Conf. on Empirical Methods in Natural Language Processing, pp.1532~1543 (2014)
- S. Hochreiter, "Long short-term memory", Neural Computation, 9(8), pp.1735~1780 (1997)
- J. Lee, "BioBERT : a pre-trained biomedical language representation model for biomedical text mining", Bioinformatics, 36(4), pp.1234~1240 (2020)
- R. Collobert, "A unified architecture for natural language processing:Deep neural networks with multitask learning", Conf. on Machine learning, pp.160~167 (2008)
- "Genomenon" (2024)[URL]
- L. Lee, "Matching the Blanks: Distributed similarity for relation learning", ACL anthology, 57, pp.2895~2905 (2019)
- K. Clark, "What does BERT look at? An analysis of BERT’s attention", ACL Workshop BackBoxNLP, pp.276~286 (2019)
- C. Tianqi, "XGBoost: A scalable tree boosting system", ACM SIGKDD Conf. on Knowledge Discovery and Data Mining, pp.785~794 (2016)
- L. Buitinck, "API design for machine learning software: experiences from the scikit-learn project", European Conf. on Machine Learning and Principles and Practices of Knowledge Discovery in Databases, pp.108~122 (2013)