자연어 처리의 개체명 인식을 통한 기록집합체의 메타데이터 추출 방안
A method for metadata extraction from a collection of records using Named Entity Recognition in Natural Language Processing
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 인공지능의 하위분야인 자연어 처리(NLP)의 개체명 인식(NER)을 통하여 기록에 내재된 메타데이터 값과 기술 정보를 추출하는 방안에 대한 시험적 연구이다. 연구 대상은 1960~1970년대에 생산된 구로공단 수기 기록물(약 1,200 쪽, 8만여 단어)을 대상으로 하였다. 디지털화를 포함하는 전처리 과정과 함께 기록 텍스트에 대해서 구글의 BERT 언어 모델에 기반하여 구현되어 공개된 언어 API를 사용하여 개체명을 인식하였다. 그 결과로 구로공단의 과거 기록에 포함된 173개의 인명과 314개의 조직 및 기관 개체명을 추출할 수 있었고, 이는 기록의 내용에 대한 직접적인 검색어로 사용될 수 있다고 기대된다. 그리고 자연어 처리의 이론적 방법론을 반·비정형의 텍스트로 이루어진 실제 기록물에 적용할 때 발생하는 문제점을 파악하여 해결 방안과 고려해야 할 시사점을 제시했다.
Abstract
This pilot study explores a method of extracting metadata values and descriptions from records using named entity recognition (NER), a technique in natural language processing (NLP), a subfield of artificial intelligence. The study focuses on handwritten records from the Guro Industrial Complex, produced during the 1960s and 1970s, comprising approximately 1,200 pages and 80,000 words. After the preprocessing process of the records, which included digitization, the study employed a publicly available language API based on Google’s Bidirectional Encoder Representations from Transformers (BERT) language model to recognize entity names within the text. As a result, 173 names of people and 314 of organizations and institutions were extracted from the Guro Industrial Complex’s past records. These extracted entities are expected to serve as direct search terms for accessing the contents of the records. Furthermore, the study identified challenges that arose when applying the theoretical methodology of NLP to real-world records consisting of semistructured text. It also presents potential solutions and implications to consider when addressing these issues.
참고문헌 (19)
- 강범모, "텍스트 맥락과 단어 의미 : 잠재 의미 분석", 언어학, 68, pp.3~34 (2014)[DOI]
- 고명현, "효율적 대화 정보 예측을 위한 개체명 인식 연구", 방송공학회 논문지, 24(1), pp.58~66 (2019)[DOI]
- "기록관리 메타데이터 표준", NAK 8:2022(v2.3), ~
- 김인후, "딥러닝 기반의 BERT 모델을 활용한 학술 문헌 자동 분류", 정보관리학회지, 39(3), pp.293~310 (2022)[DOI]
- 김태영, "지능형 기록정보 서비스를 위한 선진 기술 현황 분석 및 적용 방안", 한국기록관리학회지, 18(4), pp.149~182 (2018)[DOI]
- 김학래, "기록관리 분야에서 한국어 자연어 처리 기술을 적용하기 위한 고려사항", 한국기록관리학회지, 22(4), pp.129~149 (2022)[DOI]
- "문헌정보 – 기록관리 - 제1부: 개념과 원칙", ISO 15489-1, ~ (2016)
- 안세진, "종이 기록 데이터화를 위한 AI-OCR 적용 사례연구", 정보관리학회지, 39(3), pp.165~193 (2022)[DOI]
- "영구기록물 기술 규칙", NAK 13 : 2022(v2.1), ~
- 임수종, "초거대 인공지능 언어 모델 동향 분석", KOSTAT 통계플러스, 16, pp.70~85 (2021)
- 임진희, "공문서의 기계 가독형(Machine Readable)전환 방법 제언", 기록학연구, 67, pp.99~138 (2021)[DOI]
- "언어 분석 기술"[URL]
- "제공 API"[URL]
- 한미경, "내한 선교사 편지(1884-1942)와 디지털 아카이브" (2020), 보고사
- "NLP의 기본 절차와 Lexical Analysis" (2017)[URL]
- Bak, G., "Continuous classification : Capturing dyanamic relationships among information resources", Archival Scie nce, 12(3), pp.287~318 (2012)[DOI]
- Colavizza, G., "Archives and AI : An Overview of Current Debates and Future Perspectives", Journal on Computing and Cultural Heritage, 15(1), pp.1~15 (2021)[DOI]
- Colavizza, G., "Index-Driven Digitization and Indexation of Historical Archives", Front. Digit. Humanities, 6, pp.1~16 (2019)
- Rolan, G., "More human than human? Artificial intelligence in the archive", Archives and Manuscripts, 47(2), pp.1~25 (2019)[DOI]