본문 바로가기
KERD
논문KCI 등재

기록관리 분야에서 한국어 자연어 처리 기술을 적용하기 위한 고려사항

Considerations for Applying Korean Natural Language Processing Technology in Records Management

김학래
한국기록관리학회 (Korean Society of Archives and Records Management)|2022.11|한국기록관리학회지 (Journal of Korean Society of Archives and Records Management)|제22권 제4호|pp. 129-149|DOI https://doi.org/10.14404/JKSARM.2022.22.4.129

0

조회

0

다운로드

6

인용

0

참고문헌

키워드

인공지능기록관리자연어 처리Machine learningRecords management머신러닝Artificial intelligence딥러닝Deep learningNatural language processing

초록

기록물은 과거와 현재를 포함하는 시간적 특성, 특정 언어에 제한되지 않는 언어적 특성, 기록물이 갖고 있는 다양한 유형을 복합적으로 갖고 있다. 기록물의 생성, 보존, 활용에 이르는 생애주기에서 텍스트, 영상, 음성으로 구성된 데이터의 처리는 많은 노력과 비용을 수반한다. 기계번역, 문서요약, 개체명 인식, 이미지 인식 등 자연어 처리 분야의 주요 기술은 전자기록과 아날로그 형태의 디지털화에 광범위하게 적용할 수 있다. 특히, 딥러닝 기술이 적용된 한국어 자연어 처리 분야는 다양한 형식의 기록물을 인식하고, 기록관리 메타데이터를 생성하는데 효과적이다. 본 논문은 한국어 자연어 처리를 기술을 소개하고, 기록 관리 분야에서 자연어 처리 기술을 적용하기 위한 고려사항을 논의한다. 기계번역, 광학문자인식과 같은 자연어 처리 기술이 기록물의 디지털 변환에 적용되는 과정은 파이썬 환경에서 구현한 사례로 소개한다. 한편, 자연어 처리 기술의 활용을 위해 기록관리 분야에서 자연어 처리 기술을 적용하기 위한 환경적 요소와 기록물의 디지털화 지침을 개선하기 위한 방안을 제안한다.

Abstract

Records have temporal characteristics, including the past and present; linguistic characteristics not limited to a specific language; and various types categorized in a complex way. Processing records such as text, video, and audio in the life cycle of records’ creation, preservation, and utilization entails exhaustive effort and cost. Primary natural language processing (NLP) technologies, such as machine translation, document summarization, named-entity recognition, and image recognition, can be widely applied to electronic records and analog digitization. In particular, Korean deep learning–based NLP technologies effectively recognize various record types and generate record management metadata. This paper provides an overview of Korean NLP technologies and discusses considerations for applying NLP technology in records management. The process of using NLP technologies, such as machine translation and optical character recognition for digital conversion of records, is introduced as an example implemented in the Python environment. In contrast, a plan to improve environmental factors and record digitization guidelines for applying NLP technology in the records management field is proposed for utilizing NLP technology.

참고문헌 (62)

  1. 빅데이터·인공지능 기술을 활용한 대학 기록관리 표준모델 연구, "강민균", 국가기록원, ~, pp.11-1741050-000079-01 (2021)
  2. 기록물 OCR 데이터셋 구축 및 한글 필기체 인식 성능 개선 연구, "강지홍", 국가기록원, ~, pp.11-1741050-000078-01 (2021)
  3. 강형석, "한국어 단어 임베딩을 위한 Word2vec 모델의 최적화", 디지털콘텐츠학회논문지, 20(4), pp.825~833 (2019), 한국디지털콘텐츠학회[DOI]
  4. "기록관리 메타데이터 표준(v2.1). NAK", S 8:2016(v2.1)
  5. "기록물 디지털화 지침-제1부: 종이 및 사진·필름(v1.0). NAK", G 8-1:2013(v1.0)
  6. "기록물 디지털화 지침. NAK 26:2018(v2.0)", ~
  7. "기록물 목록 작성 및 디지털화 작업 지침(v1.2). NAK 23:2017(v1.2)", ~
  8. 김상운, "GPT-2를 이용한 지식 그래프 완성", 정보과학회논문지, 48(12), pp.1281~1288 (2021), 한국정보과학회[DOI]
  9. 김영민, "KorQuAD 2.0: 웹문서 기계독해를 위한 한국어 질의응답 데이터셋", 정보과학회논문지, 47(6), pp.577~586 (2020), 한국정보과학회[DOI]
  10. 김인택, "인공지능을 활용한 지능형 기록관리 방안", 한국기록관리학회지, 17(4), pp.225~250 (2017), 한국기록관리학회[DOI]
  11. 김인후, "딥러닝 기반의 BERT 모델을 활용한 학술 문헌 자동분류", 정보관리학회지, 39(3), pp.293~310 (2022), 한국정보관리학회[DOI]
  12. 김태영, "지능형 기록정보서비스를 위한 선진 기술 현황 분석 및 적용 방안", 한국기록관리학회지, 18(4), pp.149~182 (2018), 한국기록관리학회[DOI]
  13. 머신러닝 기술을 활용한 국회전자도서관 지식검색 서비스 모델 연구, "김학래", 국회도서관, ~ (2022)
  14. 김해찬솔, "기계학습을 이용한 기록 텍스트 자동분류 사례 연구", 정보관리학회지, 34(4), pp.321~344 (2017), 한국정보관리학회[DOI]
  15. 빅데이터 분석기술을 활용한 자치단체 기록관리기준표 현황분석 및 개선방안 연구, "류한조", 국가기록원, ~, pp.11-1741050-000075-01 (2021)
  16. "문헌정보 — 기록관리 — 제1부: 개념과 원칙. KS X ISO15489-1", ~
  17. 민진우, "LUKE를 이용한 한국어 자연어 처리: 개체명 인식, 개체 연결", 정보과학회 컴퓨팅의 실제 논문지, 28(3), pp.175~183 (2022), 한국정보과학회[DOI]
  18. 박상언, "딥러닝 중심의 자연어 처리 기술 현황 분석", 한국빅데이터학회 학회지, 6(1), pp.63~81 (2021), 사)한국빅데이터학회[DOI]
  19. 박은정, "KoNLPy : 쉽고 간결한 한국어 정보처리 파이썬 패키지", 제 26회 한글 및 한국어 정보처리 학술대회논문집, 2014, pp.133~166 (2014)
  20. 박진호, "딥러닝 기반 자연어 처리에서 도메인 지식의 역할", 인공지능인문학연구, 4, pp.134~166 (2019), 인문콘텐츠연구소[DOI]
  21. 지능형 전자기록관리 기술연구 개발 기획연구, "오효정", 국가기록원, ~, pp.11-1741050-000033-01 (2019)
  22. 기록관리 AI 기술적용을 위한 공통 학습데이터 세트 구축 연구, "오효정", 국가기록원, ~, pp.11-1741050-000073-01 (2021)
  23. 유소엽, "BERT 모델과 지식 그래프를 활용한 지능형 챗봇", 한국전자거래학회지, 24(3), pp.87~98 (2019), 한국전자거래학회[DOI]
  24. 조희련, "딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류 -KoBERT와 KoGPT2를 중심으로-", 한국언어문화학, 18(1), pp.217~241 (2021), 국제한국언어문화학회
  25. 최용석, "트랜스포머와 BERT로 구현한 한국어 형태소 분석기의 성능 분석", 정보과학회논문지, 47(8), pp.730~741 (2020), 한국정보과학회[DOI]
  26. 황상흠, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델", 한국전자거래학회지, 25(1), pp.203~214 (2020), 한국전자거래학회[DOI]
  27. Alsentzer, E., "Publicly available clinical BERT embeddings", arXiv preprint arXiv : 1904, ~ (2019)
  28. Arefieva, V., "TourBERT : A pretrained language model for the tourism industry", arXiv preprint arXiv:2201.07449, ~ (2022)
  29. Badrinarayanan, V., "Segnet : A deep convolutional encoder-decoder architecture for image segmentation", IEEE transactions on pattern analysis and machine intelligence, 39(12), pp.2481~2495 (2017)
  30. Beltagy, I., "SciBERT : A pretrained language model for scientific text", arXiv preprint arXiv:1903.10676, ~ (2019)
  31. Bengio, Y., "Deep learning for AI", Communications of the ACM, 64(7), pp.58~65 (2021)[DOI]
  32. Bojanowski, P., "Enriching word vectors with subword information", Transactions of the association for computational linguistics, 5, pp.135~146 (2017)[DOI]
  33. Camacho-Collados, J., "Embeddings in natural language processing", Proceedings of the 28th international conference on computational linguistics: tutorial abstracts, pp.10~15 (2020)
  34. Ding, J., "Assessment of Empirical Troposphere Model GPT3 Based on NGL's Global Troposphere Products", Sensors, 20(13), pp.3631~ (2020)[DOI]
  35. Dwivedi, Y. K., "Metaverse beyond the hype : Multidisciplinary perspectives on emerging challenges, opportunities, and agenda for research, practice and policy", International Journal of Information Management, 66 (2022)
  36. Ethayarajh, K, "How contextual are contextualized word representations? comparing the geometry of BERT, ELMo, and GPT-2 embeddings", arXiv preprint arXiv:1909.00512, ~ (2019)
  37. Floridi, L., "GPT-3 : Its nature, scope, limits, and consequences", Minds and Machines, 30(4), pp.681~694 (2020)[DOI]
  38. Gonzalez-Dominguez, J., "Automatic language identification using long short-term memory recurrent neural networks", Proceedings of the 15th Annual Conference of the International Speech Communication Association (INTERSPEECH), pp.2155~2159 (2014)
  39. Kaplan, J, "제리 카플란 인공지능의미래 : 상생과 공존을 위한 통찰과 해법들" (2017), 한즈미디어
  40. LeCun, Y., "The handbook of brain theory and neural networks" (1995)
  41. Lee, J., "BioBERT : a pre-trained biomedical language representation model for biomedical text mining", Bioinformatics, 36(4), pp.1234~1240 (2020)
  42. Lee, S, "KR-BERT: A Small-Scale Korean-Specific Language Model", CoRR, arXiv:2008.03979, ~ (2020)
  43. Locke, S., "Natural language processing in medicine : a review", Trends in Anaesthesia and Critical Care, 38, pp.4~9 (2021)[DOI]
  44. McCarthy, J., "A proposal for the dartmouth summer research project on artificial intelligence", AI magazine, 27(4), pp.12~12 (2006)[DOI]
  45. Mikolov, T., "Efficient estimation of word representations in vector space", 1st International Conference on Learning Representations, ICLR 2013, Workshop Track Proceedings (2013)
  46. Nadkarni, P. M., "Natural language processing : an introduction", Journal of the American Medical Informatics Association, 18(5), pp.544~551 (2011)[DOI]
  47. Pennington, J., "Glove: Global vectors for word representation", Proceedings of the 2014 conference on empirical methods in natural language processing(EMNLP), pp.1532~1543 (2014)
  48. Peters, M. E., "Deep contextualized word representations", Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 1, pp.2227~2237 (2018)
  49. Language Models are Unsupervised Multitask Learners, "Radford, A.", OpenAi, ~ (2018)
  50. Ranjan, N., "A Survey on Techniques in NLP", International Journal of Computer Applications, 134(8), pp.6~9 (2016)
  51. Rogers, A., "A Primer in BERTology : What we know about how BERT works", Transactions of the Association for Computational Linguistics, 8, pp.842~866 (2020)[DOI]
  52. Rosenblatt, F., "The perceptron : a probabilistic model for information storage and organization in the brain", Psychological review, 65(6), pp.386~408 (1958)[DOI]
  53. Singh, P., "A pilot study for BERT language modelling and morphological analysis for ancient and medieval Greek", Proceedings of the 5th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature (LaTeCH-CLfL 2021), pp.128~137 (2021)
  54. Sutskever, I., "Generating text with recurrent neural networks", Proceedings of the 28th International Conference on International Conference on Machine Learning (ICML'11), pp.1017~1024 (2011)
  55. Tang, D., "Learning sentiment-specific word embedding for twitter sentiment classification", Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 1, pp.1555~1565 (2014)
  56. Vaswani, A., "Attention is all you need", Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS'17), pp.6000~6010 (2017)
  57. Von Ahn, L., "recaptcha : Human-based character recognition via web security measures", Science, 321(5895), pp.1465~1468 (2008)[DOI]
  58. Wang, H., "On the origin of deep learning", arXiv preprint arXiv:1702.07800, ~ (2017)
  59. Weikum, G., "Foundations of statistical natural language processing", ACM SIGMOD Record, 31(3), pp.37~38 (2002)[DOI]
  60. Weiss, K., "A survey of transfer learning", Journal of Big data, 3(1), pp.1~40 (2016)[DOI]
  61. Wolf, T., "Transformers: State-of-the-art natural language processing", Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pp.38~45 (2020)
  62. Yang, Y., "Finbert : A pretrained language model for financial communications", arXiv preprint arXiv:2006.08097, ~ (2020)

관련 논문AI추천

OCR을 통한 비전자기록물의 전자화 연구 - 딥 러닝을 중심으로 -이준, 유민선문화융복합아카이빙연구소 · 디지털문화아카이브지2024 · 제7권 제1호자연어 처리의 개체명 인식을 통한 기록집합체의 메타데이터 추출 방안송치호한국기록관리학회 · 한국기록관리학회지2024 · 제24권 제2호디지털기록관리에서의 AI OCR 데이터 활용 및 확장방안 연구오세종, 이선아(사)디지털산업정보학회 · (사)디지털산업정보학회 논문지2025 · 제21권 제1호지능형 문서처리 도입과 기록관리 변화에 관한 연구류한조, 이경남, 임진희, 황진현한국기록학회 · 기록학연구2021 · 제68호인공지능을 활용한 지능형 기록관리 방안김인택, 안대진, 이해영한국기록관리학회 · 한국기록관리학회지2017 · 제17권 제4호기계학습을 이용한 기록 텍스트 자동분류 사례 연구안대진, 이해영, 임진희, 김해찬솔한국정보관리학회 · 정보관리학회지2017 · 제34권 제4호

이 간행물의 다른 논문 (9건)

디지털화 기록 관리를 위한 메타데이터 요소(안) 설계서지인, 노지현pp. 1-24국가기록포털 검색서비스 품질 점검을 위한 평가셋 구축 및 현황 분석염경록, 소현기, 이정옥, 오효정, 나정호pp. 25-43공공기관 유튜브 동영상 아카이빙을 위한 메타데이터 핵심 요소 연구김락근, 박진호pp. 45-65구술 기록의 활용을 위한 패싯 기반 주제명표목 개발에 관한 연구: 해방촌 니트 사업 구술 기록을 대상으로정연경, 김해인pp. 67-85언어 네트워크 분석을 활용한 기록정보서비스 연구동향 분석이은주, 김소연pp. 87-107
원문 보기